(PR)NVIDIA宣布與Anyscale合作

由於NVIDIA和Anyscale之間的合作，大型語言模型的開發即將達到超音速。在年度Ray Summit開發者大會上，Anyscale（快速發展的可擴展計算開源統一計算框架背後的公司）今天宣布它將NVIDIA AI導入Ray開源和Anyscale平台。它還將整合到今天宣布的一項新服務Anyscale Endpoints中，使應用程式開發人員可以使用最受歡迎的開源模型輕鬆經濟高效地將LLM嵌入到他們的應用程式中。

這些整合可以極大地加快生成式AI的開發和效率，同時提高生產式AI的安全性，從專有的LLM到Code Llama、Falcon、Llama 2、SDXL等開放模型。開發人員將可以靈活地使用Ray部署開源NVIDIA軟體，或選擇在Anyscale平台上運行的NVIDIA AI Enterprise軟體，以實現完全受支援的安全生產部署。Ray和Anyscale平台被開發人員廣泛使用，為生成式AI應用提供動力，這些應用能夠為智慧聊天機器人、編碼副駕駛以及強大的搜索和摘要工具提供支援。

生成式AI應用程式正在吸引全球企業的注意。微調、增強並需要大量投資和專業知識。NVIDIA和Anyscale攜手合作，可以透過大量應用程式整合來幫助降低生成式AI開發和部署的成本和複雜性。

NVIDIA TensorRT-LLM上週宣布的新開源軟體將支援Anyscale產品，以增強LLM的效能和效率，從而節省成本。Tensor-RT LLM也受到NVIDIA AI Enterprise軟體平台的支援，可自動擴展推理以在多個GPU上並行運行模型，與上一代GPU相比，在NVIDIA H100 Tensor Core GPU上運行時，性能可提高多達8倍。

TensorRT-LLM自動擴展推理以在多個GPU上並行運行模型，並包括自訂GPU核心和針對各種流行的LLM模型的最佳化。它還實現了NVIDIA H100 Tensor Core GPU Transformer Engine中提供的新FP8數位格式，並提供易於使用且可自訂的Python介面。

NVIDIA Triton推理伺服器軟體支援在GPU、CPU和其他處理器上跨雲端、資料中心、邊緣和嵌入式裝置進行推理。它的整合可以使Ray開發人員在從多個深度學習和機器學習框架（包括TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO、Python、RAPIDS XGBoost 等）部署AI模型時提高效率。借助NVIDIA NeMo透過框架，Ray用戶將能夠利用業務數據輕鬆微調LLM，為了解各個企業獨特產品的LLM鋪平道路。

NeMo是一個端到端的雲端原生框架，用於在任何地方建置、自訂和部署生成式AI模型。它具有訓練和推理框架、護欄工具包、資料管理工具和預訓練模型，為企業提供一種簡單、經濟高效且快速的方式來採用生成式人工智慧。Ray開源和Anyscale平台使開發人員能夠輕鬆地從開源轉向在雲端大規模部署生產AI。

Anyscale平台提供完全託管、企業就緒的統一計算，可以輕鬆使用Ray打造、部署和管理可擴展的AI和Python應用，幫助客戶以顯著降低的成本更快地將AI產品推向市場。無論開發人員使用Ray開源還是受支援的Anyscale平台，Anyscale的核心功能都可以幫助他們輕鬆編排LLM工作負載。NVIDIA AI整合可以幫助開發人員以更高的效率建置、訓練、調整和擴展AI。

Ray和Anyscale平台在領先雲端的加速運算上運行，並且可以選擇在混合雲或多雲運算上運行。這有助於開發人員輕鬆擴展規模，因為他們需要更多運算來支援成功的LLM。此次合作也將使開發人員能夠開始透過NVIDIA AI Workbench在其工作站上建立模型，並在投入生產後輕鬆跨混合或多雲加速運算進行擴展。

NVIDIA AI與Anyscale的整合正在開發中，預計今年底推出。

消息來源