NVIDIA宣布Meta的Llama 3 LLM採用NVIDIA GPU打造，並經過最佳化，可在從伺服器到PC的所有平台上運行。
新聞稿： NVIDIA 今天宣布對其所有平台進行最佳化，以加速最新一代大語言模型 (LLM) Meta Llama 3。開放模式與NVIDIA加速運算相結合，使開發人員、研究人員和企業能夠在各種應用程式中進行負責任的創新。
接受過 NVIDIA AI 培訓
Meta工程師在包含24,576個H100 Tensor Core GPU並與Quantum-2 InfiniBand網路連接的電腦叢集上訓練Llama 3 。在NVIDIA的支援下Meta為其旗艦LLM 調整了網路、軟體和模型架構。為了進一步推進生成式人工智慧的最先進水平，Meta最近描述了將其基礎設施擴展到350,000個H100 GPU的計劃。
讓 Llama 3 投入工作
在NVIDIA GPU上加速的Llama 3版本現已推出，可在雲端、資料中心、邊緣和PC中使用。
企業可以使用NVIDIA NeMo對其數據進行微調Llama 3 ，這是適用於LLM的開源框架，是安全且受支援的NVIDIA AI Enterprise平台的一部分。自訂模型可以使用NVIDIA TensorRT-LLM進行推理最佳化，並使用Triton推理伺服器進行部署。
將Llama 3帶到裝置和PC上
Llama 3也在Jetson Orin上運行，用於機器人和邊緣運算設備，打造類似於Jetson AI實驗室中的互動式代理程式。此外適用於工作站和PC的RTX和GeForce RTX GPU可以加快Llama 3上的推理速度。
使用Llama 3獲得最佳效能
為聊天機器人部署LLM的最佳實踐涉及低延遲、良好的讀取速度和最佳GPU使用以降低成本之間的平衡。這樣的服務需要以大約用戶閱讀速度的兩倍（大約10 每秒10個tokens）。
應用這些指標，在使用有700億個參數的Llama 3版本的初始測試中，單一NVIDIA H200 Tensor Core GPU每秒產生約3,000個tokens，足以為約300個併發用戶提供服務。這意味著配備8個H200 GPU的單一NVIDIA HGX伺服器每秒可提供24,000個tokens，透過同時支援2,400多個用戶來進一步優化成本。
對於邊緣設備，有80億個參數的Llama 3版本在Jetson AGX Orin上每秒生成高達40個tokens，在Jetson Orin Nano上每秒生成15個tokens。
推進社區模式
作為一個積極的開源貢獻者，NVIDIA致力於優化社群軟體，幫助使用者應對最棘手的挑戰。開源模型還可以提高人工智慧的透明度，讓使用者廣泛分享人工智慧安全性和彈性方面的工作。
消息來源 |
收藏
分享
分享
提升卡
置頂卡
沉默卡
喧囂卡
變色卡
顯身卡
