找回密碼註冊
作者: lin.sinchen
查看: 4614
回復: 0

文章標籤:

文章分享:

+ MORE精選文章:

+ MORE活動推薦:

GEX PRO 850W玩家開箱體驗分享活動

卓越性能,超值選擇 GEX PRO 系列通過 80 PLUS 金牌認證,實現高達 ...

體驗極速WiFi 7!MSI Roamii BE Lite Mesh

第一名 guanrung1110 https://www.xfastest.com/thread-293988-1- ...

極致效能 為遊戲而生 990 PRO SSD 玩家體驗

[*]極致效能固態硬碟 [*]PCIe 4.0 速度大幅提升 [*]優化的電源效率 ...

Micron Crucial PRO D5 6400超頻版 玩家開

解銷更快的遊戲速度! 利用低延遲遊戲記憶體的強大功能 利用 Cruci ...

打印 上一主題 下一主題

[業界新聞] 全面開放 NVIDIA GPU 加速 Meta Llama 3 大型 LLM 推論效能

[複製鏈接]| 回復
跳轉到指定樓層
1#


NVIDIA 宣布對其所有平台進行最佳化,以加速最新一代大型語言模型(LLMMeta Llama 3

此開放式模型與 NVIDIA 加速運算相結合,使開發人員、研究人員和企業能夠在各種應用中負責任地進行創新。

NVIDIA AI 上訓練

Meta 的工程師們使用了一個搭載 24,576 個 NVIDIA H100 Tensor 核心 GPU 的電腦叢集,與 NVIDIA Quantum-2 InfiniBand 網路連接,對 Llama 3 進行了訓練。在 NVIDIA 的支援下,Meta 為其旗艦大型語言模型調整了網路、軟體和模型架構。

為了進一步推進生成式人工智慧(AI)發展,Meta 最近說明了將其基礎設施擴展到 35 萬個 H100 GPU 的計劃。

Llama 3 發揮作用

在 NVIDIA GPU 上加速的 Llama 3 版本,今天已經可以在雲端、資料中心、邊緣和個人電腦上使用。

開發者可以從瀏覽器上嘗試在 ai.nvidia.com上使用 Llama 3。它被打包為 NVIDIA NIM微服務,具有標準的應用程式介面,可以在任何地方部署。

企業可以使用 NVIDIA NeMo根據其資料微調 Llama 3,NVIDIA NeMo 是一個適用於大型語言模型的開源框架,並為安全、受到支援的 NVIDIA AI Enterprise平台的一部分。客製化模型可以使用 NVIDIA TensorRT-LLM進行推論最佳化,並使用 NVIDIA Triton 推論伺服器進行部署。

Llama 3 帶入設備和個人電腦上

Llama 3 也可以在 NVIDIA Jetson Orin上運行,用於機器人和邊緣運算設備,創建像 Jetson AI 實驗室中互動式代理人一樣的應用。

此外,適用於工作站和個人電腦的NVIDIA RTXGeForce RTX GPU,可以加速 Llama 3 的推論速度。這些系統為開發者提供了全球超過一億個 NVIDIA 加速系統的目標。

使用 Llama 3 獲得最佳效能

為聊天機器人部署大型語言模型時,最佳狀態是在低延遲、良好的讀取速度和最佳的 GPU 使用之間取得平衡,以降低成本。

這樣的服務需要以大約每秒 10 個詞元、使用者閱讀速度兩倍左右的速度來傳送詞元,這些詞元大致相當於大型語言模型的詞彙。

應用這些指標,在使用具有 700 億個參數的 Llama 3 版本的初始測試中,單一 NVIDIA H200 Tensor 核心 GPU 每秒可產生約 3,000 個詞元,足以同時為約 300 個使用者提供服務。

這意味著一台配備 8 個 H200 GPU 的 NVIDIA HGX 伺服器每秒可提供 24,000 個詞元,並透過同時支援 2,400 多個使用者來進一步最佳化成本。

針對邊緣設備,具備 80 億個參數的 Llama 3 版本在 Jetson AGX Orin 上每秒最多可生成40 個詞元,在 Jetson Orin Nano 上則每秒可生成15個詞元。

推動社群模型

作為積極的開源貢獻者,NVIDIA 致力於最佳化社群軟體,幫助使用者應對最棘手的挑戰。開源模型還可以提高AI的透明度,讓使用者廣泛分享AI安全性和彈性方面的工作。

詳細了解 NVIDIA 的 AI 推論平台,包括 NIM、TensorRT-LLM 和 Triton 如何使用像是低階適應(low-rank adaptation)等最先進的技術來加速最新的大型語言模型。
更多圖片 小圖 大圖
組圖打開中,請稍候......
您需要登錄後才可以回帖 登錄 | 註冊 |

本版積分規則

小黑屋|手機版|無圖浏覽|網站地圖|XFastest  

GMT+8, 2024-11-22 05:23 , Processed in 0.123937 second(s), 68 queries .

專業網站主機規劃 威利 100HUB.COM

© 2001-2018

快速回復 返回頂部 返回列表