找回密碼註冊
作者: lin.sinchen
查看: 4509
回復: 0

文章標籤:

文章分享:

+ MORE精選文章:

+ MORE活動推薦:

極致效能 為遊戲而生 990 PRO SSD 玩家體驗

[*]極致效能固態硬碟 [*]PCIe 4.0 速度大幅提升 [*]優化的電源效率 ...

Micron Crucial PRO D5 6400超頻版 玩家開

解銷更快的遊戲速度! 利用低延遲遊戲記憶體的強大功能 利用 Cruci ...

O11 VISION COMPACT 玩家開箱體驗分享活動

迷你身形 三面透視打造精緻PC視野新境界O11 VISION COMPACT 強強聯合 ...

2024 三星SD記憶卡 玩家開箱體驗分享活動

2024 PRO Plus SD 記憶卡 [*]為專業人士打造 [*]釋放極限速度 [*]多 ...

打印 上一主題 下一主題

[業界新聞] 全面開放 NVIDIA GPU 加速 Meta Llama 3 大型 LLM 推論效能

[複製鏈接]| 回復
跳轉到指定樓層
1#


NVIDIA 宣布對其所有平台進行最佳化,以加速最新一代大型語言模型(LLMMeta Llama 3

此開放式模型與 NVIDIA 加速運算相結合,使開發人員、研究人員和企業能夠在各種應用中負責任地進行創新。

NVIDIA AI 上訓練

Meta 的工程師們使用了一個搭載 24,576 個 NVIDIA H100 Tensor 核心 GPU 的電腦叢集,與 NVIDIA Quantum-2 InfiniBand 網路連接,對 Llama 3 進行了訓練。在 NVIDIA 的支援下,Meta 為其旗艦大型語言模型調整了網路、軟體和模型架構。

為了進一步推進生成式人工智慧(AI)發展,Meta 最近說明了將其基礎設施擴展到 35 萬個 H100 GPU 的計劃。

Llama 3 發揮作用

在 NVIDIA GPU 上加速的 Llama 3 版本,今天已經可以在雲端、資料中心、邊緣和個人電腦上使用。

開發者可以從瀏覽器上嘗試在 ai.nvidia.com上使用 Llama 3。它被打包為 NVIDIA NIM微服務,具有標準的應用程式介面,可以在任何地方部署。

企業可以使用 NVIDIA NeMo根據其資料微調 Llama 3,NVIDIA NeMo 是一個適用於大型語言模型的開源框架,並為安全、受到支援的 NVIDIA AI Enterprise平台的一部分。客製化模型可以使用 NVIDIA TensorRT-LLM進行推論最佳化,並使用 NVIDIA Triton 推論伺服器進行部署。

Llama 3 帶入設備和個人電腦上

Llama 3 也可以在 NVIDIA Jetson Orin上運行,用於機器人和邊緣運算設備,創建像 Jetson AI 實驗室中互動式代理人一樣的應用。

此外,適用於工作站和個人電腦的NVIDIA RTXGeForce RTX GPU,可以加速 Llama 3 的推論速度。這些系統為開發者提供了全球超過一億個 NVIDIA 加速系統的目標。

使用 Llama 3 獲得最佳效能

為聊天機器人部署大型語言模型時,最佳狀態是在低延遲、良好的讀取速度和最佳的 GPU 使用之間取得平衡,以降低成本。

這樣的服務需要以大約每秒 10 個詞元、使用者閱讀速度兩倍左右的速度來傳送詞元,這些詞元大致相當於大型語言模型的詞彙。

應用這些指標,在使用具有 700 億個參數的 Llama 3 版本的初始測試中,單一 NVIDIA H200 Tensor 核心 GPU 每秒可產生約 3,000 個詞元,足以同時為約 300 個使用者提供服務。

這意味著一台配備 8 個 H200 GPU 的 NVIDIA HGX 伺服器每秒可提供 24,000 個詞元,並透過同時支援 2,400 多個使用者來進一步最佳化成本。

針對邊緣設備,具備 80 億個參數的 Llama 3 版本在 Jetson AGX Orin 上每秒最多可生成40 個詞元,在 Jetson Orin Nano 上則每秒可生成15個詞元。

推動社群模型

作為積極的開源貢獻者,NVIDIA 致力於最佳化社群軟體,幫助使用者應對最棘手的挑戰。開源模型還可以提高AI的透明度,讓使用者廣泛分享AI安全性和彈性方面的工作。

詳細了解 NVIDIA 的 AI 推論平台,包括 NIM、TensorRT-LLM 和 Triton 如何使用像是低階適應(low-rank adaptation)等最先進的技術來加速最新的大型語言模型。
更多圖片 小圖 大圖
組圖打開中,請稍候......
您需要登錄後才可以回帖 登錄 | 註冊 |

本版積分規則

小黑屋|手機版|無圖浏覽|網站地圖|XFastest  

GMT+8, 2024-11-14 13:20 , Processed in 0.104136 second(s), 65 queries .

專業網站主機規劃 威利 100HUB.COM

© 2001-2018

快速回復 返回頂部 返回列表