找回密碼註冊
作者: sxs112.tw
查看: 4102
回復: 0

文章分享:

+ MORE精選文章:

+ MORE活動推薦:

極致效能 為遊戲而生 990 PRO SSD 玩家體驗

[*]極致效能固態硬碟 [*]PCIe 4.0 速度大幅提升 [*]優化的電源效率 ...

Micron Crucial PRO D5 6400超頻版 玩家開

解銷更快的遊戲速度! 利用低延遲遊戲記憶體的強大功能 利用 Cruci ...

O11 VISION COMPACT 玩家開箱體驗分享活動

迷你身形 三面透視打造精緻PC視野新境界O11 VISION COMPACT 強強聯合 ...

2024 三星SD記憶卡 玩家開箱體驗分享活動

2024 PRO Plus SD 記憶卡 [*]為專業人士打造 [*]釋放極限速度 [*]多 ...

打印 上一主題 下一主題

[業界新聞] (PR)NVIDIA GPU為Meta的下一代Llama 3提供動力,並在包括RTX在內的所有平台上,並優化了AI

[複製鏈接]| 回復
跳轉到指定樓層
1#
sxs112.tw 發表於 2024-4-19 09:40:52 | 只看該作者 |只看大圖 回帖獎勵 |倒序瀏覽 |閱讀模式
NVIDIA宣布Meta的Llama 3 LLM採用NVIDIA GPU打造,並經過最佳化,可在從伺服器到PC的所有平台上運行。

新聞稿: NVIDIA 今天宣布對其所有平台進行最佳化,以加速最新一代大語言模型 (LLM) Meta Llama 3。開放模式與NVIDIA加速運算相結合,使開發人員、研究人員和企業能夠在各種應用程式中進行負責任的創新。
Meta-Llama-3-LLM-AI-NVIDIA-GPUs.jpg

接受過 NVIDIA AI 培訓
Meta工程師在包含24,576個H100 Tensor Core GPU並與Quantum-2 InfiniBand網路連接的電腦叢集上訓練Llama 3 。在NVIDIA的支援下Meta為其旗艦LLM 調整了網路、軟體和模型架構。為了進一步推進生成式人工智慧的最先進水平,Meta最近描述了將其基礎設施擴展到350,000個H100 GPU的計劃。

讓 Llama 3 投入工作
在NVIDIA GPU上加速的Llama 3版本現已推出,可在雲端、資料中心、邊緣和PC中使用。

企業可以使用NVIDIA NeMo對其數據進行微調Llama 3  ,這是適用於LLM的開源框架,是安全且受支援的NVIDIA AI Enterprise平台的一部分。自訂模型可以使用NVIDIA TensorRT-LLM進行推理最佳化,並使用Triton推理伺服器進行部署。

將Llama 3帶到裝置和PC上
Llama 3也在Jetson Orin上運行,用於機器人和邊緣運算設備,打造類似於Jetson AI實驗室中的互動式代理程式。此外適用於工作站和PC的RTX和GeForce RTX GPU可以加快Llama 3上的推理速度。

使用Llama 3獲得最佳效能
為聊天機器人部署LLM的最佳實踐涉及低延遲、良好的讀取速度和最佳GPU使用以降低成本之間的平衡。這樣的服務需要以大約用戶閱讀速度的兩倍(大約10 每秒10個tokens)。
Meta-Llama-3-LLM-AI-_1-1456x819.png


Meta-Llama-3-LLM-AI-_2-1456x913.png


Meta-Llama-3-LLM-AI-_3-1456x819.png

應用這些指標,在使用有700億個參數的Llama 3版本的初始測試中,單一NVIDIA H200 Tensor Core GPU每秒產生約3,000個tokens,足以為約300個併發用戶提供服務。這意味著配備8個H200 GPU的單一NVIDIA HGX伺服器每秒可提供24,000個tokens,透過同時支援2,400多個用戶來進一步優化成本。

對於邊緣設備,有80億個參數的Llama 3版本在Jetson AGX Orin上每秒生成高達40個tokens,在Jetson Orin Nano上每秒生成15個tokens。


推進社區模式
作為一個積極的開源貢獻者,NVIDIA致力於優化社群軟體,幫助使用者應對最棘手的挑戰。開源模型還可以提高人工智慧的透明度,讓使用者廣泛分享人工智慧安全性和彈性方面的工作。

消息來源
您需要登錄後才可以回帖 登錄 | 註冊 |

本版積分規則

小黑屋|手機版|無圖浏覽|網站地圖|XFastest  

GMT+8, 2024-11-14 13:28 , Processed in 0.088920 second(s), 33 queries .

專業網站主機規劃 威利 100HUB.COM

© 2001-2018

快速回復 返回頂部 返回列表