找回密碼註冊
作者: sxs112.tw
查看: 3583
回復: 0

文章分享:

+ MORE精選文章:

+ MORE活動推薦:

GEX PRO 850W玩家開箱體驗分享活動

卓越性能,超值選擇 GEX PRO 系列通過 80 PLUS 金牌認證,實現高達 ...

體驗極速WiFi 7!MSI Roamii BE Lite Mesh

第一名 guanrung1110 https://www.xfastest.com/thread-293988-1- ...

極致效能 為遊戲而生 990 PRO SSD 玩家體驗

[*]極致效能固態硬碟 [*]PCIe 4.0 速度大幅提升 [*]優化的電源效率 ...

Micron Crucial PRO D5 6400超頻版 玩家開

解銷更快的遊戲速度! 利用低延遲遊戲記憶體的強大功能 利用 Cruci ...

打印 上一主題 下一主題

[軟體遊戲] Intel宣布對Llama 3.1進行最佳化,以提升所有產品的效能:Gaudi、Xeon、Core和Arc系列

[複製鏈接]| 回復
跳轉到指定樓層
1#
sxs112.tw 發表於 2024-7-24 18:48:18 | 只看該作者 |只看大圖 回帖獎勵 |倒序瀏覽 |閱讀模式
Meta的Llama 3.1現已上線,Intel宣布其整個產品組合(例如Gaudi、Xeon、Arc和Core)全面支援Llama 3.1 AI模型。
Intel-Meta-Llama-3.1-AI.jpg

Meta今天剛推出了最新的大型語言模型Llama 3.1,取代了4月發布的Llama 3。隨後Intel發布了Llama 3.1在其最新產品上的效能數據,包括採用Core Ultra處理器和Arc顯示卡的Intel Gaudi、Xeon和AI PC。Intel正持續致力於其人工智慧軟體生態系統,新的Llama 3.1模型已在其人工智慧產品上啟用,這些產品可使用PyTorch和Intel Extension for PyTorch、DeepSpeed、Hugging Face Optimum Libraries和vLLM等各種框架,確保使用者獲得增強的效能最新Meta LLM的資料中心、邊緣和客戶端人工智慧產品。

Llama 3.1由多語言LLM集合組成,提供不同大小的預訓練和指令調整的生成模型。 Llama 3.1中導入的最大基礎模型是405B,它提供了常識、可操縱性、數學、工具使用和多語言翻譯方面最先進的功能。較小的型號包括70B和8B,前者是高性能且經濟高效的型號,後者是可實現超快速反應的輕量級型號。
Meta-Llama-3.1-70B-Intel-Gaudi-2-1456x666.jpg


Meta-Llama-3.1-405B-Intel-Gaudi-2-1456x672.jpg

Intel在其Intel Gaudi加速器上測試了Llama 3.1 405B,這些加速器是專門為經濟高效且高性能的訓練和推理而設計的處理器。結果顯示不同token長度的快速反應和高吞吐量,展示了Gaudi 2加速器和Gaudi軟體的功能。同樣Gaudi 2加速器在32k和128k token長度的70B上顯示出更快的性能。
Llama-3.1-8B-Intel-Xeon-scaled.jpg

接下來我們看到在測試上展示了Intel第五代Xeon處理器,它顯示了不同token長度的效能。對於1K、2K和8K token輸入,BF16和WOQ INT8測試中token延遲都處於較接近的範圍內(大部分低於40ms和30ms)。這顯示了Intel Xeon處理器的快速反應,該處理器擁有Intel AMX(高級矩陣擴展)以實現卓越的AI性能。即使使用128K token輸入,兩項測試中的延遲仍低於100ms。
Llama-3.1-8B-Intel-Core-Ultra-7-165H-1456x771.jpg


Llama-3.1-8B-Intel-ARC-A770-16GB-1456x775.jpg

在8B-Instruct 4位元權重模型上進行測試時,Llama 3.1 8B推理在Intel Core Ultra處理器上也非常快速。在有內建Arc顯示卡的Core Ultra 7 165H上進行測試時,在輸入32、256、512和1024個token時,令牌延遲保持在50ms到60ms之間。在像Arc A770 16GB限量版這樣的獨立Arc GPU 上,延遲非常低,在所有四種不同的token輸入大小下都保持在15ms左右。

消息來源
您需要登錄後才可以回帖 登錄 | 註冊 |

本版積分規則

小黑屋|手機版|無圖浏覽|網站地圖|XFastest  

GMT+8, 2024-11-23 17:52 , Processed in 0.078114 second(s), 33 queries .

專業網站主機規劃 威利 100HUB.COM

© 2001-2018

快速回復 返回頂部 返回列表