找回密碼註冊
作者: sxs112.tw
查看: 4793
回復: 0

文章分享:

+ MORE精選文章:

+ MORE活動推薦:

GEX PRO 850W玩家開箱體驗分享活動

卓越性能,超值選擇 GEX PRO 系列通過 80 PLUS 金牌認證,實現高達 ...

體驗極速WiFi 7!MSI Roamii BE Lite Mesh

第一名 guanrung1110 https://www.xfastest.com/thread-293988-1- ...

極致效能 為遊戲而生 990 PRO SSD 玩家體驗

[*]極致效能固態硬碟 [*]PCIe 4.0 速度大幅提升 [*]優化的電源效率 ...

Micron Crucial PRO D5 6400超頻版 玩家開

解銷更快的遊戲速度! 利用低延遲遊戲記憶體的強大功能 利用 Cruci ...

打印 上一主題 下一主題

[軟體遊戲] LLM Runner Llamafile的更新為AMD Ryzen AVX-512 CPU帶來10倍效能提升

[複製鏈接]| 回復
跳轉到指定樓層
1#
Llamafile的最新更新利用其AVX-512功能將AMD Ryzen CPU的效能提高了10倍。

Phoronix報告稱Llamafile的最新更新現在支援AVX-512指令集,允許支援AVX-512的CPU在使用該軟體時見證效能的巨大提升。據報導AMD的Zen4 Ryzen CPU將在新的更新中體驗到十倍的快速速度,最終使該工具的LLM效能更有效率。
AMD-Ryzen-AI-Laptops-PCs-_3.png

對於那些不了解Llamafile的人來說,它可以使用單一執行檔進行部署,該檔案將LLM模型與運行它所需的程式庫結合起來。 Mozilla Ocho開發了該工具,旨在透過利用CPU和GPU執行,讓更多受眾能夠接觸到LLM。該工具在開發人員中受到了巨大的歡迎,特別是因為它消除了訪問LLM所需的高成本解決方案,但目前Llamafile 仍處於早期階段;因此其中存在一些不準確的地方,我們相信一旦Edge運算的發展勢頭強勁,這些問題就會很快得到解決。
Screenshot-2024-04-02-at-7.59.25 PM.png

新的性能升級尚未經過測試,但Phoronix表示他們計劃將來在AMD和Intel系統上測試新的Llamafire 0.7。您可以在此處透過GitHub存取最新版本。請注意AMD的 Ryzen CPU是唯一支援AVX-512指令的消費級晶片,而Intel則放棄了支援,因為這會影響其Xeon晶片的銷售。對於想要運行利用AVX-512的應用的用戶來說,這為 AMD的Ryzen平台提供了優勢。

消息來源
您需要登錄後才可以回帖 登錄 | 註冊 |

本版積分規則

小黑屋|手機版|無圖浏覽|網站地圖|XFastest  

GMT+8, 2024-11-23 01:05 , Processed in 0.686363 second(s), 33 queries .

專業網站主機規劃 威利 100HUB.COM

© 2001-2018

快速回復 返回頂部 返回列表