找回密碼註冊
作者: sxs112.tw
查看: 5685
回復: 0

文章分享:

+ MORE精選文章:

+ MORE活動推薦:

FIT V DDR5 電競/超頻記憶體 玩家開箱體驗

FIT V DDR5 電競/超頻記憶體最 FIT 專業工作者的效能首選 [*]靈巧俐 ...

華碩 極速WiFi 7 寫文競走開始!-- 得獎公

第一名 dwi042 https://www.xfastest.com/thread-294970-1-1.html ...

Ducky One X 玩家開箱體驗分享活動

重新定義類比鍵盤 全球首款電感式鍵盤 Ducky One X導入最新的類比軸 ...

UNI FAN TL Wireless LCD 120 ARGB 玩家開

[*]1.6吋液晶屏,解析度為400×400。 [*]支援 GIF、MP4、JPG 和 PN ...

打印 上一主題 下一主題

[軟體遊戲] LLM Runner Llamafile的更新為AMD Ryzen AVX-512 CPU帶來10倍效能提升

[複製鏈接]| 回復
跳轉到指定樓層
1#
Llamafile的最新更新利用其AVX-512功能將AMD Ryzen CPU的效能提高了10倍。

Phoronix報告稱Llamafile的最新更新現在支援AVX-512指令集,允許支援AVX-512的CPU在使用該軟體時見證效能的巨大提升。據報導AMD的Zen4 Ryzen CPU將在新的更新中體驗到十倍的快速速度,最終使該工具的LLM效能更有效率。
AMD-Ryzen-AI-Laptops-PCs-_3.png

對於那些不了解Llamafile的人來說,它可以使用單一執行檔進行部署,該檔案將LLM模型與運行它所需的程式庫結合起來。 Mozilla Ocho開發了該工具,旨在透過利用CPU和GPU執行,讓更多受眾能夠接觸到LLM。該工具在開發人員中受到了巨大的歡迎,特別是因為它消除了訪問LLM所需的高成本解決方案,但目前Llamafile 仍處於早期階段;因此其中存在一些不準確的地方,我們相信一旦Edge運算的發展勢頭強勁,這些問題就會很快得到解決。
Screenshot-2024-04-02-at-7.59.25 PM.png

新的性能升級尚未經過測試,但Phoronix表示他們計劃將來在AMD和Intel系統上測試新的Llamafire 0.7。您可以在此處透過GitHub存取最新版本。請注意AMD的 Ryzen CPU是唯一支援AVX-512指令的消費級晶片,而Intel則放棄了支援,因為這會影響其Xeon晶片的銷售。對於想要運行利用AVX-512的應用的用戶來說,這為 AMD的Ryzen平台提供了優勢。

消息來源
您需要登錄後才可以回帖 登錄 | 註冊 |

本版積分規則

小黑屋|手機版|無圖浏覽|網站地圖|XFastest  

GMT+8, 2025-2-20 12:12 , Processed in 0.103670 second(s), 33 queries .

專業網站主機規劃 威利 100HUB.COM

© 2001-2018

快速回復 返回頂部 返回列表