文章標籤：

文章分享：

收藏0 分享

BIOSTAR映泰推出 MS-X7433RE 工業運算解決方案小巧設計完美結合空間利用與強大工業級效能

COUGAR 搖搖沙發 FIDOM 與 CROSSER GOLD 電競椅凳開箱

豪宅機殼的頂峰? LIANLI 聯力O11 Vision Compact 機殼，打造頂級視覺機殼的標竿

我超有形！NZXT H7 Flow 2024 開箱組裝 / 極簡美學俐落線條

+ MORE活動推薦：

: GEX PRO 850W玩家開箱體驗分享活動
卓越性能，超值選擇 GEX PRO 系列通過 80 PLUS 金牌認證，實現高達 ...

: 體驗極速WiFi 7！MSI Roamii BE Lite Mesh
第一名 guanrung1110 https://www.xfastest.com/thread-293988-1- ...

: 極致效能為遊戲而生 990 PRO SSD 玩家體驗
[*]極致效能固態硬碟 [*]PCIe 4.0 速度大幅提升 [*]優化的電源效率 ...

: Micron Crucial PRO D5 6400超頻版玩家開
解銷更快的遊戲速度！利用低延遲遊戲記憶體的強大功能利用 Cruci ...

[筆電平板] AMD 展示 Ryzen AI 7840U 運行 Mistral Instruct 語言模式贏過 155H 17% TPS

[複製鏈接]| 回復

電梯直達

1^#

lin.sinchen 發表於 2024-3-20 10:18:09 | 只看該作者 |只看大圖回帖獎勵

|倒序瀏覽 |閱讀模式

前陣子 AMD 分享過如何在 Ryzen AI PC 或 Radeon 顯示卡的平台上運行大型語言模型（Large Language Model，LLM），並透過啟動檢索增強生成（Retrieval Augmented Generation，RAG）功能增強和提供 LLM 內容，以及使用本地 LLM 進行編碼。在本地執行這些應用程式無需連接網路，能夠維護AI PC上的資料安全。

這次 AMD 則以 Ryzen AI 筆電對決 Intel Core Ultra 筆電，並主要採用本地運行的 LLM 模型，像是 Llama 2、Mistral AI、code llamma、RAG 等 LLM 模型。

Ryzen AI 7840U 對比 Core Ultra 7 155H 在 Mistral Instruct 7b Q4 K M 的模型上有著 17% 的 TPS（tokens per second）的效能領先，而在 LLAMA v2 Chat 則有著 14% TPS 提升。

至於 TTFT（time to first token）表現上，Ryzen AI 7840U 在 Mistral Instruct 7b Q4 K M 上帶來高達 41% 的效能提升，在 LLAMA v2 Chat 上更有高達 79% 的效能提升。

而 Mistral AI 一樣在 TPS、TTFT 等結果上都由 Ryzen AI 獲得較好的效能表現。

同樣 Llama 2 測試一樣在 TPS、TTFT 等結果有著更好的效能。

有興趣的玩家可以參考 AMD Blog 中的引導，在本地電腦上安裝 LLM 語言模型，建立自己的 AI 聊天機器人。