找回密碼註冊
作者: lin.sinchen
查看: 6449
回復: 0

文章標籤:

文章分享:

+ MORE精選文章:

    相關帖子

    + MORE活動推薦:

    SAMSUNG T7 Shield 移動固態硬碟

    [*]超快的移動固態硬碟,比傳統外接 HDD 快 9.5 倍 [*]堅固的儲存 ...

    GEX PRO 850W玩家開箱體驗分享活動

    卓越性能,超值選擇 GEX PRO 系列通過 80 PLUS 金牌認證,實現高達 ...

    體驗極速WiFi 7!MSI Roamii BE Lite Mesh

    第一名 guanrung1110 https://www.xfastest.com/thread-293988-1- ...

    極致效能 為遊戲而生 990 PRO SSD 玩家體驗

    [*]極致效能固態硬碟 [*]PCIe 4.0 速度大幅提升 [*]優化的電源效率 ...

    打印 上一主題 下一主題

    [筆電平板] AMD 展示 Ryzen AI 7840U 運行 Mistral Instruct 語言模式贏過 155H 17% TPS

    [複製鏈接]| 回復
    跳轉到指定樓層
    1#


    前陣子 AMD 分享過如何在 Ryzen AI PC 或 Radeon 顯示卡的平台上運行大型語言模型(Large Language Model,LLM),並透過啟動檢索增強生成(Retrieval Augmented Generation,RAG)功能增強和提供 LLM 內容,以及使用本地 LLM 進行編碼。在本地執行這些應用程式無需連接網路,能夠維護AI PC上的資料安全。

    這次 AMD 則以 Ryzen AI 筆電對決 Intel Core Ultra 筆電,並主要採用本地運行的 LLM 模型,像是 Llama 2、Mistral AI、code llamma、RAG 等 LLM 模型。



    Ryzen AI 7840U 對比 Core Ultra 7 155H 在 Mistral Instruct 7b Q4 K M 的模型上有著 17% 的 TPS(tokens per second)的效能領先,而在 LLAMA v2 Chat 則有著 14% TPS 提升。

    至於 TTFT(time to first token)表現上,Ryzen AI 7840U 在 Mistral Instruct 7b Q4 K M 上帶來高達 41% 的效能提升,在 LLAMA v2 Chat 上更有高達 79% 的效能提升。






    而 Mistral AI 一樣在 TPS、TTFT 等結果上都由 Ryzen AI 獲得較好的效能表現。






    同樣 Llama 2 測試一樣在 TPS、TTFT 等結果有著更好的效能。






    有興趣的玩家可以參考 AMD Blog 中的引導,在本地電腦上安裝 LLM 語言模型,建立自己的 AI 聊天機器人。
    更多圖片 小圖 大圖
    組圖打開中,請稍候......
    您需要登錄後才可以回帖 登錄 | 註冊 |

    本版積分規則

    小黑屋|手機版|無圖浏覽|網站地圖|XFastest  

    GMT+8, 2024-12-22 19:10 , Processed in 0.096215 second(s), 58 queries .

    專業網站主機規劃 威利 100HUB.COM

    © 2001-2018

    快速回復 返回頂部 返回列表