找回密碼註冊
作者: sxs112.tw
查看: 3019
回復: 0

文章分享:

+ MORE精選文章:

    + MORE活動推薦:

    SAMSUNG T7 Shield 移動固態硬碟

    [*]超快的移動固態硬碟,比傳統外接 HDD 快 9.5 倍 [*]堅固的儲存 ...

    GEX PRO 850W玩家開箱體驗分享活動

    卓越性能,超值選擇 GEX PRO 系列通過 80 PLUS 金牌認證,實現高達 ...

    體驗極速WiFi 7!MSI Roamii BE Lite Mesh

    第一名 guanrung1110 https://www.xfastest.com/thread-293988-1- ...

    極致效能 為遊戲而生 990 PRO SSD 玩家體驗

    [*]極致效能固態硬碟 [*]PCIe 4.0 速度大幅提升 [*]優化的電源效率 ...

    打印 上一主題 下一主題

    [顯示卡器] AMD Instinct MI300X首次出現在MLPerf v4.1 AI測試中,並使用下一代EPYC Turin Zen5 CPU進行測試

    [複製鏈接]| 回復
    跳轉到指定樓層
    1#
    sxs112.tw 發表於 2024-8-29 09:38:57 | 只看該作者 |只看大圖 回帖獎勵 |倒序瀏覽 |閱讀模式
    AMD的Instinct MI300X AI加速器首次亮相MLPerf v4.1,並已透過下一代EPYC Turin CPU進行測試。

    今天AMD在MLPerf Inference v4.1上分享了其最新資料中心和以AI為中心的硬體的首個性能測試。這些工作負載旨在展示AMD、Intel和NVIDIA等各科技龍頭最新和即將推出的硬體的潛力。
    Blog-Image.png

    AMD正在MLPerf上分享自該晶片推出以來首次提交的Instinct MI300X加速器,同時也讓我們體驗即將推出的EPYC Turin CPU,這是採用Zen5核心架構的第五代伺服器系列。
    Ronak_Shah_0-1724791803820-1.png

    對於效能評估,AMD提交了在Supermicro AS-8125GS-TNMR2系統上運行的Instinct MI300X AI加速器的結果。在MLPerf v4.1上提交了四個結果,其中兩個在離線場景下提交,兩個在伺服器場景下提交。不同之處在於其中兩項測試是使用第四代EPYC Genoa CPU 進行的,另外兩項結果是使用即將推出的第五代 EPYC Turin CPU進行的。

    查看LLama2-70B中的效能結果,AMD在伺服器中實現了21,028 tokens/秒,在EPYC Genoa CPU上運行的離線場景中實現了23,514 tokens/秒,而有相同Instinct配置的第五代EPYC Turin CPU提供了22,021 tokens/秒,離線場景中為24,110 tokens/秒。這標誌著比Genoa CPU平台提高了4.7%和2.5%。
    Ronak_Shah_1-1724791803825.png


    與NVIDIA H100相比,Instinct MI300X的伺服器效能略慢,而離線場景下差異較大。 Turin配置在伺服器場景中確實快了2%,但在離線場景中則滯後。這些結果似乎與NVIDIA在自己的公告中發布的結果相符。 AMD也在Llama2-70B中使用1個GPU和8個GPU進行比較,展示了近乎完美的擴充。
    Ronak_Shah_2-1724791803856.png


    最後AMD強調了其Instinct MI300X AI加速器提供的記憶體優勢,遠遠超過NVIDIA H100平台提供的記憶體優勢。 MI300X提供足夠的記憶體來滿足跨各種資料格式的最大語言模型的要求。

    AMD尚未完成此任務,因為它的目標是透過對AI進行更多優化來鞏固其ROCm,以便我們可以在MLPerf提交的下一次更新中看到效能更新。雖然AMD花了很長時間才提交MI300X數據,但我們希望下季推出的MI325X能夠更早提交結果,因為它是一款比MI300X容量增加50%的主要產品。 AMD的EPYC Turin Zen5 CPU也預計將於今年稍後推出,敬請期待。

    消息來源
    您需要登錄後才可以回帖 登錄 | 註冊 |

    本版積分規則

    小黑屋|手機版|無圖浏覽|網站地圖|XFastest  

    GMT+8, 2024-12-22 15:06 , Processed in 0.075715 second(s), 33 queries .

    專業網站主機規劃 威利 100HUB.COM

    © 2001-2018

    快速回復 返回頂部 返回列表