找回密碼註冊
作者: sxs112.tw
查看: 4569
回復: 1

文章分享:

+ MORE精選文章:

+ MORE活動推薦:

極致效能 為遊戲而生 990 PRO SSD 玩家體驗

[*]極致效能固態硬碟 [*]PCIe 4.0 速度大幅提升 [*]優化的電源效率 ...

Micron Crucial PRO D5 6400超頻版 玩家開

解銷更快的遊戲速度! 利用低延遲遊戲記憶體的強大功能 利用 Cruci ...

O11 VISION COMPACT 玩家開箱體驗分享活動

迷你身形 三面透視打造精緻PC視野新境界O11 VISION COMPACT 強強聯合 ...

2024 三星SD記憶卡 玩家開箱體驗分享活動

2024 PRO Plus SD 記憶卡 [*]為專業人士打造 [*]釋放極限速度 [*]多 ...

打印 上一主題 下一主題

[業界新聞] AMD回應NVIDIA的H100 TensorRT-LLM結果,再次顯示MI300X GPU使用最佳化的AI軟體堆疊效能提升30%

[複製鏈接]| 回復
跳轉到指定樓層
1#
sxs112.tw 發表於 2023-12-16 22:13:34 | 只看該作者 |只看大圖 回帖獎勵 |倒序瀏覽 |閱讀模式
AMD對NVIDIA的H100 TensorRT-LLM資料做出回應,MI300X在運行優化時再次在AI測試中處於領先地位軟體。

兩天前NVIDIA發布了其Hopper H100 GPU的新測試以展示他們的晶片性能比AMD展示的要好得多,在推進人工智慧期間AMD將其全新的Instinct MI300X GPU 與Hopper H100晶片進行了比較,後者已經推出一年多了,但仍然是人工智慧行業最受歡迎的選擇。 AMD使用的測試並未使用TensorRT-LLM等優化庫,而 TensorRT-LLM為NVIDIA的AI晶片提供了巨大的提升。
NVIDIA-Hopper-H100-vs-AMD-Instinct-MI300X-AI-GPU-Performance-Main (1).jpg

使用TensorRT-LLM使Hopper H100 GPU的效能比AMD的Instinct MI300X GPU提高了近50%。現在AMD正全力反擊NVIDIA,展示MI300X如何在Hopper H100 運行其優化的軟體堆疊時仍然保持比H100更快的效能。
MI300X-Performance-1.png

  • 在H100上使用TensorRT-LLM,而不是AMD測試中使用的vLLM
  • AMD Instinct MI300X GPU上的FP16資料型別與H100上的FP8資料型別的效能比較
  • 將AMD發布的效能數據從相對延遲數轉換為絕對吞吐量


因此AMD決定進行更公平的比較,根據最新數據我們發現在vLLM上運行的Instinct MI300X比在TensorRT-LLM上運行的Hopper H100性能提高了30%。

當然這些來回的數字有些出乎意料,但考慮到人工智慧對於AMD、NVIDIA和Intel等公司的重要性,我們可以期待看到更多這樣的例子被分享未來。就連Intel最近也表示整個產業都在積極推動終結NVIDIA CUDA在產業中的主導地位。目前的事實是NVIDIA在人工智慧領域擁有多年的軟體專業知識,雖然Instinct MI300X提供了一些可怕的規格,但它很快就會與更快的Hopper解決方案展開競爭。

消息來源

2#
clouse 發表於 2023-12-17 00:05:55 | 只看該作者
CUDA未來會沒前途
回復 支持 0 反對 2

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 註冊 |

本版積分規則

小黑屋|手機版|無圖浏覽|網站地圖|XFastest  

GMT+8, 2024-11-13 13:10 , Processed in 0.078166 second(s), 32 queries .

專業網站主機規劃 威利 100HUB.COM

© 2001-2018

快速回復 返回頂部 返回列表