找回密碼註冊
作者: sxs112.tw
查看: 4563
回復: 1

文章分享:

+ MORE精選文章:

+ MORE活動推薦:

Micron Crucial PRO D5 6400超頻版 玩家開

解銷更快的遊戲速度! 利用低延遲遊戲記憶體的強大功能 利用 Cruci ...

O11 VISION COMPACT 玩家開箱體驗分享活動

迷你身形 三面透視打造精緻PC視野新境界O11 VISION COMPACT 強強聯合 ...

2024 三星SD記憶卡 玩家開箱體驗分享活動

2024 PRO Plus SD 記憶卡 [*]為專業人士打造 [*]釋放極限速度 [*]多 ...

體驗極速WiFi 7!MSI Roamii BE Lite Mesh

MSI首款WiFi 7 Mesh系統登場-Roamii BE Lite Mesh System。Roamii ...

打印 上一主題 下一主題

[業界新聞] AMD回應NVIDIA的H100 TensorRT-LLM結果,再次顯示MI300X GPU使用最佳化的AI軟體堆疊效能提升30%

[複製鏈接]| 回復
跳轉到指定樓層
1#
sxs112.tw 發表於 2023-12-16 22:13:34 | 只看該作者 |只看大圖 回帖獎勵 |倒序瀏覽 |閱讀模式
AMD對NVIDIA的H100 TensorRT-LLM資料做出回應,MI300X在運行優化時再次在AI測試中處於領先地位軟體。

兩天前NVIDIA發布了其Hopper H100 GPU的新測試以展示他們的晶片性能比AMD展示的要好得多,在推進人工智慧期間AMD將其全新的Instinct MI300X GPU 與Hopper H100晶片進行了比較,後者已經推出一年多了,但仍然是人工智慧行業最受歡迎的選擇。 AMD使用的測試並未使用TensorRT-LLM等優化庫,而 TensorRT-LLM為NVIDIA的AI晶片提供了巨大的提升。
NVIDIA-Hopper-H100-vs-AMD-Instinct-MI300X-AI-GPU-Performance-Main (1).jpg

使用TensorRT-LLM使Hopper H100 GPU的效能比AMD的Instinct MI300X GPU提高了近50%。現在AMD正全力反擊NVIDIA,展示MI300X如何在Hopper H100 運行其優化的軟體堆疊時仍然保持比H100更快的效能。
MI300X-Performance-1.png

  • 在H100上使用TensorRT-LLM,而不是AMD測試中使用的vLLM
  • AMD Instinct MI300X GPU上的FP16資料型別與H100上的FP8資料型別的效能比較
  • 將AMD發布的效能數據從相對延遲數轉換為絕對吞吐量


因此AMD決定進行更公平的比較,根據最新數據我們發現在vLLM上運行的Instinct MI300X比在TensorRT-LLM上運行的Hopper H100性能提高了30%。

當然這些來回的數字有些出乎意料,但考慮到人工智慧對於AMD、NVIDIA和Intel等公司的重要性,我們可以期待看到更多這樣的例子被分享未來。就連Intel最近也表示整個產業都在積極推動終結NVIDIA CUDA在產業中的主導地位。目前的事實是NVIDIA在人工智慧領域擁有多年的軟體專業知識,雖然Instinct MI300X提供了一些可怕的規格,但它很快就會與更快的Hopper解決方案展開競爭。

消息來源

2#
clouse 發表於 2023-12-17 00:05:55 | 只看該作者
CUDA未來會沒前途
回復 支持 0 反對 2

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 註冊 |

本版積分規則

小黑屋|手機版|無圖浏覽|網站地圖|XFastest  

GMT+8, 2024-11-10 23:03 , Processed in 0.091496 second(s), 33 queries .

專業網站主機規劃 威利 100HUB.COM

© 2001-2018

快速回復 返回頂部 返回列表