找回密碼註冊
作者: lin.sinchen
查看: 4161
回復: 0

文章標籤:

文章分享:

+ MORE精選文章:

+ MORE活動推薦:

極致效能 為遊戲而生 990 PRO SSD 玩家體驗

[*]極致效能固態硬碟 [*]PCIe 4.0 速度大幅提升 [*]優化的電源效率 ...

Micron Crucial PRO D5 6400超頻版 玩家開

解銷更快的遊戲速度! 利用低延遲遊戲記憶體的強大功能 利用 Cruci ...

O11 VISION COMPACT 玩家開箱體驗分享活動

迷你身形 三面透視打造精緻PC視野新境界O11 VISION COMPACT 強強聯合 ...

2024 三星SD記憶卡 玩家開箱體驗分享活動

2024 PRO Plus SD 記憶卡 [*]為專業人士打造 [*]釋放極限速度 [*]多 ...

打印 上一主題 下一主題

[業界新聞] Intel 展示 MLCommons AI 推論結果突顯產品 AI 領域的強大競爭力

[複製鏈接]| 回復
跳轉到指定樓層
1#
MLCommons 於美國時間 9 月 11 日針對 60 億個參數的大型語言 GPT-J,以及電腦視覺和自然語言處理模型發表 MLPerf Inference v3.1 效能基準測試結果。

Intel 提交 Habana Gaudi 2 加速器、第 4 代Intel Xeon 可擴充處理器和 Intel Xeon CPU Max 系列的測試結果。這些結果不僅顯示 Intel 在 AI 推論方面可提供具競爭力的效能表現,更強化 Intel 的承諾-在客戶端、邊緣、網路、雲端等一連串 AI 工作負載中,讓 AI 更容易大規模地落實應用。

在今年 6 月更新的 MLCommons AI 訓練和 Hugging Face 效能基準測試,驗證了Gaudi2 在最先進視覺語言模型方面的效能優勢;而 9 月 11 日的結果近一步強化 Intel 是滿足 AI 運算需求,能夠替代同類型競品的可行方案。

每位客戶均有獨特的考量,而Intel 提供可解決一連串AI工作負載推論與訓練難題的產品,將 AI 落實到每個角落。Intel 的 AI 產品讓客戶能夠根據各自的效能、效率和成本目標,在選擇最佳 AI 解決方案時擁有靈活性和選項,同時協助客戶打破封閉的生態系。



Habana Gaudi2 結果:Habana Gaudi2 的 GPT-J 推論效能結果,為其極具競爭力的效能提供有力的驗證。
  • Gaudi2 在 GPT-J-99 和 GPT-J-99.9 的伺服器查詢(query)和離線樣本推論效能,分別為每秒 58 個查詢和每秒 84.08 個樣本。
  • Gaudi2 的效能是 NVIDIA A100 的 4 倍(伺服器)和 2 倍(離線)。
  • Gaudi2 的提交結果使用 FP8,在此新資料類型的準確度高達 9%。

Gaudi2大約每6週至8週釋出一次軟體更新,Intel 預期在MLPerf基準測試中繼續提升效能並擴大模型覆蓋範圍。



Intel Xeon 結果:Intel 提交第4代Intel Xeon可擴充處理器的結果,其中包含GPT-J在內的所有7項推論基準測試。這些結果展現出通用AI工作負載的優異效能,包含視覺、語言處理、語音和音訊翻譯模型,以及規模更大的DLRM v2推薦和ChatGPT-J模型。此外,Intel 仍是唯一一家使用業界標準深度學習生態系軟體來提交公開CPU結果的供應商。

  • 使用最流行的 AI 框架與函式庫建立並部署通用AI工作負載,第 4 代 Intel Xeon 可擴充處理器為其理想之選。1 篇新聞文章約 1,000 字至 1,500 字的 GPT-J 100 字摘要工作,第 4 代 Intel Xeon 處理器在離線模式下每秒可總結 2 個段落,即時伺服器模式下每秒總結 1 個段落。
  • Intel 首次提交 Intel Xeon CPU Max 系列的 MLPerf 結果,該系列可提供高達 64GB 的高頻寬記憶體。在 GPT-J 方面,它是唯一能夠達成 9% 準確度的 CPU,這對於需要最高精準度的應用而言十分重要。
  • Intel 和原始設備製造商(OEM)客戶合作,提交他們自己的結果,進一步展現搭載Intel Xeon處理器通用伺服器的AI效能可擴展性和廣泛可用性,這些伺服器能夠滿足客戶的服務等級協議(SLA)。

MLPerf 被普遍認為是 AI 效能方面最具聲譽的基準測試,能夠進行公平、可重現的效能比較。Intel 預計將為下次的 MLPerf 基準測試提交新的 AI 訓練結果。效能持續不斷的更新,代表 Intel 致力於支援客戶,並針對每個AI節點提出解決方案-從低成本的 AI 處理器,再到網路、雲端和企業用戶所需的最高效能 AI 硬體加速器和 GPU。

source:MLPerf Inference v3.1的效能指標(基準測試結果)、MLCommons 宣布
更多圖片 小圖 大圖
組圖打開中,請稍候......
您需要登錄後才可以回帖 登錄 | 註冊 |

本版積分規則

小黑屋|手機版|無圖浏覽|網站地圖|XFastest  

GMT+8, 2024-11-13 09:08 , Processed in 0.123962 second(s), 67 queries .

專業網站主機規劃 威利 100HUB.COM

© 2001-2018

快速回復 返回頂部 返回列表