找回密碼註冊
作者: sxs112.tw
查看: 3207
回復: 0

文章分享:

+ MORE精選文章:

+ MORE活動推薦:

O11 VISION COMPACT 玩家開箱體驗分享活動

迷你身形 三面透視打造精緻PC視野新境界O11 VISION COMPACT 強強聯合 ...

2024 三星SD記憶卡 玩家開箱體驗分享活動

2024 PRO Plus SD 記憶卡 [*]為專業人士打造 [*]釋放極限速度 [*]多 ...

體驗極速WiFi 7!MSI Roamii BE Lite Mesh

MSI首款WiFi 7 Mesh系統登場-Roamii BE Lite Mesh System。Roamii ...

LANCOOL 207 玩家開箱體驗分享活動

LANCOOL 207重新構想了傳統的ATX佈局,將強大的兼容性和卓越的冷卻 ...

打印 上一主題 下一主題

[顯示卡器] Intel宣布Gaudi 3 AI加速器將於第四季全面上市:經濟高效的AI解決方案

[複製鏈接]| 回復
跳轉到指定樓層
1#
sxs112.tw 發表於 2024-9-25 10:30:41 | 只看該作者 |只看大圖 回帖獎勵 |倒序瀏覽 |閱讀模式
Intel今天宣布全面推出最新的Gaudi 3 AI加速器,該加速器將於下個月開始出貨。
2024-09-24_3-03-13.png

Intel的Gaudi產品線因其高CP值的定位而在AI行業備受好評,下一代Gaudi產品最快將於下個月推出。Gaudi 3有(325L OAM相容)、通用基板(HLB-325) 和PCIe CEM(HL-388 附加卡)版本。
2024-09-24_2-59-45-1456x819.png

Intel Gaudi 3 PCIe CEM在今天的公告中進行了詳細介紹,它將帶來高達1835 TFLOPS的FP8(峰值)計算能力以及128GB HBM2e、600W TDP、8個矩陣乘法引擎、64個TPC 22 200 GbE RDMA NIC ,全部採用雙插槽全高10.5吋解決方案。
2024-09-24_2-59-46-1456x819.png


2024-09-24_2-59-51-1456x819.png


2024-09-24_2-59-57-1456x819.png


2024-09-24_2-59-58-1456x819.png


2024-09-24_3-00-00-1456x819.png


2024-09-24_3-00-01-1456x819.png


2024-09-24_3-00-02-1456x819.png


2024-09-24_3-00-04-1456x819.png


2024-09-24_3-00-05-1456x819.png

每個矩陣乘法引擎都是完全可設定的(不可編程),並配備256 x 256 MAC陣列結構,有FP32累加器和BF16和FP8的64K MAC/週期。 TPC或Tensor處理核心有256B寬SIMD Tensor 處理器,可使用C增強型(TPC intrinsic)進行編程、有4個獨立管道插槽的VLIW、整合位址產生單元並支援主要1/2/4位元組資料型態(浮點數和整數)。
2024-09-24_3-01-21.png

通用基板將配備四個Gaudi 3 AI加速器,有4個200GbE互連鏈路和通過QSFP-DD控制器的400 GbE。每個OAM解決方案都將有x16 PCIe Gen5鏈路,提供高達 800GB/s的橫向擴展頻寬和1800GB/s的縱向擴展頻寬。系統本身將提供512GB/s的PCIe頻寬。此解決方案非常適合推理、微調和小模型訓練。
2024-09-24_2-59-52-1456x819.png


2024-09-24_2-59-54-1456x819.png

在性能方面,Intel Gaudi 3 AI加速器將在LLaMA 3 8B模型中提供高達9%的推理提升,同時與H100相比,每美元的性能提高80%。在LLaMA 70B中Gaudi 3 AI 加速器將比H100提供高19%的推理吞吐量和2倍的CP值。

消息來源

您需要登錄後才可以回帖 登錄 | 註冊 |

本版積分規則

小黑屋|手機版|無圖浏覽|網站地圖|XFastest  

GMT+8, 2024-11-1 19:23 , Processed in 0.085132 second(s), 34 queries .

專業網站主機規劃 威利 100HUB.COM

© 2001-2018

快速回復 返回頂部 返回列表