Intel宣布Gaudi 3 AI加速器將於第四季全面上市：經濟高效的AI解決方案

Intel今天宣布全面推出最新的Gaudi 3 AI加速器，該加速器將於下個月開始出貨。

Intel的Gaudi產品線因其高CP值的定位而在AI行業備受好評，下一代Gaudi產品最快將於下個月推出。Gaudi 3有(325L OAM相容）、通用基板(HLB-325) 和PCIe CEM（HL-388 附加卡）版本。

Intel Gaudi 3 PCIe CEM在今天的公告中進行了詳細介紹，它將帶來高達1835 TFLOPS的FP8（峰值）計算能力以及128GB HBM2e、600W TDP、8個矩陣乘法引擎、64個TPC 22 200 GbE RDMA NIC ，全部採用雙插槽全高10.5吋解決方案。

每個矩陣乘法引擎都是完全可設定的（不可編程），並配備256 x 256 MAC陣列結構，有FP32累加器和BF16和FP8的64K MAC/週期。 TPC或Tensor處理核心有256B寬SIMD Tensor 處理器，可使用C增強型（TPC intrinsic）進行編程、有4個獨立管道插槽的VLIW、整合位址產生單元並支援主要1/2/4位元組資料型態（浮點數和整數）。

通用基板將配備四個Gaudi 3 AI加速器，有4個200GbE互連鏈路和通過QSFP-DD控制器的400 GbE。每個OAM解決方案都將有x16 PCIe Gen5鏈路，提供高達 800GB/s的橫向擴展頻寬和1800GB/s的縱向擴展頻寬。系統本身將提供512GB/s的PCIe頻寬。此解決方案非常適合推理、微調和小模型訓練。

在性能方面，Intel Gaudi 3 AI加速器將在LLaMA 3 8B模型中提供高達9%的推理提升，同時與H100相比，每美元的性能提高80%。在LLaMA 70B中Gaudi 3 AI 加速器將比H100提供高19%的推理吞吐量和2倍的CP值。

消息來源