Intel今天宣布全面推出最新的Gaudi 3 AI加速器,該加速器將於下個月開始出貨。
Intel的Gaudi產品線因其高CP值的定位而在AI行業備受好評,下一代Gaudi產品最快將於下個月推出。Gaudi 3有(325L OAM相容)、通用基板(HLB-325) 和PCIe CEM(HL-388 附加卡)版本。
Intel Gaudi 3 PCIe CEM在今天的公告中進行了詳細介紹,它將帶來高達1835 TFLOPS的FP8(峰值)計算能力以及128GB HBM2e、600W TDP、8個矩陣乘法引擎、64個TPC 22 200 GbE RDMA NIC ,全部採用雙插槽全高10.5吋解決方案。
每個矩陣乘法引擎都是完全可設定的(不可編程),並配備256 x 256 MAC陣列結構,有FP32累加器和BF16和FP8的64K MAC/週期。 TPC或Tensor處理核心有256B寬SIMD Tensor 處理器,可使用C增強型(TPC intrinsic)進行編程、有4個獨立管道插槽的VLIW、整合位址產生單元並支援主要1/2/4位元組資料型態(浮點數和整數)。
通用基板將配備四個Gaudi 3 AI加速器,有4個200GbE互連鏈路和通過QSFP-DD控制器的400 GbE。每個OAM解決方案都將有x16 PCIe Gen5鏈路,提供高達 800GB/s的橫向擴展頻寬和1800GB/s的縱向擴展頻寬。系統本身將提供512GB/s的PCIe頻寬。此解決方案非常適合推理、微調和小模型訓練。
在性能方面,Intel Gaudi 3 AI加速器將在LLaMA 3 8B模型中提供高達9%的推理提升,同時與H100相比,每美元的性能提高80%。在LLaMA 70B中Gaudi 3 AI 加速器將比H100提供高19%的推理吞吐量和2倍的CP值。
消息來源
|