Intel 展示最強 AI 推論處理器 Xeon 6 與 Gaudi 3 加速器的最新系統與解決方案
https://news.xfastest.com/wp-content/uploads/2024/12/Intel-Xeon-6-Gaudi-3-8.jpg雖說經歷昨晚的人士大變動，但 Intel 今日火力全開展示搭載效能核心（P-core）的 Intel Xeon 6 與 Intel Gaudi 3 AI 加速器的最新系統和解決方案，攜手智邦科技、安提國際、其陽科技、永擎電子、華碩電腦、仁寶電腦、鈺登科技、鴻海科技集團、技嘉科技、威強電、英業達、神雲科技、微星科技、和碩聯合科技、雲達科技（QCT）、神準科技、美超微、緯創資通、緯穎科技等合作夥伴共襄盛舉，共同推動資料中心發展與 AI 應用。
活動中 Intel 也說明新一代產品如何協助企業讓資源運用最佳化，並透過開放平台有效率地運行大型語言模型（LLM）。現場亦展示了透過文字生成 3D 影像的 LDM3D、檢索增強生成（RAG）、輔助醫生診斷及醫病問詢等 AI 應用，以及最新的先進散熱解決方案，協助企業打造更永續的資料中心。
https://news.xfastest.com/wp-content/uploads/2024/12/Intel-Xeon-6-Gaudi-3-6.jpg
https://news.xfastest.com/wp-content/uploads/2024/12/Intel-Xeon-6-Gaudi-3-2.jpg
新一代 Intel Xeon 6 處理器驅動 AI 高效能運算
全部 P-core 核心的 Xeon 6 處理器，專為邊緣到資料中心和雲端環境的 AI 效能需求而打造，透過超高記憶體和 I/O 頻寬，以加速運算密集型 AI、HPC 和資料服務的工作負載。平台最高更可擴充至 128 個核心、12 個記憶體通道，並針對每個插槽提供 96 條 PCIe 通道。相較於上一代處理器，Xeon 6 效能提升高達 2 倍，不僅核心數增加、記憶體頻寬加倍，更將 AI 加速功能嵌入每個核心。此外，Xeon 6 亦能有效調度 GPU 運行資源，目前市場上高達 73% 的 GPU 伺服器是使用 Intel Xeon 系列處理器作為主處理器。
Xeon 6 處理器也支援採用 DDR5 介面與技術的 MRDIMM，提供每秒 8,800 MT/s 的傳輸速度，為客戶創造更高頻寬、更低延遲的運算環境，解決 HPC、AI 及其他大量工作負載。此外，Xeon 6 為率先支援 CXL 2.0 技術的伺服器處理器，以提升記憶體頻寬與容量，實現高效率資料傳輸。
英特爾亞太暨日本區總經理莊秉翰分享，Xeon 6 處理器相較於競爭對手有著 5.5x 倍 AI 推論效能，以及 2.1x 倍 HPC 效能的領先。
https://news.xfastest.com/wp-content/uploads/2024/12/Intel-Xeon-6-Gaudi-3-9.jpg
https://news.xfastest.com/wp-content/uploads/2024/12/Intel-Xeon-6-Gaudi-3-11.jpg
Gaudi 3 AI 加速器協助企業打造高價值AI系統
Gaudi 3 AI 加速器專為大規模 AI 運算所設計，可於資料中心或雲端上支援大型語言模型、多模態模型與企業 RAG 等 AI 應用程式。與前一代產品相比，Gaudi 3 將 BF16 的 AI 運算能力提高 4 倍，並提升 1.5 倍記憶體頻寬以及 2 倍網路頻寬，有助大型語言模型和多模態模型的 AI 訓練和推論。Gaudi 3 除了無縫整合 PyTorch 框架，更提供 Hugging Face Transformer 模型和 Diffusers 模型庫，以提升開發人員易用性和生產力。
英特爾亞太暨日本區總經理莊秉翰分享，Gaudi 3 AI 加速器相比競爭對手，在 LLaMA 2 70B 模型有著 1.19x 倍推論輸出性能，而且相比對手有著 2x 倍每元效能提升。
https://news.xfastest.com/wp-content/uploads/2024/12/Intel-Xeon-6-Gaudi-3-10.jpg
釋放AI潛力、實現更永續的資料中心
英特爾亦展示了各項 AI 應用，包括透過多模態橋塔模型處理複雜圖片和文字資訊，以進行影片內容搜尋的視覺語言模型 BridgeTower、根據圖片內容生成描述的大型語言和視覺助手LLaVA-Llama3、業界首款生成式3D潛在擴散模型（Latent Diffusion Model for 3D，LDM3D），讓使用者可以透過文字敘述生成精細的 360 度全景圖，以及基於檢索增強生成（RAG）的應用。另外，也將AI應用於醫學領域，包括開源預訓練大型語言模型 Bio-Mistral，提供醫學資訊問答功能，以節省醫療成本，以及經大規模資料集和演算法訓練的 CheXNet，透過運用 AI 判讀X光影像，輔助醫生進行病症診斷。
英特爾亦分享其先進散熱解決方案的最新進展。其超流體技術（Open IP SuperFluid Cooling Technology）除了應用在浸沒式冷卻解決方案之外，也將此技術導入水冷板散熱系統中。此技術除了可使傳統冷板的冷卻液 PG25 性能提升，也可搭配新開發的介電液來防止漏液時造成伺服器的損壞。此外，僅須修正冷卻液分配裝置（Cooling Distribution Units，CDU）設計即可達到晶片散熱設計功耗（Thermal Design Power，TDP）> 1500W 需求，滿足現有與新型資料中心永續性需求。
https://news.xfastest.com/wp-content/uploads/2024/12/Intel-Xeon-6-Gaudi-3-3.jpg
https://news.xfastest.com/wp-content/uploads/2024/12/Intel-Xeon-6-Gaudi-3-4.jpg
https://news.xfastest.com/wp-content/uploads/2024/12/Intel-Xeon-6-Gaudi-3-5.jpg
https://news.xfastest.com/wp-content/uploads/2024/12/Intel-Xeon-6-Gaudi-3-7.jpg
會議中英特爾業務暨行銷事業群商用業務總監鄭智成，帶來更多的數據分享，包含 Xeon 6 處理器相比上一代處理器，有著更好的通用運算、資料網頁服務、HPC 與 AI 等應用的效能提升。而且 Xeon 6 處理器相比上一代處理器有著 1.9x 倍每瓦效能提升。
https://news.xfastest.com/wp-content/uploads/2024/12/Intel-Xeon-6-Gaudi-3-12.jpg
https://news.xfastest.com/wp-content/uploads/2024/12/Intel-Xeon-6-Gaudi-3-13.jpg
Xeon 6 處理器全 P-core 核心，最高 128 個核心、6400MT/s DDR5、8800MT/s MRDIMM 記憶體資源，並有著 6 UPI 2.0 通道提供 24 GT/s 讓處理器相互連接，以及獨立全可使用的 96 條 PCIe 5.0 通道並支援 CXL 2.0。
而且處理器有著超大 504MB L3 快取，並支援 Intel AMX 支援 FP16。
https://news.xfastest.com/wp-content/uploads/2024/12/Intel-Xeon-6-Gaudi-3-14.jpg
Xeon 6 處理器支援 Intel AMX 加速，因此可做為最強的 CPU AI 推論平台，相比對手同核心與自家上代處理器，Xeon 6 處理器在各種 AI 應用中都有相當大的效能提升，尤其在 ResNet50 的影像辨識模型中更高達 5.5x 倍的提升。
https://news.xfastest.com/wp-content/uploads/2024/12/Intel-Xeon-6-Gaudi-3-15.jpg
頁:
[1]