NVIDIA宣布推出全新H200 Hopper GPU,該GPU現在配備了全球最快的HBM3e記憶體。除了新的人工智慧平台之外,NVIDIA還宣布憑藉Grace Hopper超級晶片贏得超級電腦重大勝利,該晶片現已為Exaflop Jupiter超級電腦提供動力。
NVIDIA的H100 GPU是迄今為止業界需求量最大的AI晶片,但NVIDIA團隊希望為其客戶提供更高的效能。HGX H200是最新的AI HPC和運算平台,由H200 Tensor Core GPU提供支援。這些GPU在硬體和軟體上均採用最新的Hopper最佳化,同時提供迄今為止世界上最快的記憶體解決方案。
NVIDIA H200 GPU配備了HBM3e解決方案,記憶體容量高達141GB,頻寬高達4.8TB/s,與NVIDIA A100相比,頻寬增加了2.4倍,容量增加了一倍。在Llama 2(700億參數 LLM)等應用程式中,這種新的記憶體解決方案使NVIDIA的AI推理效能比H100 GPU提高了近一倍。TensorRT-LLM的最新進展也為大量人工智慧應用帶來了巨大的效能提升。
在解決方案方面,NVIDIA H200 GPU將廣泛應用於有4路和8路GPU配置的HGX H200伺服器中。HGX系統中H200 GPU的8路配置將提供高達32 PetaFLOP的 FP8運算效能和1.1TB的記憶體容量。
GPU也將與現有的HGX H100系統相容,使客戶能夠更輕鬆地升級其平台。華碩、ASrock Rack、戴爾、Eviden、技嘉、慧與、鴻毅科技、聯想、QCT、緯穎科技、超微和緯創等NVIDIA合作夥伴將在H200 GPU於2024年第二季上市時提供更新的解決方案。
除了H200 GPU的發布之外,NVIDIA還宣布了由其Grace Hopper Superchips (GH200)提供支援的超級電腦的重大勝利。這款超級電腦被稱為Jupiter,將位於德國於利希研究中心 (Forschungszentrum Jülich) 設施,作為EuroHPC聯合計畫的一部分,並由Eviden和ParTec承包。這款超級電腦將用於材料科學、氣候研究、藥物發現等。這也是NVIDIA在11月宣布的第二台超級電腦,前一台是Isambard-AI,可提供高達21 Exaflops的AI性能。
配置方面Jupiter超級電腦採用Eviden的BullSequana XH3000,採用全水冷架構。它擁有總共24,000個NVIDIA GH200 Grace Hopper超級晶片,這些晶片透過該公司的Quantum-2 Infiniband互連。考慮到每個Grace CPU包含288個Neoverse核心,我們認為光是Jupiter的CPU端就有近700萬個ARM 核心(確切地說是 6,912,000個)。
效能指標包括90 Exaflops的人工智慧訓練和1 Exaflops的高效能運算。這款超級電腦預計將於2024年安裝。總體而言這些是NVIDIA憑藉強大的硬體和軟體技術繼續引領AI世界的一些重大更新。
消息來源 |