NVIDIA Hopper H200 GPU配備世界上最快的HBM3e，Grace Hopper超級晶片為Jupiter超級電腦提供動力

NVIDIA宣布推出全新H200 Hopper GPU，該GPU現在配備了全球最快的HBM3e記憶體。除了新的人工智慧平台之外，NVIDIA還宣布憑藉Grace Hopper超級晶片贏得超級電腦重大勝利，該晶片現已為Exaflop Jupiter超級電腦提供動力。

NVIDIA的H100 GPU是迄今為止業界需求量最大的AI晶片，但NVIDIA團隊希望為其客戶提供更高的效能。HGX H200是最新的AI HPC和運算平台，由H200 Tensor Core GPU提供支援。這些GPU在硬體和軟體上均採用最新的Hopper最佳化，同時提供迄今為止世界上最快的記憶體解決方案。

NVIDIA H200 GPU配備了HBM3e解決方案，記憶體容量高達141GB，頻寬高達4.8TB/s，與NVIDIA A100相比，頻寬增加了2.4倍，容量增加了一倍。在Llama 2（700億參數 LLM）等應用程式中，這種新的記憶體解決方案使NVIDIA的AI推理效能比H100 GPU提高了近一倍。TensorRT-LLM的最新進展也為大量人工智慧應用帶來了巨大的效能提升。

在解決方案方面，NVIDIA H200 GPU將廣泛應用於有4路和8路GPU配置的HGX H200伺服器中。HGX系統中H200 GPU的8路配置將提供高達32 PetaFLOP的 FP8運算效能和1.1TB的記憶體容量。

GPU也將與現有的HGX H100系統相容，使客戶能夠更輕鬆地升級其平台。華碩、ASrock Rack、戴爾、Eviden、技嘉、慧與、鴻毅科技、聯想、QCT、緯穎科技、超微和緯創等NVIDIA合作夥伴將在H200 GPU於2024年第二季上市時提供更新的解決方案。

除了H200 GPU的發布之外，NVIDIA還宣布了由其Grace Hopper Superchips (GH200)提供支援的超級電腦的重大勝利。這款超級電腦被稱為Jupiter，將位於德國於利希研究中心 (Forschungszentrum Jülich) 設施，作為EuroHPC聯合計畫的一部分，並由Eviden和ParTec承包。這款超級電腦將用於材料科學、氣候研究、藥物發現等。這也是NVIDIA在11月宣布的第二台超級電腦，前一台是Isambard-AI，可提供高達21 Exaflops的AI性能。

配置方面Jupiter超級電腦採用Eviden的BullSequana XH3000，採用全水冷架構。它擁有總共24,000個NVIDIA GH200 Grace Hopper超級晶片，這些晶片透過該公司的Quantum-2 Infiniband互連。考慮到每個Grace CPU包含288個Neoverse核心，我們認為光是Jupiter的CPU端就有近700萬個ARM 核心（確切地說是 6,912,000個）。

效能指標包括90 Exaflops的人工智慧訓練和1 Exaflops的高效能運算。這款超級電腦預計將於2024年安裝。總體而言這些是NVIDIA憑藉強大的硬體和軟體技術繼續引領AI世界的一些重大更新。

消息來源