NVIDIA Hopper H100 GPU ：世界上最快的4nm GPU和世界上第一個配備HBM3的GPU

在GTC 2022上NVIDIA推出了其 Hopper H100 GPU，這是一款專為下一代數據中心設計的計算引擎。自從我們談論這款強大的晶片以來已經有一段時間了，但看起來NVIDIA將其旗艦晶片的特寫鏡頭提供給了選擇的媒體。

CNET不僅獲得了H100 GPU的顯示卡，還獲得了H100晶片本身。H100 GPU是一款怪獸級晶片，採用最新的4nm技術，並結合了800億個電晶體管以及最先進的 HBM3記憶體技術。根據技術資料H100採用PG520 PCB板打造，該板有30多個電源VRM和一個使用TSMC的CoWoS技術將Hopper H100 GPU與6堆棧HBM3設計相結合的大型整合中介層。

新的HBM3標準允許以3TB/s的速度提供高達80GB的容量。相比之下目前最快的遊戲顯示卡RTX 3090 Ti僅提供1TB/s的頻寬和24GB的VRAM容量。除此之外H100 Hopper GPU還採用最新的FP8格式，透過其新的SXM連接，它有助於對應晶片設計的700W電源設計。

因此按照規格來說NVIDIA Hopper GH100 GPU由一個巨大的144 SM（串流式多處理器）晶片佈局組成，總共有8個GPC。這些GPC共有9個TPC，每個TPC進一步由2個SM單元組成。這使我們每個GPC有18個SM，而在完整的8個GPC配置中，我們有144個。每個SM最多由128個FP32單元組成，這應該給我們總共18,432 個CUDA核心。以下是您可以從H100晶片中獲得的一些配置：

The full implementation of the GH100 GPU includes the following units:

• 8 GPCs, 72 TPCs (9 TPCs/GPC), 2 SMs/TPC, 144 SMs per full GPU
• 128 FP32 CUDA Cores per SM, 18432 FP32 CUDA Cores per full GPU
• 4 Fourth-Generation Tensor Cores per SM, 576 per full GPU
• 6 HBM3 or HBM2e stacks, 12 512-bit Memory Controllers
• 60 MB L2 Cache
• Fourth-Generation NVLink and PCIe Gen 5
  

The NVIDIA H100 GPU with SXM5 board form-factor includes the following units:

• 8 GPCs, 66 TPCs, 2 SMs/TPC, 132 SMs per GPU
• 128 FP32 CUDA Cores per SM, 16896 FP32 CUDA Cores per GPU
• 4 Fourth-generation Tensor Cores per SM, 528 per GPU
• 80 GB HBM3, 5 HBM3 stacks, 10 512-bit Memory Controllers
• 50 MB L2 Cache
• Fourth-Generation NVLink and PCIe Gen 5
  

這比完整的GA100 GPU配置增加了2.25倍。NVIDIA還在其Hopper GPU中利用更多的FP64、FP16和Tensor核心，這將極大地提高性能。快取是NVIDIA非常關注的另一個重點，在Hopper GH100 GPU中將其提高到50MB。這比Ampere GA100 GPU上的40MB存增加了 20%，是AMD旗艦Aldebaran MCM GPU MI250X的3倍。

綜合性能數據NVIDIA的GH100 Hopper GPU將提供4000 TFLOP的FP8、2000 TFLOP的FP16、1000 TFLOP的TF32和60 TFLOP的FP64計算性能。這些破紀錄的數字摧毀了之前的所有其他HPC加速器。相比之下在FP64計算中這比NVIDIA自己的A100 GPU快3.3倍，比AMD的Instinct MI250X快28%。在FP16計算中H100 GPU比A100快3倍，比MI250X快5.2倍。

消息來源