NVIDIA Hopper H100 GPU全面量產，Ada Lovelace轉當L40 Server GPU，Grace CPU Superchip進一步詳解

NVIDIA的GTC 2022主題演講被今天早些時候的遊戲顯示卡大量掩蓋，但在主要的GTC主題演講中首席執行官Jensen Huang談到並透露了一些全新的產品，例如 Ada Lovelace L40 GPU、OVX和IGX系統，並確認Hopper H100 GPU現已全面投產。

從旗艦Hopper晶片開始，NVIDIA已經確認H100 GPU現已全面投產，其合作夥伴將於今年10月推出第一波產品。還確認Hopper的全球推廣將包括三個階段，第一個階段將是NVIDIA DGX H100系統的預購，以及直接從NVIDIA向客戶提供免費實驗室，這些系統包括Dell的Power Edge伺服器等系統。

第二階段將包括領先的OEM合作夥伴在未來幾週內開始出貨，到今年年底將有50多台伺服器會投放市場，該公司預計到2023年上半年將有數十台伺服器進入市場。

Hopper 的全球推廣

對於想要立即嘗試新技術的客戶，NVIDIA宣布Dell PowerEdge伺服器上的H100現在可在NVIDIA LaunchPad上使用，它提供免費的動手實驗室，使公司能夠訪問最新的硬體和NVIDIA AI軟體。

客戶還可以開始訂購NVIDIA DGX H100系統，其中包括8個H100 GPU，並以FP8精度提供32 petaflops的性能。 NVIDIA Base Command和NVIDIA AI Enterprise軟體將為每個DGX系統提供支援，支援從單個節點到NVIDIA DGX SuperPOD的部署，支援大型語言模型和其他大規模工作負載的高級AI開發。

來自世界領先電腦製造商並採用H100的系統預計將在未來幾週內發貨，到今年年底將有50多種伺服器型號投放市場，到2023年上半年將有數十種。打造系統的合作夥伴包括Atos, Cisco, Dell Technologies, Fujitsu, GIGABYTE, Hewlett Packard Enterprise, Lenovo和Supermicro。

此外一些世界領先的高等教育和研究機構將使用H100為其下一代超級電腦提供動力。其中包括Barcelona Supercomputing Center, Los Alamos National Lab, Swiss National Supercomputing Centre (CSCS)、Texas Advanced Computing Center與University of Tsukuba。

via NVIDIA

第二個主要公告是關於L40 GPU，這是一款專注於數據中心領域並利用新發布的Ada Lovelace GPU架構的產品。L40 GPU的全部規格未知，但它配備48GB GDDR6 (ECC)、4個DP 1.4a顯示輸出、300W的TBP和一個尺寸為4.4 x 10.5 的雙槽無源熱器。該卡由單個16針CEM5連接器供電。

NVIDIA L40 GPU支援所有主要的vGPU軟體，例如NVIDIA vPC/vApps和NVIDIA RTX虛擬工作站 (vWS)，並提供3級NEBS支援以及安全啟動（信任根）支援。該產品最重要的方面是它有三個AV1 Encode和3x Decode單元。這已經是比起RTX 6000和其他有雙AV1引擎的GeForce RTX 40顯示卡的一個亮點。

Grace Hopper Superchip是下一代推薦系統的理想選擇，NVIDIA還進一步詳細介紹了其Grace Hopper超級晶片，聲稱它非常適合推薦系統。

NVLink 加速 Grace Hopper

Grace Hopper之所以能做到這一點，是因為它是一個超級晶片——一個單元中的兩個晶片共享一個超快的晶片到晶片互連。它是採用Arm的NVIDIA Grace CPU和Hopper GPU，透過NVIDIA NVLink-C2C進行通訊。更重要的是NVLink還將許多超級晶片連接成一個超級系統，一個為執行TB級推薦系統而打造的計算集群。

NVLink以高達每秒900GB的速度傳輸數據——是PCIe Gen 5的7倍，即將推出的系統將使用最先進的互連。這意味著Grace Hopper為推薦者提供了7倍以上的嵌入——包含上下文的數據表——他們需要為用戶個性化結果。

更多記憶體，更高效率
Grace CPU使用LPDDR5X，可為推薦系統和其他要求苛刻的工作負載實現頻寬、能源效率、容量和成本的最佳平衡。它提供了50%以上的頻寬，同時每GB的功耗僅為傳統DDR5系統的八分之一。

集群中的任何Hopper GPU都可以透過NVLink訪問Grace的記憶體。這是Grace Hopper的一項功能，可提供有史以來最大的GPU記憶體池。此外NVLink-C2C每Per bit僅需1.3 Picojoules，其能效是PCIe Gen 5的5倍以上。

總體結果是與使用傳統CPU的Hopper相比，使用Grace Hopper的推薦系統的性能和效率提高了4倍（見下表）。

NVIDIA還展示了其全新的OVX系統，該系統利用上面提到的L40 GPU，總共使用多達8個Ada Lovelace晶片來增強網路技術，以提供突破性的即時圖形、人工智慧和數字孿生模擬能力。帶有L40 GPU的OVX系統預計將在2023年初透過Inspur, Lenovo與Supermicro等領先合作夥伴投放市場。

NVIDIA還推出了其IGX系統主機板，這是一個Edge AI平台，專為工業和醫療環境而打造

為新的OVX系統提供動力的是NVIDIA L40 GPU，它同樣採用Ada Lovelace GPU架構，為打造複雜的工業數位孿生模型帶來了最高水平的功率和性能。

L40 GPU的第三代RT核心和第四代Tensor核心將為在OVX上執行的Omniverse工作負載提供強大的功能，包括加速的光線追踪和路徑追踪材質渲染、物理精確模擬和逼真的3D合成數據打造。L40還將在主要OEM供應商的NVIDIA認證系統伺服器中提供，以支援數據中心的RTX工作負載。

除了L40 GPU，新的NVIDIA OVX還包括ConnectX-7 SmartNIC，提供增強的網路和儲存性能以及逼真的數位孿生所需的精確時序同步。ConnectX-7支援每個孔上的200G網路和快速線上數據加密，以加快數據移動並提高數位孿生的安全性。

via NVIDIA

消息來源