NVIDIA Hopper 在 MLPerf 人工智慧推論基準測試初登場即創新世界紀錄

在人工智慧推論的產業標準測試中，NVIDIA H100 GPU 創下世界紀錄，
A100 GPU 展現主流效能領先優勢，Jetson AGX Orin 則在邊緣運算領先群雄

NVIDIA H100 Tensor 核心 GPU 在 MLPerf 人工智慧 (AI) 基準測試初登場，便在各項推論作業負載創下世界紀錄，其效能較前一代 GPU 高出達 4.5 倍。

此測試結果顯示，對於先進 AI 模型有最高效能需求的用戶來說，Hopper 就是首選產品。

此外，NVIDIA A100 Tensor 核心 GPU 及用於開發 AI 機器人的NVIDIA Jetson AGX Orin 模組在影像和語音辨識、自然語言處理和推薦系統等所有 MLPerf 測試項目中，整體推論表現持續領先群雄。

亦稱為 Hopper 的 H100，在本輪測試的六個神經網路中提高單一加速器的效能標準。它在獨立伺服器和離線的情況下，在傳輸量和速度皆展現領先優勢。

圖一_NVIDIA H100 GPU 在資料中心類別的所有作業負載測試成果均創下新高

NVIDIA Hopper 架構的效能較 NVIDIAAmpere 架構的 GPU 高出 4.5 倍，在 MLPerf 測試結果中持續保持全面領先地位。

Hopper 在熱門的 BERT 自然語言處理模型上的出色表現，部分要歸功於它的Transformer 引擎。BERT 自然語言處理模型是MLPerf AI 模型中規模最大、對效能要求最高的模型之一。

這些推論基準測試是 H100 GPU 的首次公開展示，此產品將在今年底上市。H100 GPU 將參與 MLPerf 日後的訓練測試。

A100 GPU 展現業界領導地位

各大雲端服務供應商與系統製造商已採用的 NVIDIA A100 GPU，在最新的 AI 推論測試中依舊位居主流效能的領導地位。

在資料中心與邊緣運算的類別和情境中，A100 GPU 的成績比其他參與者提交的測試結果都更為突出。A100 在六月的 MLPerf 訓練基準測試中一馬當先，展現處理整個AI 工作流程的出色能力。

A100 GPU 自 2020 年 7 月首次參與 MLPerf 基準測試以來，隨著 NVIDIA AI 軟體持續改善，效能已經提高 6 倍。

NVIDIA AI 是在資料中心與邊緣運算中，唯一能夠運行所有 MLPerf 推論作業負載和情境的平台。

用戶需要能處理多種作業的效能

NVIDIA GPU 能夠在各大 AI 模型上提供頂尖效能，讓用戶成為真正的贏家。他們在真實世界中的應用通常會用到多種神經網路。

例如，AI 應用程式可能要理解使用者的口語請求、對影像進行分類、提出建議，然後用聽起來像人的聲音做出回應。每一步都要用到不同類型的AI 模型。

MLPerf 基準測試涵蓋這些 AI 模型及其它熱門的 AI 作業負載和情境，像是電腦視覺、自然語言處理、推薦系統、語音辨識等。這些測試確保用戶能獲得可靠且靈活的效能來進行部署。

MLPerf 基準測試具透明度且客觀，也因此用戶仰賴這些測試結果以做出明智的採購決策。亞馬遜 (Amazon)、Arm、百度 (Baidu)、Google、哈佛大學 (Harvard)、英特爾 (Intel)、Meta、微軟 (Microsoft)、史丹佛大學 (Stanford)與多倫多大學 (University of Toronto) 等眾多業者與學術單位皆對 MLPerf 表達支持。

Orin 於邊緣運算領先同類產品

NVIDIA Orin 運行 MLPerf 邊緣運算類別的每一項基準測試，多項表現更勝於其他低功耗系統單晶片。相較於四月時首次參與 MLPerf 測試，這次的能源效率提高多達50%。

在前一回合的測試中，Orin 的運行速度比上一代 Jetson AGX Xavier 模組快 5 倍，而能源效率平均高出 2 倍。

圖二_Orin 為邊緣 AI 推論作業提升 50% 的能源效率

Orin 將 NVIDIA Ampere 架構 GPU 與強大的 Arm CPU 核心叢集整合到單一晶片內。已可在用於開發機器人和自主系統的NVIDIA Jetson AGX Orin 開發套件及生產模組中取得，並支援完整的 NVIDIA AI 軟體堆疊，包括用於自動駕駛車 (NVIDIA Hyperion)、醫療設備 (Clara Holoscan) 與機器人 (Isaac) 的多個平台。

廣大的 NVIDIA AI 生態系

從 MLPerf 的測試結果便能看出 NVIDIA AI 獲得業界最廣泛的機器學習生態系支持。在本輪測試中，有超過七十份測試結果是透過NVIDIA 的平台運行，像是微軟 Azure 即提交在其雲端服務中運行 NVIDIAAI 的成果。

此外，由華碩 (ASUS)、戴爾科技集團 (Dell Technologies)、富士通 (Fujitsu)、技嘉 (GIGABYTE)、慧與科技 (Hewlett Packard Enterprise)、聯想 (Lenovo) 及美超微 (Supermicro) 等十家系統製造商推出的 19 款 NVIDIA 認證系統亦參與本次測試。

它們的測試結果顯示，無論是在雲端或在用戶自己的資料中心伺服器上，NVIDIAAI 都能為用戶提供絕佳效能。

NVIDIA 的合作夥伴深知，MLPerf 是一項讓客戶用於評估AI 平台及供應商的寶貴工具，因此才會加入測試。最新一輪的結果顯示，他們如今提供給用戶的出色效能，將隨著 NVIDIA 平台的發展而更將持續強化。

於此次測試中使用的各種軟體公開於 MLPerf 資源庫，每個人都能取得這些世界級的成果。我們不斷將最佳化結果放入NGC (GPU 加速軟體目錄) 的容器中。用來為本次提交的 AI 推論測試結果進行最佳化的 NVIDIA TensorRT 也能在 NGC 中取得。

敬請參閱我們的技術部落格，深入了解推動 NVIDIA MLPerf 效能的技術。