NVIDIA 在最新 MLPerf 基準測試 刷新 16 項人工智慧效能紀錄

NVIDIA A100 GPU 與 DGX SuperPOD 系統稱霸全球最快 AI 訓練市售產品


NVIDIA 全新 DGX SuperPOD (如圖) 於一個月內完成組建，並搭載超過 2,000 個 NVIDIA A100 GPU，刷新現今每款市售的大規模運算效能產品在所有 MLPerf 項目中的紀錄


根據今日發表的 MLPerf 基準測試結果，NVIDIA (輝達) 提供全球最快的人工智慧 (AI) 訓練效能，領先所有市面上的產品。

A100 Tensor Core GPU 於全部 8 項 MLPerf 基準測試中，展現每個加速器的最快效能。針對最快的大規模解決方案，連結 HDR InfiniBand 的大規模 DGX A100 系統叢集 DGX SuperPOD 系統，樹立了 8 項新的效能里程碑。然而真正的贏家則是現正使用這些效能，並透過 AI 加速營運以及提高成本效益的客戶。

此次是 NVIDIA 連續三次參加於 2018 年 5 月創立的業界基準測試 MLPerf，而此次成果也是 NVIDIA 表現最強勁的一次。NVIDIA 於 2018 年 12 月首次 MLPerf 中創下 6 項紀錄，並在 2019 年 7 月創下 8 項紀錄。

此外，NVIDIA 還刷新最受客戶關注的「市售產品」分類紀錄。我們使用最新的 NVIDIA Ampere 架構 以及 Volta 架構進行測試。


NVIDIA DGX SuperPOD 系統為大規模 AI 訓練樹立新里程碑


NVIDIA 是唯一一家以旗下市售產品進行所有測試項目的公司，其他多數公司送測的產品皆屬於未來幾個月不會上市的預覽類別，或是短時間內不會上市的開發類別。


NVIDIA Ampere 以刷新紀錄的速度問市

除了刷新效能紀錄外，首款採用 NVIDIA Ampere 架構的 A100 GPU，也較 NVIDIA 先前所有的 GPU 更快上市。A100 推出之際便支援 NVIDIA 第三代 DGX 系統，更在推出僅僅六週後導入 Google 雲端服務。

此外，A100 也滿足全球各大雲端供應商的強勁需求，包括 Amazon Web Services (AWS)、百度雲 (Baidu Cloud)、微軟 (Microsoft) Azure、騰訊雲 (Tencent Cloud)，以及其他數十家伺服器製造商，包括戴爾科技 (Dell Technologies)、惠普 (Hewlett Packard Enterprise)、浪潮集團 (Inspur) 以及美超微 (Supermicro)。

全球各地的用戶透過採用 A100 來面對 AI、資料科學與科學運算等領域中最複雜的挑戰。

無論是用於開發新的推薦系統或對話式 AI 應用，或是針對新冠肺炎 (COVID-19)的醫藥研究，所有人都能享受 NVIDIA 八代 GPU 中，有史以來最大的效能躍進。


NVIDIA Ampere 架構席捲所有市售加速器產品的 8 項測試


1.5 年內效能提升 4 倍

最新測試結果展現 NVIDIA 持續致力於 AI 平台的發展，包含從處理器、網路、軟體到系統等各個層面。

例如，測試結果顯示，當前的 DGX-1 系統以相同的吞吐量所提供的效能，較第一回 MLPerf 訓練測試中搭載 V100 GPU 的系統大幅提升 4 倍。此外，如今透過最新的軟體優化，最初基於 NVIDIA V100 的 DGX-1 系統可以提供高達 2 倍的效能。

這些在不到兩年所獲得的效能提升，憑藉的是 AI 平台各領域的創新。當今的 NVIDIA A100 GPU 結合 CUDA-X 函式庫的軟體更新，為透過 Mellanox HDR 200Gb/s InfiniBand 連網技術打造的擴充叢集系統提供支援。

HDR InfiniBand 支援極低延遲與高資料吞吐量，同時透過 SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) 技術，提供多種智慧型深度學習運算加速引擎。


NVIDIA 持續透過全新 GPU、軟體更新與擴充系統設計，推動 AI 效能的發展


NVIDIA 在推薦系統、對話式 AI、強化學習領域大放異彩

MLPerf 基準測試由亞馬遜 (Amazon)、百度 (Baidu)、臉書 (Facebook)、谷歌 (Google)、哈佛大學 (Harvard)、英特爾 (Intel)、微軟 (Microsoft) 以及史丹佛大學 (Stanford) 等組織支持，並隨著 AI 的發展持續跟進演化，以保持密切的關聯性。

最新的基準測試包含兩項新的項目，以及一項大幅改版的項目，而 NVIDIA 在這些項目中皆表現優異。其中一項是推薦系統測試，這也是越來越受歡迎的 AI 應用；另一項為採用 BERT 的對話式 AI，採用當前複雜度首屈一指的類神經網路模型。而強化學習測試則採用 Mini-go 以及 19x19 全尺寸 Go 機板，是這次當中最複雜的測試項目，涉及從遊戲到訓練等種類眾多的處理作業。


客戶採用 NVIDIA AI 來執行對話式 AI 與推薦系統


許多企業已從這些 AI 策略應用中獲得效能帶來的益處。

阿里巴巴在 11 月創下 380 億美元的雙十一銷售紀錄，而搭載 NVIDIA GPU 的推薦系統所提供的每秒查詢次數，較搭載 CPU 的推薦系統提升 100 多倍。此外，對話式 AI 協助從金融到醫療等諸多產業提升營運績效，逐漸成為業界廣泛討論的焦點。

NVIDIA 不僅提供各界執行這些高強度工作所需的效能，同時簡化採用新技術的流程，使其簡單易用。


軟體為邁向 AI 之路做好準備

今年 5 月，NVIDIA 宣布推出兩個應用框架，分別是用於對話式 AI 的 Jarvis，以及用於推薦系統的 Merlin。Merlin 內含用於最新 MLPerf 測試結果的 HugeCTR 訓練框架。

這些框架是針對汽車 (NVIDIA DRIVE)、醫療 (Clara)、機器人 (Isaac) 以及零售/ 智慧城市 (Metropolis) 等市場中，不斷成長的應用程式框架的一部分。


NVIDIA 應用程式框架協助企業簡化從開發到部署的 AI 流程


DGX SuperPOD 架構提供大規模處理速度

NVIDIA 針對在 Selene 上的系統進行 MLPerf 測試，Selene 是基於 DGX SuperPOD 的內部叢集，其針對大規模 GPU 叢集的公開參考架構可於數周內完成部署。該架構擴展 DGX POD 採用的設計原理與最佳運用，以解決當今最具挑戰性的 AI 難題。

Selene 最近於 Top500 排行榜中首次亮相，成為全美最快的工業系統，並具備超過 1 exaflops 的 AI 效能。此外，Selene 也是Green 500 排行榜中，全球排名第二的節能系統。

許多客戶已採用這些參考架構組建自己的 DGX POD 與 DGX SuperPOD。其中包括美國最快的學術用 AI 超級電腦 HiPerGator，未來佛羅里達州立大學 (University of Florida) 將以此系統作為推動跨學科 AI 計畫的基礎。

同時，頂尖的超級電腦中心阿貢國家實驗室 (Argonne National Laboratory) 也正採用 DGX A100 研究對抗 COVID-19 疫情的方法。阿貢國家實驗室是首批六間高效能運算中心中，率先採用 A100 GPU 的實驗室。


NVIDIA DGX POD 被廣泛採用


DGX SuperPOD 已為汽車業的大陸集團(Continental)、航空航太業的洛克希德·馬丁 (Lockheed Martin)，以及提供雲端運算服務的微軟 (Microsoft) 等公司帶來商業績效。

這些系統皆已上線運行，這要感謝廣泛的生態系合作夥伴對於 NVIDIA GPU 與 DGX 系統的支援。


NVIDIA 生態系合作夥伴展現優異的 MLPerf 測試成果

提交測試成果的九家公司中，有七家採用 NVIDIA GPU，包含雲端服務供應商如阿里巴巴、Google、騰訊，以及伺服器製造商如戴爾科技、富士通、浪潮集團，
顯示出 NVIDIA 生態系合作夥伴的優勢。


合作夥伴提交採用 NVIDIA AI 平台的成果


許多合作夥伴透過採用 NVIDIA 軟體中心 NGC 上的容器，以及公開使用的框架來提交成果。

MLPerf 合作夥伴代表的是近二十家雲端服務供應商與 OEM 廠商組成的生態系，其中包含採用 NVIDIA A100 GPU 的線上執行個體、伺服器及 PCIe 卡的產品與計畫。


今日通過測試的軟體於 NGC 上開放使用

許多被 NVIDIA 與其合作夥伴用以進行最新 MLPerf 基準測試的軟體，今日已在 NGC 上開放給客戶使用。

NGC 內含多種 GPU 最佳化容器、軟體腳本、預先訓練的模型，以及軟體開發套件 (SDK)。它們讓資料科學家與開發者在 TensorFlow 與 PyTorch 等熱門框架上加速其 AI 工作流程。

許多組織正採用容器以加速獲得關鍵商業績效，而這也是最為重要的基準。