NVIDIA 推出企業伺服器的 A30 和 A10 GPU 並創下人工智慧推論紀錄

NVIDIA 宣布旗下人工智慧（AI）推論平台加入用於主流伺服器的 NVIDIA A30 與 A10 GPU 以擴大產品陣容，並在最新發布的 MLPerf 基準測試各項類別中，皆取得創紀錄的效能表現。

NVIDIA A30 和 A10 GPU 是 NVIDIA AI 平台的最新產品，其中包含 NVIDIA Ampere 架構 GPU、NVIDIA Jetson AGX Xavier 和 Jetson Xavier NX，以及為加速 AI 運算而進行最佳化調整的完整 NVIDIA 軟體堆疊。

NVIDIA A30 為業界標準伺服器提供多元的運算效能，支援各種 AI 推論與主流企業運算作業負載，如推薦系統、對話式 AI 與電腦視覺；而 NVIDIA A10 GPU 加快深度學習推論、互動式渲染、電腦輔助設計和雲端遊戲的執行速度，讓企業能夠在通用基礎設施上支援混合的 AI 與繪圖作業負載。

透過 NVIDIA 虛擬 GPU 軟體將能簡化管理作業，並提高設計師、工程師、藝術家和科學家對虛擬桌面的使用率和配置。

以 NVIDIA Xavier 系統模組為基礎的 NVIDIA Jetson 平台，提供邊緣伺服器等級的 AI 運算效能，支援機器人、醫療照護、零售和智慧城市等領域的多種應用。以 NVIDIA 一致的架構與 CUDA-X 軟體堆疊為基礎的 Jetson，是唯一能夠在小巧的機身中運行所有邊緣作業負載且功耗不到 30W 的平台。



而 MLPerf 是業界公認的基準測試，用以衡量涵蓋電腦視覺、醫療影像、推薦系統、語音辨識和自然語言處理等各種作業負載的 AI 效能。

首次進行 MLPerf 測試的 A30 及 A10 GPU，同時擁有高效能及低功耗，為企業提供主流伺服器產品選擇，以處理多樣化的 AI 推論、訓練、繪圖及傳統企業運算作業負載。思科 (Cisco)、戴爾科技 (Dell Technologies)、慧與科技 (Hewlett Packard Enterprise; HPE)、Inspur 與聯想 (Lenovo) 預計將於今年夏天開始，將這些 GPU 搭載至旗下最大容量的伺服器中。

NVIDIA 充分利用 NVIDIA AI 平台的各項優勢以取得如此優秀的成績。該平台具備多種 GPU 和包含 TensorRT™ 及 NVIDIA Triton™ 推論伺服器的 AI 軟體，目前微軟 (Microsoft)、Pinterest、Postmates、T-Mobile、美國郵政署 (USPS) 與微信 (WeChat) 等領先企業皆已部署此平台。








MLPerf 基準測試結果

NVIDIA 是唯一在資料中心和邊緣類別均提出每項測試結果的公司，並在所有 MLPerf 作業負載中提供最佳的效能。

多項提交內容亦使用 Triton 推論伺服器，這款伺服器支援來自所有在 GPU 與 CPU 上運行的主要框架的模型，同時針對各類查詢內容進行最佳化調整，包括批次、即時和串流，進而簡化了在應用程式中部署 AI 的複雜性。在配置相當的情況下，Triton 所提出的效能表現接近於經過最佳化調整的 GPU 執行與 CPU 執行。

NVIDIA 利用 NVIDIA Ampere 架構的多執行個體 GPU 功能，同時在單一 GPU 上使用七個多執行個體 GPU，以運行七個 MLPerf Offline 測試內容，這是提交內容中的全新創舉。該配置與單獨運行的單一多執行個體 GPU 相比，效能幾乎完全相同。

這些提交的內容展現出多執行個體 GPU 的效能及多功能，使得基礎架構管理員能夠為特定的應用程式配置適量的 GPU 運算，進而從每個資料中心的 GPU 獲得最大的輸出量。

除了 NVIDIA 提交的資料，NVIDIA 的合作夥伴阿里雲 (Alibaba Cloud)、戴爾科技 (Dell Technologies)、富士通 (Fujitsu)、技嘉 (GIGABYTE)、慧與科技 (HPE)、Inspur、聯想 (Lenovo) 及美超微 (Supermicro)，共提交超過 360 項採用 NVIDIA GPU 進行測試的結果。




供應時程

在領先製造商的伺服器與各大雲端服務供應商的雲端環境中，皆有提供 NVIDIA A100 GPU。此外，在包括 NVIDIA DGX Station A100、NVIDIA DGX A100 和 NVIDIA DGX SuperPOD 的 NVIDIA DGX™ 系統組合中也採用了 A100 GPU。

預計於今年夏天開始，多款伺服器將搭載功耗僅 165W 和 150W 的 A30 與 A10，包含經過嚴格測試、確保在各種作業負載下都能提供絕佳效能表現的 NVIDIA 認證系統。

全球經銷商皆提供 Jetson AGX Xavier 及 Jetson Xavier NX 系統模組。

欲取得 NVIDIA Triton 與 NVIDIA TensorRT，請參考 NVIDIA 的軟體目錄 NGC。