AWS 新推出採用自行研發晶片支援的 Amazon EC2 執行個體

AWS 在 re:Invent 活動中宣布推出新款自行研發的晶片與三款運用新晶片的 Amazon EC2 執行個體，讓用戶可藉由新個體改善工作負載、成本與能源使用效率。



近日舉辦的 re:Invent 是 AWS 年度重要活動，在活動開始的主題演講中，AWS 新任執行長 Adam Selipsky 宣布推出多款新產品與服務，其中比較特別是二款自家研發的新晶片與採用新晶片提供的Amazon EC2 執行個體，將可提供高性能運算、人工智慧訓練等用途，讓客戶可以用改善工作負載的效能、成本與能源效率。


AWS 執行長 Adam Selipsky

自行研發的新晶片分別為 Amazon Graviton3 與 Amazon Trainium。屬於 Graviton 系列處理器最新一代產品的 Graviton3 同樣採用 ARM 架構設計，雖然內部架構細節與製程尚未完全公布，但是其運算效能與能源使用效率都比前一代更好，是針對密集運算而設計產品。根據 AWS 公布的資訊，Graviton3 比 Graviton2 的通用運算效能提升 25%外，在科學運算、媒體編碼、加解密運算時時提供高達二倍的浮點運算效能，機器學習工作負載提供高達三倍的效能。Graviton 3 處理器的能源效率也更高，在相同效能與同類型 EC2 執行個體對比，可節省高達 60%的能源消耗。


Adam Selipsky 宣布推出效能更高的 Amazon Gravity3

在 Graviton3 新處理器推出後，AWS 也立即宣布推出採用此新處理器的 Amazon EC2 (Elastic Compute Cloud) C7g執行個體(instance)，和目前採用 Graviton2 的 C6g 相比，效能提升 25%。

C7g 是第一個採用新款 DDR5 記憶體的執行個體，與基於Graviton2 的執行個體相比，其記憶體頻寬提高50%，連帶提升科學運算等記憶體密集型應用的效能。與前一代相比，C7g執行個體的網路頻寬也高出20%。C7g 執行個體支援Elastic Fabric Adapter（EFA），允許應用程式直接與網路介面通訊，提供更低的延遲，提高需要大規模平行處理（如 HPPC 和視頻編碼）的應用程式效能。

Amazon Graviton2 的運算執行個體自 2020年推出以來，已被眾多客戶 Discovery、Epic Games、Formula 1…等等使用，均獲得效能顯著提升以及節省成本等益處。基於 Graviton2 的系列執行個體共有12種，包括通用型、運算優化型、記憶體優化型、儲存優化型、突發效能型和加速運算型等，讓客戶擁有最廣泛的運算選擇，兼顧性價比和效能。隨著採用 Graviton 3 的 C7g推出，客戶將可用於更多運算密集型工作負載。

隨著越來越多客戶正在打造、訓練和部署機器學習模型以支援重塑業務和客戶體驗的應用程式。為了提高準確性，這些機器學習模型必須運用越來越多的訓練資料，導致訓練成本越來越高，可能就限制客戶能夠部署的機器學習模型數量。AWS為機器學習提供多種的運算服務選項，包括採用 NVIDIA A100 Tensor Core GPU的 EC2 P4d 與採用 Habana Labs Gaudi 加速器的 EC2 DL1執行個體。然而即使擁有最快的加速執行個體，在部署到生產之前，訓練著越來越大的機器學習模型仍非常昂貴和耗時。

因此 AWS 之前針對人工智慧推理推出 AWS Inferentia 晶片後，現在特別再針對人工智慧訓練推出自行設計的 Trainium 晶片。二種晶片的搭配，將可為提供完整的機器學習運算流程，而且開發者也能快速上手。

AWS 也宣布推出支援 Trainium 晶片的 Trn1 執行個體，可在 Amazon EC2 中深度學習模型的訓練上提供最佳性價比以及最快的機器學習模型訓練速度。與 P4d 相比，透過 Trn1 體訓練深度學習模型的成本降低達40%。Trn1 提供 800Gbps EFA 網路頻寬，並與Amazon FSx for Lustre 高效能儲存整合，客戶可啟動具有 EC2 UltraClusters 功能的 Trn1 執行個體。透過 EC2 UltraClusters，開發人員可以將機器學習訓練擴展到超過上萬個與 PB 級網路互連的 Trainium 加速器，讓客戶能夠按照需求存取超級運算等級的效能，即使是最大型和最複雜的模型，訓練時間也可從幾個月縮短到幾天。

除了運算與機器學習的執行個體之外，AWS也宣布推出新的Im4gn/Is4gen/I4i 執行個體，提供 I/O 密集型工作負戴的儲存效能。目前有許多客戶將 I3/I3en 儲存最佳化執行個體用於需要直接存取儲存於本機資料集的應用程式，像是橫向擴展的交易型和關聯式資料庫（如 MySQL 和 PostgreSQL），NoSQL資料庫（如 Cassandra、MongoDB、Redis 等），大數據（如 Hadoop ）和資料分析工作負載（如 Spark、Hive、Presto等）。I3/I3en 可提供低成本的 NVMe SSD儲存，並改善低延遲、高I/O效能和傳輸量。然而隨著工作負載不斷提升，就需要在不增加成本而獲得更高的運算效能和更快的資料存取速度。

Im4gn/Is4gen/I4i 執行個體採用自行研發的 Amazon Nitro SSD，擁有高達 30TB 的 NVMe 儲存設備。與上一代 I3 執行個體相比，其 I/O 延遲降低 60%，延遲可變性則降低75%，可大幅度提升應用程式效能。Amazon Nitro SSD 透過強化的儲存堆疊、虛擬化管理程式和硬體，與Amazon Nitro 系統緊密整合。相較於商用 SSD，AWS 同時管理 Amazon Nitro SSD的硬體和韌體，使SSD更新速度更快，讓客戶能從改進的功能中獲益。Im4gn 與 I3en 相比，性價比提高達 40%，每 TB 儲存成本降低達 44%。Is4gen 與 I3en 相比，每 TB 儲存成本降低 15%，運算效能提高達 48%。