(PR)NVIDIA宣布推出AI Foundry服務以擴展GenAI – Microsoft Azure將於明年推出更多採用H100和H200機器

NVIDIA宣布推出全新的AI Foundry Services計劃以進一步加速AI，而Microsoft Azure則提供最新的Hopper執行個體。

新聞稿： NVIDIA宣布推出AI代工服務，其中包括NVIDIA AI基礎模型、NVIDIA NeMo框架和工具以及DGX Cloud AI超級運算和服務，為企業提供用於打造和優化自訂生成AI模型的解決方案。

Amdocs是一家為通訊和媒體供應商提供軟體和服務的領先供應商，利用AI代工服務，將為電信和媒體產業優化企業級大型語言模型，以便在其業務中高效部署生成式AI，從客戶體驗到網路操作和配置。LLM將在NVIDIA加速計算上運行，作為Amdocs amAIz框架的一部分。

此次合作建立在先前宣布的Amdocs-Microsoft合作夥伴關係的基礎上，使服務提供者能夠在安全、可信賴的環境（包括本地和雲端）中採用這些應用程式。

隨著NVIDIA繼續與Microsoft合作建置最先進的AI基礎設施，Microsoft正在向Microsoft Azure導入更多採用H100的虛擬機，以加速（中階）AI工作負載。

今天在西雅圖舉行的 Ignite 大會上微軟宣布推出適用Azure的全新NC H1​​00 v5 VM系列，這是業界首款採用NVIDIA H100 NVL GPU的雲端執行個體。該產品匯集了一對透過NVIDIA NVLink連接的並採用PCIe的H100 GPU ，有近4 petaflops的AI運算能力和188GB更快的HBM3記憶體。NVIDIA H100 NVL GPU在GPT-3 175B上的表現比上一代產品高出12倍，非常適合推理和主流訓練工作負載。

此外微軟還宣布計劃明年將NVIDIA H200 Tensor Core GPU添加到其Azure系列中，以支援更大的模型推理且不會減少延遲。這項新產品專為加速最大的人工智慧工作負載而設計，包括LLM和生成式人工智慧模型。H200 GPU使用最新一代HBM3e，顯著增加了記憶體容量和頻寬。

與前身相比，這款新GPU將提供141GB HBM3e記憶體（增加1.8倍）和4.8TB/s峰值記憶體頻寬（增加1.4倍）。

雲端運算變得機密
為了進一步擴大Azure客戶使用NVIDIA加速的生成式AI運算的可用性，微軟宣布推出另一個由NVIDIA驅動的執行個體：NCC H100 v5。

這些配備NVIDIA H100 Tensor Core GPU的Azure機密虛擬機器 (VM) 可讓Azure客戶保護記憶體中正在使用的資料和應用程式的機密性和完整性，同時獲得 H100 GPU無與倫比的加速能力。這些GPU增強型機密虛擬機即將推出私人預覽版。

消息來源