AWS 上的 NVIDIA NIM 微服務大幅增強 AI 推論能力

生成式人工智慧（AI）正在快速改變各產業的發展樣貌，帶動對安全且高效能推論解決方案的需求，以有效率又具備成本效益的方式擴充日益複雜的模型。
擴大與 NVIDIA 的合作範圍，Amazon Web Services（AWS）今日在 AWS re:Invent 年度大會上宣布已經將NVIDIA NIM 微服務擴展至主要的 AWS AI 服務，以支援更快速的 AI 推論，以及減少生成式 AI 應用的延遲時間。

NVIDIA NIM 微服務現在可以直接在 AWS Marketplace、Amazon Bedrock Marketplace 和 Amazon SageMaker JumpStart 取得，讓開發人員可以更輕鬆為常用模型大規模部署經過 NVIDIA 最佳化的推論功能。

NVIDIA NIM 是 AWS Marketplace 提供的 NVIDIA AI Enterprise 軟體平台一部分，為開發人員提供一套簡單易用的微服務，專為在跨雲端、資料中心和工作站安全可靠地部署高效能、企業級 AI 模型推論而設計。

這些預先建置的容器建置在強大的推論引擎上，例如 NVIDIA Triton 推論伺服器、NVIDIA TensorRT、NVIDIA TensorRT-LLM 與 PyTorch，並支援廣泛的 AI 模型，從開源社群模型到 NVIDIA AI Foundation 模型與客製化模型。

NIM 微服務可以部署於各種 AWS 服務，包括 Amazon Elastic Compute Cloud（EC2）、Amazon Elastic Kubernetes Service（EKS）、Amazon Machine Image（AMI）及 Amazon SageMaker。

開發人員可以在NVIDIA API 目錄上預覽超過 100 個由常用模型與模型系列所建立起的 NIM 微服務，包括 Meta 的 Llama 3、Mistral AI 的 Mistral 與 Mixtral、NVIDIA Nemotron、Stability AI 的 SDXL 等。最常用的模型都可自行託管部署在 AWS 服務上，並且經過最佳化，能夠在 AWS 上的 NVIDIA 加速運算執行個體上運行。

現在可直接在 AWS 上取得的 NIM 微服務包含：

• NVIDIA Nemotron-4 可在 Amazon Bedrock Marketplace、Amazon SageMaker Jumpstart 和 AWS Marketplace 上取得。這是一款尖端的大型語言模型，專門用於產生近似真實世界資料的多樣化合成資料，可增強多個領域客製化大型語言模型的效能與穩健性。
• Llama 1 8B-Instruct 開放在 AWS Marketplace 上取得。這個有著 80 億個參數的多語言大型語言模型已針對語言理解、推理和文字產生使用個案進行預先訓練及指令調校。
• Llama 1 70B-Instruct 可以在 AWS Marketplace 上取得。這個有著 700 億個參數，且完成預先訓練、指令調校的模型已針對多語言對話進行最佳化。
• Mixtral 8x7B Instruct v0.1 能夠在 AWS Marketplace 上使用。這個權重開源的高品質稀疏混合專家模型可以遵循指令、完成請求與產生創意的文字格式。
  

AWS 上適用於每個人的 NIM

各產業的客戶及合作夥伴都在利用 AWS 上的 NIM 來加快上市速度、維持生成式 AI 應用與資料的安全性及控制力，並降低成本。

IT 諮詢與數位服務供應商 SoftServe 已開發出六個完全部署在 AWS 上，且由 NVIDIA NIM 與 AWS 服務加速的生成式 AI 解決方案。這些解決方案在 AWS Marketplace 上提供，包括 SoftServeGen AI Drug Discovery、SoftServe Gen AI Industrial Assistant、Digital Concierge、Multimodal RAG System、Content Creator 和 Speech Recognition Platform。

這些解決方案均以 NVIDIA AI Blueprints 為基礎，這套全面性的參考工作流程能夠加快開發和部署 AI 應用，並且具備 NVIDIA 加速函式庫、軟體開發套件及 NIM 微服務，適用於 AI 代理、數位孿生等方面。

立即開始使用 AWS 上的 NIM

開發人員可以按照自己的獨特需求與要求，在 AWS 上部署 NVIDIA NIM 微服務。如此一來，開發人員和企業就能藉由各種 AWS 服務，利用經過 NVIDIA 最佳化的推論容器發展出高效能 AI。

歡迎造訪 NVIDIA API 目錄試用超過 100 種不同的 NIM 最佳化模型，並且申請開發人員授權或 90 天的 NVIDIA AI Enterprise 試用授權，即可開始在 AWS 服務上部署微服務。開發人員也可以在 AWS Marketplace、Amazon Bedrock Marketplace 或 Amazon SageMaker JumpStart 探索 NIM 微服務。