(PR)戴爾在PowerEdge人工智慧伺服器中提供AMD尖端Instinct MI300X人工智慧加速器

戴爾擴大了與AMD的合作，現在在其尖端伺服器中提供AMD的最高階Instinct MI300X AI加速器以及新的生成式AI解決方案。

[新聞稿]：隨著人工智慧不斷快速發展，開源技術與前沿硬體加速的融合正在推動產業創新。戴爾科技集團和AMD處於領先地位，提供比公有雲IaaS成本效益高出 75%的本地基礎設施解決方案，並且專為增強企業中的生成式AI應用程式而量身定制。

我們很高興分享一系列支援開放人工智慧生態系統和框架部署的更新。首先Dell PowerEdge XE9680現已配備AMD Instinct MI300X加速器，為我們的客戶增強了AI效能選項。其次我們與AMD一起發布了戴爾生成式AI驗證設計，支援在開放框架基礎上進行自訂應用程式開發。第三我們將於9月推出的新部署服務將確保這些創新順利整合到您的營運中。

配備AMD Instinct MI300X加速器的PowerEdge XE9680提供專為利用生成式AI的企業而設計的高性能功能，並有8個MI300X加速器、總計1.5TB的HBM3以及 42 petaFLOPS峰值理論FP8和稀疏精度性能。

這種強大的配置可以更快地訓練和推理大型語言模型，幫助組織更有效地提供人工智慧驅動的見解和創新應用程式。 最近對單節點配置的測試顯示領先的總擁有成本值：

• 在Dell PowerEdge XE9680伺服器上的單一AMD Instinct MI300X加速器上部署了Llama 2 70B參數模型。
• 利用Dell PowerEdge XE9680伺服器上所有八個可用的AMD Instinct MI300X加速器部署了該模型的八個並發實例。
• 在一台配備八個AMD Instinct MI300X加速器的Dell PowerEdge XE9680伺服器上以FP16精確度微調Llama 2 70B參數模型。
• 透過Dell OpenManage Enterprise簡化部署、透過APEX AIOps軟體實現智慧自動化，以及以整合網路復原和零信任方法為特色的增強安全性，XE9680使企業能夠快速實施和擴展其GenAI解決方案，同時保持強大的安全態勢。
  

戴爾與AMD合作的生成式AI驗證設計於5月發布並於今日上市，  它是戴爾生成式AI解決方案的下一步，使組織能夠更輕鬆地部署值得信賴的GenAI。該設計指南為組織和開發人員提供了實施LLM推理和模型定制的全面指導，以及微調和檢索增強生成 (RAG) 等先進技術。採用開放標準並減少對專有人工智慧軟體套件的需求，開發人員可以利用Hugging Face和Meta等合作夥伴的開源LLM模型來簡化開發並自由自訂工作流程。

加速現代工作負載。 創新和規模可實現高效、敏捷的業務和成果。

• 戴爾驗證設計由AMD Instinct MI300X加速器提供支援，可實現近線性擴展和低延遲分佈式GenAI訓練和推理。
• PowerScale F710可提供更快的即時洞察，並大幅提高串流性能，加速AI管道的所有階段。
• Dell PowerSwitch Z9664F-ON提供64個400GbE，為現代AI叢集提供低延遲和高吞吐量的乙太網路結構。
• Broadcom Thor2 AI優化網路卡提供400G互連MI300X加速器，有業界最低的功耗需求。
• 促進應用程式開發。 開源軟體和生態系統允許開發人員和資料科學家自由創新。
  

• AMD ROCm支援的框架擴展了戴爾生成式人工智慧解決方案生態系統，包括對PyTorch、TensorFlow、ONNX-RT和JAX等開源大型語言模型的支持，以及AMD Instinct的完整驅動程式、開發工具包和API堆疊加速器。
• Dell Omnia簡化了AI叢集的建立和管理，自動配置以實現高效的工作負載處理。
• Dell Technologies的Enterprise SONiC發行版提供可擴充的網路解決方案，將開源SONiC平台與Dell PowerSwitch結合，提供進階功能和企業級支援。
  

以生成式AI為導向的戴爾驗證設計讓戴爾客戶能夠輕鬆建立適合其需求的GenAI平台，消除整合、效能和規模考量中的猜測。

消息來源