(PR)AMD宣布跨EPYC CPU、Instinct加速器、Ryzen AI NPU和Radeon GPU全面支援Llama 3.1 AI模型

AMD宣布其整個產品組合全面支援Llama 3.1 AI模型，包括EPYC、Instinct、Ryzen 和 Radeon。

新聞稿： AMD的人工智慧策略專注於透過優化的訓練和推理運算引擎、開放且經過驗證的軟體功能以及與合作夥伴和客戶的根深蒂固的聯合創新等廣泛的產品組合來支援人工智慧生態系統。隨著人工智慧領域的發展，高效能、創新和廣泛的兼容性是推動這項策略的基本向量。我們的一個重要重點是為每個人提供下一代人工智慧模型，讓人工智慧的好處無所不在。

透過Llama 3.1，LLM將上下文長度擴展到128K，增加了對 8種語言的支援，並導入了Llama 3.1 405B，根據Meta的說法，這是最大的公開可用的基礎模型。透過Llama 3.1 405B，社群將能夠解鎖新功能，例如合成資料生成。

Meta最近發布的Llama 3.1模型讓我們感到鼓舞，並讓它們在AMD的實驗室中在我們廣泛的計算引擎產品組合上運行並顯示出積極的結果。同時我們希望展示我們的團隊在Llama 3上所做的一些令人印象深刻的工作，以及Llama 3.1對AMD AI客戶的意義。

每一代模型都為其用戶社群帶來新的功能和效能，Llama 3.1也不例外，透過無與倫比的上下文理解、推理和文字生成徹底改變了複雜的對話，從第0天起就在AMD Instinct MI300X GPU加速器和平台上無縫運行。

AMD Instinct MI300X GPU繼續提供領先的記憶體容量和頻寬，使用戶能夠在單一MI300X記憶體上運行Llama 3 70B的單一實例，並在單一伺服器上同時運行最多8個並行實例。

但是隨著新的405B參數模型（最大的公開可用基礎模型）的出現，對記憶體容量的需求比以往任何時候都更加重要。我們已經確認配備八個AMD Instinct MI300X加速器的伺服器可以使用FP16資料類型來擬合整個Llama 3.1 405B參數模型。這意味著組織可以從顯著的成本節省、簡化的基礎設施管理和提高的績效效率中受益。 AMD Instinct MI300X平台業界領先的記憶體功能使這一切成為可能。

最後Meta在Llama 3.1的部分開發過程中使用了最新版本的ROCm開放生態系統和AMD Instinct MI300X GPU。這是我們與Meta持續合作的延續，我們期待進一步推進這種富有成效的合作。

除了資料中心GPU之外，AMD還為資料中心運算提供了領先的伺服器平台，透過我們的AMD EPYC CPU為各種資料中心工作負載提供高效能、高能源效率和x86 相容性。人工智慧是許多資料中心應用程式中日益重要的一部分，可提高各種工作負載的創造力、生產力和效率。

由於大多數現代資料中心支援各種工作負載，因此使用AMD EPYC CPU可為客戶提供領先的企業工作負載效能、能源效率以及運行AI和LLM進行推理、小型模型開發、測試和批量訓練的能力。

Llama作為基準已成為一致、易於存取且有用的工具，可協助資料中心客戶識別關鍵特徵（效能、延遲、規模），從而指導技術和基礎設施評估，以協助建立業務適用性模型。伺服器需求。

Llama 3.1擴展了作為關鍵參考資料來源的價值，具有更大的規模、資料生成和合成的靈活性、擴展的上下文長度和語言支援，以更好地滿足全球業務需求。

對於那些運行僅CPU環境的用戶（使用Llama 3 8B等較小型號），我們領先的第四代AMD EPYC處理器可提供令人信服的效能和效率，而無需GPU加速。事實證明像這樣的中等規模的法學碩士是企業級人工智慧實施的基礎要素。

使用Llama 3工具測試僅CPU效能的能力讓眾多客戶認識到，他們可以在現成的運算基礎架構上開發和部署許多類別的工作負載。隨著工作負載的要求越來越高，模型變得越來越大，同樣的AMD EPYC伺服器基礎設施是一個強大而高效的主機，可以容納先進的GPU加速解決方案，例如AMD Instinct 或其他第三方加速器。

AMD AI PC 和 Llama 3.1
不是編碼員？沒問題！透過AMD Ryzen AI系列處理器，觸手可及地利用Meta的Llama 3.1的強大功能。

AMD Ryzen AI CPU和Radeon 7000 GPU可以使用LLM來運行在地化聊天機器人，就像NVIDIA使用RTX的聊天一樣

雖然開發人員可以使用程式碼區塊和儲存庫來開始使用Llama 3.1，但AMD致力於人工智慧的民主化並降低人工智慧的進入門檻- 這就是為什麼我們與LM Studio 合作將Meta的Llama 3.1模型帶給AMD客戶人工智慧電腦。

要嘗試一下，請前往LM Studio ，只需點擊幾下即可體驗由Llama 3.1提供支援的最先進、完全本地化的聊天機器人。現在您可以使用它來輸入電子郵件、校對文件、產生程式碼等等！

對於希望在本地驅動生成式AI的用戶來說，AMD Radeon GPU可以利用裝置上AI處理的強大功能來解鎖新體驗並獲得個人化的即時AI效能。

LLM不再是擁有專門IT部門、在雲端運作服務的大企業的專利。憑藉精選AMD Radeon桌上型GPU和AMD ROCm軟體的綜合能力，Meta的Llama 2和3等新的開源Llama（包括剛剛發布的Llama 3.1）意味著即使是小型企業也可以在標準桌上型上本地運行其定制的AI工具PC或工作站，無需線上儲存敏感資料。

AMD AI桌上型系統配備Radeon PRO W7900 GPU，運行AMD ROCm 6.1軟體，並由Ryzen Threadripper PRO處理器提供支援，代表了一種新的客戶解決方案，可在LLM 高精度微調和運行推理。

隨著我們突破人工智慧的界限，AMD和Meta之間的合作在推動開源人工智慧方面發揮著至關重要的作用。 Llama 3.1與AMD Instinct MI300X GPU、AMD EPYC CPU、AMD Ryzen AI、AMD Radeon GPU和AMD ROCm的相容性為用戶提供了多樣化的硬體和軟體選擇，確保無與倫比的效能和效率。 AMD始終致力於提供尖端技術，促進各行業的創新和成長。

消息來源