AMD的Radeon RX 7900 XTX運行DeepSeek R1 AI模型,有卓越的性能,在推理測試中擊敗了NVIDIA的GeForce RTX 4090。
DeepSeek最新的AI模型已經席捲了整個行業,雖然我們很多人都想知道用於訓練該模型的計算資源,但似乎普通消費者可以透過AMD的RDNA3 Radeon RX 7900 XTX GPU。 AMD分享了DeepSeek的R1推理測試,將旗艦RX 7000系列GPU與NVIDIA的同類GPU進行比較,顯示出多個模型的卓越性能。
用於人工智慧工作負載的消費級GPU已經為一些人帶來了好處,主要是因為與主流人工智慧加速器相比,它們之前有不錯的效能/價格價值。而且透過在本地運行模型,您的隱私基本上也得到了保護,這一直是DeepSeek的人工智慧模型的一個大問題。幸運的是AMD推出了關於如何在AMD的GPU上運行DeepSeek R1模型詳細指南,以下是說明:
步驟 1: 確保您使用的是 25.1.1可選或更高版本的Adrenalin驅動程式。
步驟 2:從lmstudio.ai/ryzenai下載LM Studio 0.3.8或更高版本
步驟 3:安裝LM Studio並跳過入門畫面。
第 4 步: 按一下發現標籤。
第 5 步:選擇DeepSeek R1 Distill。像Qwen 1.5B這樣的較小的模型可提供極快的性能(並且是建議的起點),而較大的模型將提供卓越的推理能力。他們都非常有能力。
步驟6:在右側,確保選擇Q4 KM量化,然後按一下下載。
步驟 7:下載後,返回聊天選項卡,從下拉式選單中選擇DeepSeek R1 distill,並確保選取手動選擇參數。
第 8 步:在GPU卸載層中 – 將滑桿一直移動到最大值。
步驟9: 點選模型載入。
第 10 步: 與完全在本地AMD硬體上運行的推理模型進行互動!
如果上述說明不適合您,AMD已在YouTube上推出了教程,深入介紹了各個步驟。請務必檢查並在本機AMD電腦上執行DeepSeek的LLM,以確保您的資料不會被濫用。隨著NVIDIA和AMD即將推出的GPU,我們預計推理能力將大幅提高,因為板上有專用的AI引擎來促進此類工作負載。
消息來源
|