華人大神出手AMD顯示卡AI煉丹能力，可達RTX 4090八成性能

除了玩遊戲，NVIDIA的顯示卡還在AI加速上遙遙領先，不僅科技龍頭都在搶A100/H100等顯示卡，GeForce遊戲卡也是普通人搞AI煉丹的選擇，AMD顯示卡在這方面落後不少。好消息是AMD現在也能追上來了，深度學習領域的華人大神、OctoML CTO陳天奇帶領團隊在AMD顯示卡上做出了大模型推理的方案，這意味著業界又有NVIDI之外的選擇，不用為N卡搶破頭、加價而困擾了。

根據他的優化算法，在Llama2的7B和13B大模型中，用RX 7900 XTX顯示卡也能跑出讓人滿意的性能，性能已經達到了RTX 4090顯示卡82%或者RTX 3090 Ti顯示卡的94%水平。

不僅是性能追上來了，AMD顯示卡的CP值也要高得多，RX 7900 XTX跟其他兩款顯示卡都是24GB顯示記憶體，但只要999美元，RTX 4090、RTX 3090 Ti分別是1599、1999元，價格高出60-100%。當然RX 7900 XTX現在的價格早就鬆動了，實際售價比999美元便宜不少，而N卡價格一直堅挺。

究其根底A卡在AI煉丹能力上的提升，尤其是RX 7900 XTX這樣的遊戲卡能有質變，還是AMD最近在ROCm軟體生態上的改進，以前後者對遊戲卡及Win平台的支援很差，4月份開始不僅支援Windows系統，也加入了對RX 7900及工作站顯示卡的支援。

同時AMD還發布了ROCm HIP SDK，允許開發者將針對CUDA平台開發的代碼輕鬆遷移到AMD平台，這有是陳天奇等大神可以在AMD顯示卡上推動AI能力提升的基礎。

消息來源

能跟4080追平就不錯了