在生成式AI領域,推出了ChatGPT的OpenAI是處於領先地位的,他們的GPT-4已經是無可匹敵,還在訓練更先進的GPT-5,屆時又會在技術水平上甩開追趕者。OpenAI能夠領先,先進AI顯示卡用到的GPU是功不可沒的,背靠微軟這棵大樹,他們在算力資源上不會受到限制,GPT-4的訓練就使用了2萬張NVIDIA的AI顯示卡訓練。
但是萬張顯示卡的算力還不是終點,今年也投身AI創業的前搜狗CEO日前在採訪中透露了OpenAI的動向,提到後者正在做更先進的訓練方法,設計能夠將1000萬張GPU連在一起的計算模型。1000萬張GPU是什麼概念?目前NVIDIA每年的產量也就是100萬塊GPU(應該主要是指AI方面的GPU),OpenAI的規模相當於10倍於NVIDIA年產能的水平。
王小川稱OpenAI的1000萬張GPU算力的目標是登月等級的計劃,顯然認為它很偉大。不說這些GPU顯示卡能不能生產出來,購買花費多少,光是1000萬張顯示卡互聯的難度都是不可想像的,OpenAI要是做到了就真的無敵於天下了。
不過這也非常讓人懷疑OpenAI是否表達錯了,還是王小川聽來的報告寫錯了,從幾萬張GPU到1000萬張GPU的互聯難度可不是一個等級的。
消息來源 |