Cerebras Systems是加速生成式AI的先驅，透過推出Wafer Scale Engine 3，將其現有的最快AI晶片世界紀錄。WSE-3的性能是先前紀錄保持者Cerebras WSE-2 的兩倍，在相同的功耗和相同的價格下。
採用5nm的4兆個電晶體管WSE-3專為訓練業界最大的AI模型而設計，為Cerebras CS-3 AI超級電腦提供動力，透過 900,000個AI優化計算核心提供125 petaflops的峰值AI性能。
主要規格：
- 4兆個電晶體
- 90萬個AI核心
- 125 petaflops的峰值AI效能
- 44GB On Die SRAM
- 5nm台積電製程
- 外部記憶體：1.5 TB、12 TB或1.2 PB
- 訓練多達24兆個參數的AI模型
- 集群規模高達2048個CS-3系統
CS-3擁有高達1.2PB的龐大記憶體系統，旨在訓練比GPT-4和Gemini大10倍的下一代模型。24兆個參數模型可以儲存在單一邏輯記憶體空間中，無需分區或重構，從而極大地簡化了訓練工作流程並提高了開發人員的工作效率。在CS-3上訓練1兆個參數模型就像在GPU上訓練10億個參數模型一樣簡單。
CS-3專為滿足企業和超大規模需求而建置。小巧的四系統配置可以在一天內微調70B模型，而使用2048個系統進行全面調整，Llama 70B可以在一天內從頭開始訓練 - 這對於生成AI來說是前所未有的壯舉。
最新的Cerebras軟體框架為PyTorch 2.0和最新的AI模型和技術（如多模態模型、視覺轉換器、專家混合和擴散）提供原生支援。Cerebras仍然是唯一為動態和非結構化稀疏性提供本機硬體加速的平台，將訓練速度提高了8倍。
Cerebras的聯合創始人表示WSE-3是世界上最快的AI晶片，專為最新的尖端AI工作而設計，從專家混合到24兆參數模型。我們很高興能夠推出WSE-3和CS-3上市將幫助解決當今最大的人工智慧挑戰。
由於每個元件都針對AI工作進行了最佳化，CS-3比任何其他系統都能以更小的空間和更低的功耗提供更高的運算效能。雖然GPU功耗逐代翻倍，但CS-3的效能翻倍，但功耗範圍保持不變。CS-3有卓越的易用性，與採用LLM的GPU相比，所需的程式碼減少97%，並且能夠在純資料平行模式下訓練從1B到24T參數的模型。GPT-3 大小的模型的標準實現在Cerebras上只需要565行程式碼——這是行業記錄。
欲了解更多訊息，請訪問 https://www.cerebras.net/product-system/。
消息來源 |
收藏
分享
分享
提升卡
置頂卡
沉默卡
喧囂卡
變色卡
顯身卡
