據媒體報導,美國新興的晶片創業公司 Etched 發布其首款AI晶片——Sohu。
這款晶片在運行大型模型時展現出了驚人的性能,其速度超越了行業巨頭 NVIDIA 的H100高達20倍,即便是與今年3月才面世的頂尖晶片B200相比,Sohu 也展現出超過10倍的優越性能。
Sohu 晶片的最大突破在於它直接將 Transformer 架構嵌入晶片內部。據 Etched 公司負責人Uberti 透露,Sohu 採用了台積電的先進4奈米工藝製造,不僅在推理性能上遠超GPU和其他通用人工智慧晶片,更在能耗控制上達到了新的高度。
對於 Transformer 技術而言,Sohu 無疑是目前市場上最快的晶片,其性能與其他產品之間存在顯著的量級差異。值得一提的是,當前主流的 AI產品如 ChatGPT、Claude、Gemini 和 Sora 等,均基於T ransformer 架構驅動。
作為世界上首款 Transformer ASIC(應用型專用集成電路)晶片,Sohu 的集成應用更是令人矚目。據測試,一台配備8塊Sohu晶片的服務器,其性能足以媲美160塊H100 GPU的集群。
具體而言,集成8塊Sohu晶片的服務器每秒能夠處理高達50萬的Llama 7B tokens,這一數據在業界堪稱前所未有。
而打造這款傑出晶片的Etched公司,位於美國加州的庫比蒂諾,盡管成立僅兩年,團隊規模也僅有35人,但其創始人——哈佛輟學生Gavin Uberti(前OctoML和前Xnor.ai員工)和Chris Zhu,與資深技術專家Robert Wachen和前賽普拉斯半導體公司首席技術官Mark Ross共同領導,已經成功研發出這款專為大模型AI設計的晶片,展現了其強大的技術實力和無限潛力。
消息來源 |