技嘉發表 AI TOP 本地端大型 LLM 訓練軟硬體整合解決方案

技嘉在 COMPUTEX 2024 展前舉行發表會由執行長林英宇先生，發表本地端大型 LLM 訓練軟硬體整合解決方案 GIGABYTE AI TOP，讓使用者「在桌上實現本地端 AI 訓練」，結合 AI TOP Utility 軟體、AI TOP Hardware 系列產品與 AI TOP Tutor 顧問服務。

AI TOP Utility 是一款創新的 AI 訓練軟體，能支援高達 236B 參數規模的 AI 模型，同時具備友善便捷的使用者介面與體驗，讓企業用戶可將企業的資料結合大型 LLM 模型進行訓練，並將訓練後的模型部屬至企業中進行推論，讓企業可以更低的成本導入 AI 應用。





同時推動 AI 訓練效能的 AI TOP Hardware 系列產品相較於過去的雲端訓練方式，提供更彈性且高擴充性的硬體組態選擇，而且可建置於標準電力系統上，而不需要額外的供電改裝成本。

AI TOP Hardware 系列包含主機板、顯示卡、固態硬碟與電源供應器等各項 GIGABYTE 產品。像是 TRX50 AI TOP 與 W790 AI TOP 主機板，可提供最大 2TB DDR5 R-DIMM 記憶體容量、4 張 PCIe 5.0 x16 顯卡的擴充，滿足 AI 訓練所需的運算效能。





NVIDIA 顯卡方面則選擇相對記憶體容量與價格較好擴充的 RTX 4070 Ti Super AI TOP 16G 顯卡，有著最佳單電源 4 卡擴充的運算效能、全銅散熱器搭配股風扇的雙槽設計，在 4 卡擴充下可有著 64GB VRAM 記憶體。



而發表會上的一大亮點，即是 Radeon PRO W7900 AI TOP 48G 與 Radeon PRO W7800 AI TOP 32G 兩款專業繪圖卡，這是市場上第一也是唯一與 AMD 合作製造與銷售 Radeon PRO 系列專業繪圖卡的商業夥伴。



同時技嘉也推出 AI TOP 100E 1TB/2TB 的 SSD，有著較高的 150 TBW 的總寫入量，採用 Phison aiDAPTIV 技術，有著循序讀寫 7200 / 6500 MBps 的傳輸效能。



至於電供則有著 UD1600PM PG5 AI TOP，具備 4 組 PCIe 16pin 或雙 PCIe 8pin 的多卡供電規格。



最後，AI TOP Tutor 服務為各項 AI TOP 方案提供完整諮詢、直觀的硬體安裝教學、以及技術支援。無論是 AI 訓練的初學者或專家，都能輕鬆上手 GIGABYTE AI TOP，展開地端 AI 訓練專案。



現場也依據訓練規模不同展示多台 AI TOP 本地端訓練工作站與 AI TOP Tutor 提供的 AI 聊天輔助功能。









技嘉 AI TOP 軟硬體整合功能，主要是針對中小型至大型企業缺少專業的 AI 人員與知識下，可藉助 AI TOP Utility 軟體、AI TOP Hardware 系列產品與 AI TOP Tutor 顧問服務，自行學習建立本地端的 LLM 模型訓練。倘若未來 AI TOP 能一併滿足模型訓練完畢後的部屬工作，即可讓企業主有著更容易建立 AI 應用的工具。

關於 AI TOP 的更多資訊請參照官網：https://bit.ly/GIGABYTE_COMPUTEX2024
-
COMPUTEX 2024 展覽資訊
主題：人工智慧運算、次世代通訊、未來移動、沉浸現實、創新及綠能永續
日期：2024 年 6 月 4 日至 7 日
地點：台北南港展覽館 1 館及 2 館
XF 報導專頁 https://news.xfastest.com/computex-2024/
-