GIGABYTE AI TOP Utility 軟硬整合實現桌上 AI 訓練 Fine-Tuning 大型 LLM

大 AI 時代如何替企業打造私人大型 LLM 模型，讓 AI 模型能夠針對企業自身資料進行 Fine-Tuning，在本地桌上型電腦進行 AI 訓練與微調。由技嘉所推出的「AI TOP Utility」，有著直覺的 UI 介面、支援 236B LLM 的地端訓練，並搭配自家 AI TOP 系列主機板、顯示卡、固態硬碟與電源供應器，彈性的擴充與升級 AI TOP 訓練設備，強化本地端的隱私性與資料安全。

AI TOP Utility 支援 Linux 作業系統，建立好工作環境後就可在 UI 介面中操作 AI 訓練功能。在 AI TOP Utility 的介面中，可以在 Experiment 頁面進行基本的設定，像是實驗名稱、LLM Backbone、輸出位置與最重要的「Datasets」的輸入。

並有著預設三檔的 Fine-Tuning 選擇：標準、快速、高精度，若熟悉 AI 訓練的用戶也可直接調整 Training setting 設定，而且在右手邊硬體設定中還提供 Offloading Memory 的功能，將大型 LLM 的資料從 VRAM 中卸載至 DRAM 當中，藉此解決 VRAM 不足的問題。



設定好 Experiment 功能後按下執行，就可以讓 AI TOP Utility 幫助用戶進行大型 LLM 的 Fine-Tuning 微調，而在 Dashboard 頁面中也可監控 CPU / GPU /DRAM / SSD 等負載狀況，以及 VRAM、DRAM、Training Loss 與 Logs 等記錄。



此外 AI TOP Utility 2.0 版本中，則加入了可以將本地的資料建立成「Dataset」能讀懂的 .json 格式，AI TOP Utility 支援以下文件格式 TXT、DOC、JSON、CSV、XLSX 與 PDF，讓 AI 訓練時更容易加入自身的資料數據。

而且新版本還加入 Validation 功能，可以實際測試通過 AI TOP Utility 微調的 LLM 模型，在對話時是否有精準的將自身的 Dataset 融入其中；此外，還提供 RAG 檢索增強生成功能，讓訓練好的 LLM 模型參考額外的資料，提供更好的解答。





AI TOP Utility 需搭配技嘉 AI TOP 系列零組件，像是 TRX50 AI TOP 主機板，支援 AMD Ryzen Threadripper 7000 系列高核心處理器與 8 x DDR5 SMD ECC R-DIMM 最大 2TB 容量的記憶體，並可提供 4 根全速 PCIe 5.0 x16 插槽擴充 GPU。



處理器使用 AMD Ryzen Pro 7985WX 處理器搭配 AORUS WATERFORCE X II 360 ICE 水冷散熱器。



兩張 GeForce RTX 4070 Ti SUPER AI TOP 16G 顯示卡，採用鼓風扇設計更適合多卡、工作站的需求。電源供應器則是 UD1300GM PG5。





AI TOP Utility 2.0 新版提供用戶更完整的 AI 訓練、驗證與 RAG 等推論測試，讓用戶利用自己的 Dataset 輕鬆微調大型 LLM 提供更精準的生成式 AI 的回答，讓本地的 AI 訓練、推論便利性大幅提升。

雖說 AI TOP Utility 需要使用 Linux 作業系統，但在 2.0 新版本中支援了「WSL」功能在 Windows 上安裝 Linux 子系統，即可直接操作 AI TOP Utility 2.0 的所有功能。

若對於本地 AI 訓練、大型 LLM 微調有需求的用戶，不妨參考技嘉 AI TOP 方案，藉由軟硬體整合替用戶更便利撬開 AI 大門。

GIGABYTE AI TOP：https://www.gigabyte.com/tw/Consumer/Ai-Top/
教學：youtube.com/playlist?list=PLaRCRk-K3jq2CU25MO8nWauLZzo41N5yB