找回密碼註冊
返回列表 發新帖
作者: sxs112.tw
查看: 1229
回復: 0

文章分享：

+ MORE精選文章：

+ MORE活動推薦：

O11 VISION COMPACT 玩家開箱體驗分享活動

迷你身形 三面透視打造精緻PC視野新境界O11 VISION COMPACT 強強聯合 ...

2024 三星SD記憶卡 玩家開箱體驗分享活動

2024 PRO Plus SD 記憶卡 [*]為專業人士打造 [*]釋放極限速度 [*]多 ...

體驗極速WiFi 7！MSI Roamii BE Lite Mesh

MSI首款WiFi 7 Mesh系統登場－Roamii BE Lite Mesh System。Roamii ...

LANCOOL 207 玩家開箱體驗分享活動

LANCOOL 207重新構想了傳統的ATX佈局，將強大的兼容性和卓越的冷卻 ...

打印 上一主題 下一主題

[軟體遊戲] 有望改寫AI未來！ NVIDIA全新nGPT使訓練速度暴增20倍

[複製鏈接]| 回復
跳轉到指定樓層
1#
sxs112.tw 發表於 昨天 20:14 | 只看該作者 |只看大圖 回帖獎勵 |倒序瀏覽 |閱讀模式
根據媒體報導NVIDIA的最新研究可能徹底改變AI的未來，其研究團隊提出了一種名為歸一化Transformer（nGPT）的新型神經網路架構。

此架構在超球面（hypersphere）上進行表示學習，能夠大幅提升大型語言模型（LLM）的訓練速度，最高可達20倍，同時維持了模型的精確度。nGPT架構的核心在於將所有向量，包括嵌入、多層感知機（MLP）、注意力矩陣和隱藏狀態，歸一化為單位範數。這種歸一化處理使得輸入的token在超球面表面上移動，每一層模型都透過位移來貢獻最終的輸出預測。
maxresdefault (10).jpg

實驗結果表明nGPT在訓練時所需的步驟比標準Transformer模型減少了4到20倍，這加速效果取決於序列長度。例如在1k上下文中，訓練速度提高了4倍；在4k上下文中提高了10倍；而在8k上下文中更是提高了20倍。

研究人員指出nGPT的最佳化路徑從超球面上的點開始，透過位移來貢獻最終的輸出預測，其中位移量由MLP和注意力模組定義。這種方法不僅提高了訓練速度，也增強了模型的穩定性。

消息來源
回復

使用道具 舉報

返回列表 發新帖
高級模式
B Color Image Link Quote Code Smilies
您需要登錄後才可以回帖 登錄 | 註冊 |

本版積分規則

特別活動
專題活動
Computex報導
GAMFORCE
XFastest 專頁

SiteLock

相關資訊

小黑屋|手機版|無圖浏覽|網站地圖|XFastest  

GMT+8, 2024-10-21 15:41 , Processed in 0.076084 second(s), 34 queries .

專業網站主機規劃 威利 100HUB.COM

© 2001-2018

快速回復 返回頂部 返回列表