找回密碼註冊
作者: sxs112.tw
查看: 4616
回復: 0

文章分享:

+ MORE精選文章:

+ MORE活動推薦:

Micron Crucial PRO D5 6400超頻版 玩家開

解銷更快的遊戲速度! 利用低延遲遊戲記憶體的強大功能 利用 Cruci ...

O11 VISION COMPACT 玩家開箱體驗分享活動

迷你身形 三面透視打造精緻PC視野新境界O11 VISION COMPACT 強強聯合 ...

2024 三星SD記憶卡 玩家開箱體驗分享活動

2024 PRO Plus SD 記憶卡 [*]為專業人士打造 [*]釋放極限速度 [*]多 ...

體驗極速WiFi 7!MSI Roamii BE Lite Mesh

MSI首款WiFi 7 Mesh系統登場-Roamii BE Lite Mesh System。Roamii ...

打印 上一主題 下一主題

[軟體遊戲] NVIDIA TensorRT-LLM登陸Windows,為運行GeForce RTX和RTX Pro GPU的消費型PC帶來龐大的AI提升

[複製鏈接]| 回復
跳轉到指定樓層
1#
sxs112.tw 發表於 2023-10-18 06:54:03 | 只看該作者 |只看大圖 回帖獎勵 |倒序瀏覽 |閱讀模式
NVIDIA宣布TensorRT-LLM即將登陸Windows,將為運行RTX GPU的PC帶來巨大的 AI 提升。
NVIDIA-TensorRT-Stable-Diffusion-AI-RTX-GPUs-Main-2.png

早在9月份NVIDIA就發布了適用於資料中心的TensoRT-LLM模型,該模型比Hopper H100和Ampere A100等業界頂級AI GPU效能提升了8倍。充分利用NVIDIA GeForce RTX和RTX Pro GPU上的Tensor核心加速功能,最新型號將在 LLM推理工作負載中提供高達4倍的效能提升。
NVIDIA-RTX-Video-Super-Resolution-1.5-_1.png

TensorRT-LLM帶來的最大更新之一是一種稱為飛行批次的新調度,它允許工作獨立於其他任務進入和退出GPU。它允許動態處理多個較小的查詢,同時在同一 GPU中處理大型運算密集型請求。TensorRT-LLM利用最佳化的開源模型,可以在增加批次大小時實現更高的加速。從今天開始這些優化的開源模型已向公眾開放並可在developer.nvidia.com下載。
NVIDIA-TensorRT-LLM-AI-Performance-Boost-_3.png

TensorRT-LLM模型增加的AI加速將有助於推動各種日常生產力任務,例如參與聊天、總結文件和網頁內容、起草電子郵件和部落格,還可以用於分析數據並使用以下內容生成大量內容:可供模型使用。

那麼TensorRT-LLM將如何幫助運行Windows的消費者PC?在 NVIDIA展示的展示中展示了LLaMa-2等開源預訓練LLM模型與TensorRT-LLM之間的比較。當查詢傳遞給LLaMa-2時,它將從維基百科等大型通用數據集收集訊息,因此它們在訓練後沒有最新訊息,也沒有特定領域的數據集。受過訓練他們也肯定不會知道儲存在您的個人化設備或系統上的任何資料集。因此您將無法獲得您正在尋找的特定數據。
NVIDIA-TensorRT-LLM-AI-Performance-Boost-_2.png

有兩種方法可以解決這個問題,一種是微調,其中LLM圍繞著特定資料集進行最佳化,但這需要大量時間,具體取決於資料集的大小。另一種方法是RAG(檢索增強生成),它使用本地化庫,該資料庫可以填充您希望LLM經歷的資料集,然後利用該LLM的語言理解功能為您提供僅來自該資料集的資訊。
NVIDIA-TensorRT-LLM-AI-Performance-Boost-_1.png

在範例中提出了一個與Alan Wake 2中的NVIDIA技術整合相關的問題,標準LLaMa 2模型無法找到正確的結果,但另一個有TensorRT-LLM的模型則從30篇 GeForce News文章中取得資料。本機資料庫可以毫無問題地提供所需的資訊。因此TensorRT-LLM提供了相關答案,並且比LLaMa-2模型更快。此外NVIDIA還確認您可以使用TenosrRT-LLM來加速幾乎任何型號。這只是NVIDIA TensorRT-LLM可以利用AI在Windows中提供更快、更有效率的PC體驗的眾多範例之一,因此請繼續關注未來的更多公告。

消息來源
您需要登錄後才可以回帖 登錄 | 註冊 |

本版積分規則

小黑屋|手機版|無圖浏覽|網站地圖|XFastest  

GMT+8, 2024-11-10 14:36 , Processed in 0.085052 second(s), 33 queries .

專業網站主機規劃 威利 100HUB.COM

© 2001-2018

快速回復 返回頂部 返回列表