找回密碼註冊
作者: sxs112.tw
查看: 4316
回復: 0

文章分享:

+ MORE精選文章:

+ MORE活動推薦:

O11 VISION COMPACT 玩家開箱體驗分享活動

迷你身形 三面透視打造精緻PC視野新境界O11 VISION COMPACT 強強聯合 ...

2024 三星SD記憶卡 玩家開箱體驗分享活動

2024 PRO Plus SD 記憶卡 [*]為專業人士打造 [*]釋放極限速度 [*]多 ...

體驗極速WiFi 7!MSI Roamii BE Lite Mesh

MSI首款WiFi 7 Mesh系統登場-Roamii BE Lite Mesh System。Roamii ...

LANCOOL 207 玩家開箱體驗分享活動

LANCOOL 207重新構想了傳統的ATX佈局,將強大的兼容性和卓越的冷卻 ...

打印 上一主題 下一主題

[顯示卡器] NVIDIA GeForce RTX 4090 GPU提供比筆記型電腦CPU高達15倍的AI吞吐量,TensorRT-LLM將效能提升高達70%

[複製鏈接]| 回復
跳轉到指定樓層
1#
sxs112.tw 發表於 2024-6-13 09:11:25 | 只看該作者 |只看大圖 回帖獎勵 |倒序瀏覽 |閱讀模式
NVIDIA展示了其GeForce RTX 40 GPU的令人印象深刻的數據,其中包括Llama和Mistral等AI模型中的旗艦RTX 4090。

NVIDIA針對 Windows的TensorRT-LLM加速為Windows PC平台帶來了驚人的效能提升。我們已經看到NVIDIA RTX AI PC功能集中添加了一些令人印象深刻的成果和新功能,並且該公司透過其旗艦GeForce RTX 4090 GPU展示了一些巨大的性能數據,情況變得更好。
NVIDIA-GeForce-RTX-4090-GPU-AI.jpg

在新的AI-Decoded部落格中,NVIDIA分享了其現有GPU系列如何超越整個NPU生態系統,而整個NPU生態系統在2024年僅達到50 TOPS。並一路上升到使用 GeForce RTX 4090達到1321 TOPS,使其成為運行LLM等的最快桌上型AI解決方案。同時它也是地球上最快的遊戲顯示卡。
NV-chart.png

NVIDIA的GeForce RTX GPU提供高達24GB的VRAM,而NVIDIA RTX GPU則提供高達48GB的VRAM,這使得它們在處理LLM(大型語言模型)時變得非常強大,因為這些工作負載需要大量顯示記憶體。 NVIDIA的RTX硬體不僅配備專用顯示記憶體,還透過Tensor Core(硬體)和上述TensorRT-LLM(軟體)提供特定於AI的加速。

NVIDIA GeForce RTX 4090 GPU上所有批次大小產生的數量都非常快,但在啟用TensorRT-LLM加速後,其顯著提高,超過4倍。
Jan.AI-NVIDIA-GeForce-RTX-40-4090-GPU-AI-Benchmarks.png

NVIDIA現在正在使用開源Jan.ai平台分享一些新的測試,該平台最近還將TensorRT-LLM整合到其本地聊天機器人應用程式中。這款聊天機器人在易於使用的解決方案中利用了Llama或Mistral等人工智慧模型。該軟體供應商現在提供了一些在NVIDIA GeForce RTX 40 GPU上執行的測試,以及針對具有專用AI NPU的筆記型電腦CPU的測試結果。

NVIDIA GeForce RTX 4090 GPU比不含TensorRT-LLM的AMD Ryzen 9 8945HS CPU提高了8.7倍,並且使用加速後領先優勢擴大到15倍(比非TensorRT-LLM 配置提高了70%)。

您每秒最多可以處理170.63個tokens,而AMD CPU每秒處理11.57個tokens。即使使用NVIDIA GeForce RTX 4070筆記型電腦GPU,您也可以獲得高達4.45倍的加速。更有趣的是該公司還分享了在eGPU配置中使用RTX 4090的數據,以展示如何使用外部GPU來處理AI工作負載,進一步加速筆記型電腦的效能。與相同的 AMD筆記型電腦CPU相比,此配置的效能提升了9.07倍。
NVIDIA-Geforce-RTX-AI-TOPS-Perf_Chart_Desktop.jpg

NVIDIA最近展示了當前AI運算能力的概況,並展示了其GeForce RTX 40桌上型CPU如何從入門級的242 TOPS擴展到高階的1321 TOPS。與我們今年將在SOC上看到的最新45-50 TOPS AI NPU相比,最低階提高了4.84倍,最高階提高了26.42倍。
NVIDIA-Geforce-RTX-AI-TOPS-Perf_Chart_Laptop.jpg

NVIDIA一次又一次地展示了它在AI領域相對於競爭對手的領先優勢,這些測試再次證明如果您需要使用AI,那麼NVIDIA就有適合您的硬體。

消息來源
您需要登錄後才可以回帖 登錄 | 註冊 |

本版積分規則

小黑屋|手機版|無圖浏覽|網站地圖|XFastest  

GMT+8, 2024-11-2 15:25 , Processed in 0.124189 second(s), 33 queries .

專業網站主機規劃 威利 100HUB.COM

© 2001-2018

快速回復 返回頂部 返回列表