NVIDIA GeForce RTX 4090 GPU提供比筆記型電腦CPU高達15倍的AI吞吐量，TensorRT-LLM將效能提升高達70%

NVIDIA展示了其GeForce RTX 40 GPU的令人印象深刻的數據，其中包括Llama和Mistral等AI模型中的旗艦RTX 4090。

NVIDIA針對 Windows的TensorRT-LLM加速為Windows PC平台帶來了驚人的效能提升。我們已經看到NVIDIA RTX AI PC功能集中添加了一些令人印象深刻的成果和新功能，並且該公司透過其旗艦GeForce RTX 4090 GPU展示了一些巨大的性能數據，情況變得更好。

在新的AI-Decoded部落格中，NVIDIA分享了其現有GPU系列如何超越整個NPU生態系統，而整個NPU生態系統在2024年僅達到50 TOPS。並一路上升到使用 GeForce RTX 4090達到1321 TOPS，使其成為運行LLM等的最快桌上型AI解決方案。同時它也是地球上最快的遊戲顯示卡。

NVIDIA的GeForce RTX GPU提供高達24GB的VRAM，而NVIDIA RTX GPU則提供高達48GB的VRAM，這使得它們在處理LLM（大型語言模型）時變得非常強大，因為這些工作負載需要大量顯示記憶體。 NVIDIA的RTX硬體不僅配備專用顯示記憶體，還透過Tensor Core（硬體）和上述TensorRT-LLM（軟體）提供特定於AI的加速。

NVIDIA GeForce RTX 4090 GPU上所有批次大小產生的數量都非常快，但在啟用TensorRT-LLM加速後，其顯著提高，超過4倍。

NVIDIA現在正在使用開源Jan.ai平台分享一些新的測試，該平台最近還將TensorRT-LLM整合到其本地聊天機器人應用程式中。這款聊天機器人在易於使用的解決方案中利用了Llama或Mistral等人工智慧模型。該軟體供應商現在提供了一些在NVIDIA GeForce RTX 40 GPU上執行的測試，以及針對具有專用AI NPU的筆記型電腦CPU的測試結果。

NVIDIA GeForce RTX 4090 GPU比不含TensorRT-LLM的AMD Ryzen 9 8945HS CPU提高了8.7倍，並且使用加速後領先優勢擴大到15倍（比非TensorRT-LLM 配置提高了70%）。

您每秒最多可以處理170.63個tokens，而AMD CPU每秒處理11.57個tokens。即使使用NVIDIA GeForce RTX 4070筆記型電腦GPU，您也可以獲得高達4.45倍的加速。更有趣的是該公司還分享了在eGPU配置中使用RTX 4090的數據，以展示如何使用外部GPU來處理AI工作負載，進一步加速筆記型電腦的效能。與相同的 AMD筆記型電腦CPU相比，此配置的效能提升了9.07倍。

NVIDIA最近展示了當前AI運算能力的概況，並展示了其GeForce RTX 40桌上型CPU如何從入門級的242 TOPS擴展到高階的1321 TOPS。與我們今年將在SOC上看到的最新45-50 TOPS AI NPU相比，最低階提高了4.84倍，最高階提高了26.42倍。

NVIDIA一次又一次地展示了它在AI領域相對於競爭對手的領先優勢，這些測試再次證明如果您需要使用AI，那麼NVIDIA就有適合您的硬體。

消息來源