NVIDIA展示了其GeForce RTX 40 GPU的令人印象深刻的數據,其中包括Llama和Mistral等AI模型中的旗艦RTX 4090。
NVIDIA針對 Windows的TensorRT-LLM加速為Windows PC平台帶來了驚人的效能提升。我們已經看到NVIDIA RTX AI PC功能集中添加了一些令人印象深刻的成果和新功能,並且該公司透過其旗艦GeForce RTX 4090 GPU展示了一些巨大的性能數據,情況變得更好。
在新的AI-Decoded部落格中,NVIDIA分享了其現有GPU系列如何超越整個NPU生態系統,而整個NPU生態系統在2024年僅達到50 TOPS。並一路上升到使用 GeForce RTX 4090達到1321 TOPS,使其成為運行LLM等的最快桌上型AI解決方案。同時它也是地球上最快的遊戲顯示卡。
NVIDIA的GeForce RTX GPU提供高達24GB的VRAM,而NVIDIA RTX GPU則提供高達48GB的VRAM,這使得它們在處理LLM(大型語言模型)時變得非常強大,因為這些工作負載需要大量顯示記憶體。 NVIDIA的RTX硬體不僅配備專用顯示記憶體,還透過Tensor Core(硬體)和上述TensorRT-LLM(軟體)提供特定於AI的加速。
NVIDIA GeForce RTX 4090 GPU上所有批次大小產生的數量都非常快,但在啟用TensorRT-LLM加速後,其顯著提高,超過4倍。
NVIDIA現在正在使用開源Jan.ai平台分享一些新的測試,該平台最近還將TensorRT-LLM整合到其本地聊天機器人應用程式中。這款聊天機器人在易於使用的解決方案中利用了Llama或Mistral等人工智慧模型。該軟體供應商現在提供了一些在NVIDIA GeForce RTX 40 GPU上執行的測試,以及針對具有專用AI NPU的筆記型電腦CPU的測試結果。
NVIDIA GeForce RTX 4090 GPU比不含TensorRT-LLM的AMD Ryzen 9 8945HS CPU提高了8.7倍,並且使用加速後領先優勢擴大到15倍(比非TensorRT-LLM 配置提高了70%)。
您每秒最多可以處理170.63個tokens,而AMD CPU每秒處理11.57個tokens。即使使用NVIDIA GeForce RTX 4070筆記型電腦GPU,您也可以獲得高達4.45倍的加速。更有趣的是該公司還分享了在eGPU配置中使用RTX 4090的數據,以展示如何使用外部GPU來處理AI工作負載,進一步加速筆記型電腦的效能。與相同的 AMD筆記型電腦CPU相比,此配置的效能提升了9.07倍。
NVIDIA最近展示了當前AI運算能力的概況,並展示了其GeForce RTX 40桌上型CPU如何從入門級的242 TOPS擴展到高階的1321 TOPS。與我們今年將在SOC上看到的最新45-50 TOPS AI NPU相比,最低階提高了4.84倍,最高階提高了26.42倍。
NVIDIA一次又一次地展示了它在AI領域相對於競爭對手的領先優勢,這些測試再次證明如果您需要使用AI,那麼NVIDIA就有適合您的硬體。
消息來源 |