NVIDIA透過最新的R555驅動程式版本進一步提升了其GeForce RTX GPU和RTX AI PC平台的AI效能。
在今天的Microsoft Build大會上NVIDIA宣布了一系列新的AI效能優化,這些優化現已在RTX平台上提供,其中包括GeForce RTX GPU、工作站和PC。新的優化專門針對一系列為最新的生成式人工智慧體驗提供支援的LLM(大型語言模型)。使用最新的R555驅動,NVIDIA的RTX GPU和AI PC平台現在透過ONNX執行時間 (ORT) 和DirectML提供高達3倍的AI效能提升。這兩個工具用於在Windows PC上本地運行AI模型。
除此之外,WebNN也透過DirectML使用RTX進行了加速。這是一個應用程式介面,供網路開發人員部署新的人工智慧模型。 Microsoft正在與NVIDIA合作,進一步提升RTX GPU效能,同時在PyTorch上新增DirectML支援。
在Microsoft發布的生成式AI擴展ORT的效能測試中,NVIDIA在INT4和FP16資料類型上均表現出全面提升。由於Phi-3、Llama 3、Gemma和Mistral等LLM擴充中添加的最佳化技術,效能提升高達3倍。
除了這些增強功能之外,NVIDIA還憑藉其強大的TensorRT和TensorRT-LLM套件在消費性AI PC領域處於領先地位。該公司還提供各種由其GPU中整合的人工智慧硬體(例如Tensor Core)提供支援的解決方案。
這些解決方案包括改變遊戲規則的DLSS、NVIDIA ACE、RTX Remix、Omniverse、Broadcast、RTX Video和其他幾種技術。 NVIDIA的GPU提供高達1300 TOPS的AI運算能力,這遠遠領先今年推出的最快晶片,後者預計只能達到100 TOPS。此外這些PC將配備最新的NVIDIA RTX GPU,進一步推動RTX AI PC平台的發展,並進一步推動AI領域在消費領域的發展。
消息來源 |