NVIDIA將為使用 RTX 40和RTX 30 GPU的Windows 11 PC帶來高達5倍的AI加速
NVIDIA正在為數百萬台由其最新RTX GPU提供支援的Windows 11 PC帶來人工智慧工作負載的巨大加速。繼先前的公告之後，NVIDIA現在透露TensorRT-LLM正在添加到Windows 11中，並將在11月21日在最新驅動程式中發佈時為超過1億RTX用戶啟用。這項消息是在Microsoft的Ignite大會上宣布的，這是一個討論人工智慧的未來以及隨著我們的發展它將如何改變Windows生態系統的重要活動。
今天NVIDIA確認TensorRT-LLM AI加速將適用於所有有超過8GB VRAM的RTX桌上型電腦和筆記型電腦。除了TensorRT-LLM之外，NVIDIA和Microsoft還帶來了DirectML增強功能，以推動穩定擴散和Llama 2等流行的AI模型。
擁有支援TensorRT-LLM的NVIDIA RTX GPU意味著您可以在本地使用所有資料和項目，而不是將它們保存在雲端。這將節省時間並提供更精確的結果。RAG或檢索增強生成是透過使用本地化庫來更快地獲得AI結果的技術之一，該本地庫可以填充您希望LLM經歷的資料集，然後利用該LLM的語言理解功能為您提供準確的結果。
NVIDIA表示TensorRT-LLM v0.6.0的效能提升了5倍，該版本將於本月稍後推出。此外它還將支援其他LLM，例如Mistral 7B和Nemotron 3 8B。
對於想要嘗試最新版本的TensorRT-LLM的人，可以透過此處的官方Github連結進行安裝，並且您還可以從NVIDIA的NGC資源取得最新的最佳化模型。
另一個關鍵更新是 OpenAI，這是一種非常流行的基於人工智慧的聊天 API，具有廣泛的應用程序，例如幫助處理文件、電子郵件、總結 Web 內容、數據分析等等。再次強調，資料需要由使用者手動上傳或輸入，因此對本地資料的存取相當有限，尤其是在資料集很大的情況下。
為了解決這個問題，NVIDIA和微軟將透過一個新的包裝器為OpenAI的ChatAPI提供API，該包裝器不僅可以在Windows PC上添加TensorRT-LLM加速，還可以讓用戶訪問與在有RTX的PC上本地運行類似的工作流程或在雲端。因此您不必將任何資料集上傳到ChatAPI，因為整個資料集都可供ChatAPI使用，就像在本地可用一樣。
自訂包裝器幾乎可以與任何已針對TensorRT-LLM最佳化的LLM配合使用。優化的LLM的一些例子包括Llama 2、Mistral、NV LLM，很快就會添加更多。它也將在NVIDIA GitHub頁面上提供。
這些公告表明NVIDIA希望不僅為企業，也為主流受眾加速人工智慧的發展。對於AI，軟體比運行它的硬體更重要，而TensorRT-LLM等開發將其帶給數百萬RTX用戶絕對是一件大事。未來幾年隨著越來越多的競爭對手試圖用其獨特的AI方法來吸引受眾，通往AI霸主地位的道路將變得更加激烈，但目前NVIDIA擁有硬體和軟體專業知識，可以順利地為他們鋪平道路。
消息來源
頁:
[1]