Computex 2024：NVIDIA讓RTX成為最佳AI PC平台：發布RTX AI工具包、AIM SDK、帶NIM的ACE

NVIDIA今天發布了最新的RTX技術，進一步推動AI PC平台的發展。

NVIDIA與其他剛開始人工智慧PC領域之旅的公司之間的差異從一開始就非常明顯。雖然其他人主要談論的是他們的硬體NPU如何比競爭對手更快，但NVIDIA卻透過導入多項新功能使AI PC平台充滿活力。該公司擁有一系列可供運行其RTX平台的AI PC消費者使用的技術，例如最著名的DLSS（深度學習超級採樣）功能，該功能已經進行了無數次更新，添加到其神經網路中，使遊戲能夠運行和顯示更好的。

該公司還以RTX Chat的形式提供多種助手，這是一個聊天機器人，可以在您的PC上本地運行並充當您的助手。 Windows中還添加了TensorRT和TensorRT-LLM支援，可在客戶端平台上加速GenAI和LLM模型，而無需轉到雲端，並且未來將有多種遊戲技術將利用AI增強功能，例如ACE (Avatar Cloud Engine) 今天也獲得了新的更新。

NVIDIA也展示了目前AI運算能力的概況，並展示了其GeForce RTX 40桌上型GPU如何從入門級的242 TOPS一直擴展到高階的1321 TOPS。與我們今年將在 SOC上看到的最新45-50 TOPS AI NPU相比，最低階提高了4.84倍，最高階提高了26.42倍。

即使是筆記型電腦NVIDIA GeForce RTX 40選項（例如RTX 4050）的起始速度也為194 TOPS，比即將推出的最快NPU提高了3.88 倍，而RTX 4090筆記型電腦晶片則以686 TOPS提供13.72倍的加速。

因此從今天的公告開始，我們首先推出了Windows Copilot 行時，它為本地PC SLM（小語言模型）提供RTX加速。 Copilot被視為微軟在人工智慧PC領域的下一個重大產品，幾乎每個人都在試圖加入這股潮流。 Microsoft和NVIDIA攜手合作，透過提供對GPU加速的SLM和RAG的簡單API訪問，讓開發人員能夠將新的 GenAI功能導入Windows作業系統和Web應用程式。NVIDIA表示RTX GPU將加速這些新的AI功能，在Windows裝置上提供快速且反應靈敏的AI體驗。


第二個更新是NVIDIA RTX AI工具包的發布，該工具包還可以幫助開發人員建立可在PC上運行的特定於應用程式的AI模型。 RTX AI工具包將包括一套用於模型自訂 (QLoRa)、最佳化 (TensorRT Model Optimizer) 和在RTX AI PC上部署 (TensorRT Cloud) 的工具和SDK，將於6月推出。

借助新的RTX AI工具包，開發人員將能夠以4倍的速度部署模型，並以更小的3倍的體積部署模型，從而加快部署過程並更快地為用戶帶來新體驗。也展示了標準通用模型和RTX AI Toollit優化模型之間的比較。 GP模型在RTX 4090上運行，每秒輸出48個tokens，同時需要17GB VRAM。同時在RTX 4050 GPU上運行的RTX AI工具包優化模型每秒輸出187個tokens，幾乎提高了4倍，同時只需要5GB的VRAM。

Adobe、Blackmagic Design和Topaz等軟體合作夥伴也正在利用RTX AI工具包，他們正在將其元件整合到一些最受歡迎的創意應用程式中。此外還推出了新的 NVIDIA AI推理管理器 (AIM) SDK，這是PC開發人員的簡化AI部署工具LKIT。NVIDIA AIM SDK 現已提供搶先體驗，支援跨GPU、CPU和NPU的所有主要推理後端，例如TensorRT、DirectML、Llama.cpp和 PyTorch CUDA。

NVIDIA ACE NIM在Computex上全面展示，GenAI數位化身微服務現已可用於RTX AI PC，最後我們今天推出了NVIDIA的ACE NIM。這些新的ACE Inference 微服務將ACE模型的部署時間從幾週縮短到幾分鐘，並在PC裝置上本地運行，以實現自然語言理解、語音合成、臉部動畫等。

NVIDIA將在Computex 展示Inworld AI開發的隱藏協議技術演示，而開發人員也將在活動中展示自己的ACE模型，例如Aww Inc的數位品牌大使(Audio2Face)、OutPalm的Code Z (Audio2Face)、Perfect World的Multi-語言展示 (Audio2Face)、Soulshell的社會工程展示 (Audio2Face) 和UneeQ的Sophie (Audio2Face)。

不僅如此NVIDIA也宣布ACE（Avatar Cloud Engine）現已普遍可用於雲端，為GenAI Avatars的未來鋪路。

如您所知NVIDIA在其RTX GPU和RTX平台的支援下，在AI PC領域推出了許多有趣的技術和創新。這顯示了NVIDIA在AI行業的領導地位以及為何仍然無與倫比。

消息來源