NVIDIA TensorRT為所有RTX GPU加速Stable Diffusion GenAI，RTX 4090比Apple M2 Ultra快7倍

NVIDIA針對RTX GPU的TensorRT更新也大幅提升了GenAI工作負載的效能，例如Stable Diffusion。

我們已經詳細介紹了TensorRT-LLM如何在RTX硬體上為Windows帶來更快的AI功能，而GenAI是擁有RTX GPU的消費者將能夠看到直接好處的另一個領域。

眾所周知NVIDIA的GPU是Stable Diffusion和產生AI工作負載最受歡迎的解決方案之一。我們已經看到NVIDIA在這一領域領先於幾乎所有公司，但最近和即將推出的CPU（來自AMD和Intel）已開始包含專用NPU單元，可以從CPU/GPU卸載AI任務並完成對於絕大多數用戶來說，這是一種非常低功耗和高效的模式。

NVIDIA表示很高興看到透過將AI融入CPU來推動AI加速，它們將主要用於以低功耗運行的輕量級AI任務，而GPU將用於要求更高的範例。NPU和GPU都是離線且本地可用的資源，提供低延遲和資料局部性/隱私功能，而雲端資料中心則針對超大型模型和按需使用的重型AI工作負載。據說NVIDIA的RTX GPU的效能比這些 NPU高出20倍到100倍。

在穩定擴散效能展示中NVIDIA展示了GeForce RTX 4090從自動1111運型WebUI，並使用PyTorc xFormers實現每分鐘輸出27個影像，但使用TensorRT運行時，效能提高了一倍，達到每分鐘52個影像。

NVIDIA 還將其性能與Apple的M2 Ultra（72核）進行了比較，後者的基本價格為5000美元。此系統使用CoreML模型每分鐘僅輸出7張影像。同時您可以以相同的預算建立有兩個GeForce RTX 4090 GPU的非常高階系統。

該公司宣布TensorRT現已在WebUI中提供（自動 1111），並且可以從GitHub.com/NVIDIA下載。

消息來源