NVIDIA神經壓縮技術解鎖16倍紋理細節

NVIDIA一直走在AI研究的最前端，例如它打造了深度學習超級採樣 ( DLSS )。然而圖像重建和放大隻是神經圖學技術適用的眾多研究領域之一。

在即將於8月6日至10日在洛杉磯舉行的SIGGRAPH 2023上，NVIDIA將展示20篇關於生成人工智慧和神經圖形的論文。對於那些不畏懼有趣但技術性很強的讀物的人來說，所有的出版物都將列在這個頁面上。

在本文中NVIDIA遊戲開發人員論文中概述的一些最有趣的技術。到目前為止最容易應用的是材料紋理的隨機訪問神經壓縮中描述的材料紋理神經壓縮技術（Karthik Vaidyanathan、Marco Salvi、Bartlomiej Wronski、Tomas Akenine‑Möller、Pontus Ebelin、Aaron Lefohn）。

NVIDIA工程師團隊認為在品質極高但需要越來越大的空間的情況下需要減少紋理儲存需求。為了實現這一目標，他們將GPU紋理壓縮與神經壓縮技術相結合。使用這種方法，可以啟用低比特率壓縮，解鎖了兩個額外的細節等級（或16倍以上的紋理），其儲存要求與常用的紋理壓縮技術相似。實際上這允許觀看者在遺失重要紋理細節之前非常接近對象。

我們的主要貢獻是：

• 一種新穎的紋理壓縮方法，它利用空間冗餘、跨mipmap等級和跨不同材質通道。透過優化以降低低比特率下的失真，我們可以在與壓縮紋理相同的儲存中壓縮兩個以上等級的細節。在如此低的比特率下生成的紋理品質優於或可與最近的圖像壓縮標準（如AVIF和JPEG XL）相媲美，這些標準並非為隨機訪問的即時解壓縮而設計。

• 一種新穎的低成本解碼器架構，專門針對每種材料進行了優化。這種架構支援隨機訪問的實時性能，並且可以整合到材質著色器功能中，例如過濾，以促進按需解壓縮。

• 我們壓縮器的高度優化實施，有融合反向傳播，可實現實用的每種材料優化，解析度高達8192 × 8192 (8k)。我們的壓縮機可以根據所需的品質等級，在 NVIDIA RTX 4090 GPU上處理9通道、4k材質紋理集需要1-15分鐘。

如上面的影片展示所示，材質紋理細節的改善非常顯著。記憶體幾乎與常見BCx紋理相同（3.6MB對3.3MB），而採用GPU的解壓縮在原生4K下的渲染成本高出兩倍多（1.15ms對0.49ms）。然而NVIDIA工程師認為由於GPU的延遲隱藏功能，這種開銷成本在實際情況下會更小。

消息來源