NVIDIA展示即時神經材質模型，提供高達24倍的著色加速

NVIDIA展示了一種新的即時神經材料模型方法，與傳統方法相比其著色性能速度提高了12-24倍。

在Siggraph上NVIDIA展示了一種名為神經外觀模型的新型即時渲染方法，旨在利用AI來加速著色功能。去年該公司推出了神經壓縮技術，可解鎖16倍紋理細節，今年該公司將大幅提升紋理渲染和著色性能。

新方法將成為一種通用運行時模式，適用於來自多個來源的所有材質，包括藝術家捕獲的真實物體、測量結果或使用生成式人工智慧根據文字提示產生的真實物體。這些模型可在各種品質等級上進行擴展，包括PC/控制台遊戲、虛擬現實，甚至電影渲染。

該模型將有助於捕捉要渲染的物件的每個細節，例如極其精緻的細節和視覺複雜性，例如灰塵、水斑、燈光，甚至是各種光源和顏色混合投射的光線。傳統上這些模型將使用著色圖進行渲染，這不僅對於即時渲染而言成本高昂，而且還很複雜。

借助NVIDIA的神經材質方法，傳統的材質渲染模型被成本更低、運算效率更高的神經網路所取代，該公司表示該網路將使著色運算效能提高12-24倍。該公司提供了使用著色圖渲染的模型與使用神經材料模型渲染的相同模型之間的比較。

該模型在所有方面都與參考圖像的細節相對應，如上所述它的速度要快得多。

該公司還解釋了神經模型的工作原理。在渲染時神經材質很像使用傳統模型。在每個命中點，他們首先尋找紋理，然後評估兩個MLP，一個用於獲取BRDF值，第二個用於導入和採樣傳出方向。即時方法的一些改進包括內建圖形先驗，可提高推理品質和訓練時間編碼器以高解析度輸出渲染。

使用神經材質方法渲染的所有模型均提供高達16K的紋理解析度，在遊戲中提供深入而細緻的物件。這些改進的模型對遊戲的負擔也較小，從而帶來比以前更好的性能。

採用運行速度更快的神經模型構建的紋理使NVIDIA能夠在不同的應用程式中擴展它們。在並排比較中NVIDIA 展示了兩種模型，其中一種有2層（帶16個神經元），渲染時間僅為3.3ms，而稍微更詳細的模型，有3層（帶64個神經元） ，渲染時間仍為11ms。

至於哪些硬體將支援神經材料模型，NVIDIA表示他們將利用PyTorch和TensorFlow等現有機器學習框架、GLSL或HLSL等工具以及硬體加速矩陣乘法累積 (MMA) 引擎來實現GPU架構，例如如AMD、Intel和NVIDIA。執行時間著色器將使用開源Slang著色語言將神經材質描述編譯為最佳化的共享程式碼，該語言有適用於各種目標（包括Vulkan、Direct3D 12和CUDA）的後端。

現代顯示架構中導入的Tensor-core架構也為這些模型向前邁出了一步，雖然目前僅限於計算API，但NVIDIA將Tensor-core加速暴露給著色器，例如修改後採用LLVN 的開源DirectX Shader編譯器，該編譯器添加了自訂用於低階存取的內在函數，使他們能夠有效地產生俚語共享程式碼。

使用NVIDIA GeForce RTX 4090 GPU以1920x1080的硬體加速DXR（光線追蹤）展示效能。此模型的渲染時間以ms為單位列出，結果顯示新的神經方法渲染影像的速度比參考效能快得多，細節也更好。在使用神經BRDF的全幀渲染時間內，4090透過3x64實現了1.64倍的效能提升，透過2x16模型參數實現了4.14倍的加速。使用路徑追蹤的材質著色性能在2x32參數下似乎加速了1.54倍，在3x64參數下加速了6.06倍。

總體而言新的NVIDIA神經材質模型方法旨在重新定義紋理和物件的即時渲染方式。透過12-24倍的加速，這將使開發人員和內容製作者能夠更快地生成有超現實紋理的材質和對象，這些紋理也可以在最新的硬體上快速運行。

消息來源