Instant NeRF 神經渲染模型能在幾秒鐘內學習高解析度的 3D 場景內容,並在幾毫秒內渲染出該場景的圖像
當人們在 75 年前使用寶麗來 (Polaroid ) 相機拍攝出世界上第一張即時成像照片時,便是一項以逼真 2D 影像迅速捕捉 3D 世界畫面的創舉。時至今日,人工智慧 (AI) 研究人員反將此作法倒轉過來,亦即在幾秒鐘內將一組靜態影像變成數位 3D 場景。
這項稱為逆向渲染 (inverse rendering) 的過程,利用 AI 來預估光線在真實世界中的表現,讓研究人員能利用從不同角度拍攝的少量 2D 影像來重建 3D 場景。NVIDIA Research 團隊開發出一種方法,幾乎能在瞬間內完成這項任務,是同類中首批將超高速神經網路訓練與快速渲染相結合的模型之一。
NVIDIA 繪圖研究部門副總裁 David Luebke 表示:「如果說多邊形網格這樣的傳統 3D 表現方式像是向量圖形,那麼 NeRF 就像是點陣圖,它們會密集捕捉光線從物體或場景中輻射出來的方式。從這個意義上來說,Instant NeRF 對 3D 的重要性,不亞於數位相機和 JPEG 壓縮技術對 2D 攝影的重要性,其可大幅提升 3D 捕捉與分享的速度、便利性和範圍。」
在 NVIDIA GTC 大會議程中展示的 Instant NeRF,可用於為虛擬世界建立化身或場景、以 3D 方式拍攝視訊會議的與會者以及所處環境,或是為 3D 數位地圖重建場景。
NVIDIA Research 團隊為了向早期的寶麗來照片致敬,重現了安迪.沃荷 (Andy Warhol) 拍攝即時成像照片的經典照片,利用 Instant NeRF 將其轉變為 3D 場景。