神經渲染

What You See is What You GAN:高保真幾何渲染

這款產品是一種3D GAN技術,透過學習基於神經體積渲染的方法,能夠以前所未有的細節解析細粒度的3D幾何。產品採用學習型取樣器,加速3D GAN訓練,使用更少的深度取樣,實現在訓練和推斷過程中直接渲染完整解析度影象的每個畫素,同時學習高質量的表面幾何,合成高解析度3D幾何和嚴格視角一致的影象。產品在FFHQ和AFHQ上展示了最先進的3D幾何質量,為3D GAN中的無監督學習建立了新的標準。

NeROIC:線上影象集合的神經渲染

NeROIC是一種從線上影象集閤中獲取物體表示的新方法,可以捕捉具有不同相機、光照和背景的照片中任意物體的高質量幾何和材質屬性。它可以用於新視角合成、重新照明和和諧背景合成等物體中心渲染應用。透過擴充套件神經輻射場的多階段方法,我們首先推斷表面幾何並改進粗略估計的初始相機引數,同時利用粗略的前景物體掩碼來提高訓練效率和幾何質量。我們還引入了一種穩健的法線估計技術,可以消除幾何噪聲的影響,同時保留關鍵細節。最後,我們提取表面材質屬性和環境光照,用球諧函式表示,並處理瞬態元素,如銳利陰影。這些元件的結合形成了一個高度模組化和高效的物體獲取框架。廣泛的評估和比較證明了我們的方法在捕捉用於渲染應用的高質量幾何和外觀屬性方面的優勢。

返回頂端