NeROIC:線上影象集合的神經渲染

Link:neroic
NeROIC是一種從線上影象集閤中獲取物體表示的新方法,可以捕捉具有不同相機、光照和背景的照片中任意物體的高質量幾何和材質屬性。它可以用於新視角合成、重新照明和和諧背景合成等物體中心渲染應用。透過擴充套件神經輻射場的多階段方法,我們首先推斷表面幾何並改進粗略估計的初始相機引數,同時利用粗略的前景物體掩碼來提高訓練效率和幾何質量。我們還引入了一種穩健的法線估計技術,可以消除幾何噪聲的影響,同時保留關鍵細節。最後,我們提取表面材質屬性和環境光照,用球諧函式表示,並處理瞬態元素,如銳利陰影。這些元件的結合形成了一個高度模組化和高效的物體獲取框架。廣泛的評估和比較證明瞭我們的方法在捕捉用於渲染應用的高質量幾何和外觀屬性方面的優勢。

需求人群:

適用於需要從線上影象集閤中獲取物體表示的應用場景

使用場景示例:

透過NeROIC合成具有不同光照條件的物體的新視角

利用NeROIC解析物體的材質屬性和表面法線

使用NeROIC在新的光照環境下渲染物體

產品特色:

從線上影象集閤中獲取物體的高質量幾何和材質屬性

新視角合成

重新照明

和諧背景合成

返回頂端