3D場景

VividDream:從單一影象或文本生成可探索的3D場景

VividDream是一項創新技術,能夠從單一輸入影象或文本提示生成具有環境動態的可探索4D場景。它首先將輸入影象擴充為靜態3D點雲,然後使用影片擴散模型生成動畫影片集合,並透過最佳化4D場景表示來實作一致性運動和沉浸式場景探索。這項技術為生成基於多樣真實影象和文本提示的引人入勝的4D體驗提供了可能。

Lixel CyberColor:3D場景創造革命,電影級效果

Lixel CyberColor(LCC),由XGRIDS公司研發的先進技術產品,為3D場景的建立帶來革命性變化。LCC能自動生成電影級效果的無限大3D場景,使用Multi-SLAM和高斯濺射技術。其核心優勢在於精確捕捉並復現真實細節,為虛擬實境、遊戲開發、電影製作等領網域帶來真實性體驗。

Instruct-NeRF2NeRF:編輯3D場景的指令式NeRF編輯器

Instruct-NeRF2NeRF是一款用於編輯NeRF場景的指令式編輯器。它使用影象條件擴散模型(InstructPix2Pix)逐步編輯輸入影象,同時最佳化底層場景,從而得到一個最佳化的3D場景,該場景符合編輯指令。我們證明了我們的方法能夠編輯大規模的現實世界場景,並且能夠比之前的工作實現更真實、更有針對性的編輯。

BlockFusion:擴充套件3D場景生成模型

BlockFusion是一種基於擴散的模型,可以生成3D場景,並無縫地將新的塊整合到場景中。它透過對隨機裁剪自完整3D場景網格的3D塊資料集進行訓練。透過逐塊擬合,所有訓練塊都被轉換為混合神經場:其中包含幾何特徵的三面體,然後是用於解碼有符號距離值的多層感知器(MLP)。變分自動編碼器用於將三面體壓縮到潛在的三面體空間,對其進行去噪擴散處理。擴散應用於潛在表示,可以實現高質量和多樣化的3D場景生成。在生成過程中擴充套件場景時,只需附加空塊以與當前場景重疊,並外推現有的潛在三面體以填充新塊。外推是透過在去噪迭代過程中使用來自重疊三面體的特徵樣本來調節生成過程完成的。潛在三面體外推產生語義和幾何上有意義的過渡,與現有場景和諧地融合。使用2D佈局調節機制來控制場景元素的放置和排列。實驗結果表明,BlockFusion能夠生成多樣化、幾何一致且質量高的室內外大型3D場景。

返回頂端