Link：https://huggingface.co/papers/2401.17053
BlockFusion是一種基於擴散的模型，可以生成3D場景，並無縫地將新的塊整合到場景中。它透過對隨機裁剪自完整3D場景網格的3D塊資料集進行訓練。透過逐塊擬合，所有訓練塊都被轉換為混合神經場：其中包含幾何特徵的三面體，然後是用於解碼有符號距離值的多層感知器（MLP）。變分自動編碼器用於將三面體壓縮到潛在的三面體空間，對其進行去噪擴散處理。擴散應用於潛在表示，可以實現高質量和多樣化的3D場景生成。在生成過程中擴充套件場景時，只需附加空塊以與當前場景重疊，並外推現有的潛在三面體以填充新塊。外推是透過在去噪迭代過程中使用來自重疊三面體的特徵樣本來調節生成過程完成的。潛在三面體外推產生語義和幾何上有意義的過渡，與現有場景和諧地融合。使用2D佈局調節機制來控制場景元素的放置和排列。實驗結果表明，BlockFusion能夠生成多樣化、幾何一致且質量高的室內外大型3D場景。
需求人群：
- BlockFusion可用於遊戲開發、虛擬現實應用、建築設計等領域。
使用場景示例：
- 遊戲開發：使用BlockFusion生成多樣化的遊戲場景。
- 虛擬現實應用：利用BlockFusion建立逼真的虛擬環境。
- 建築設計：在建築設計過程中使用BlockFusion生成室內外場景。
產品特色：
- 生成3D場景
- 無縫整合新的3D塊
- 外推現有的潛在三面體以填充新塊
- 控制場景元素的放置和排列