Interactive3D:透過互動式3D生成技術,實作高質量且可控的3D模型建立
Interactive3D是一個先進的3D生成模型,它透過互動式設計為使用者提供了精確的控制能力。該模型採用兩階段級聯結構,利用不同的3D表示方法,允許使用者在生成過程的任何中間步驟進行修改和引導。它的重要性在於能夠實作使用者對3D模型生成過程的精細控制,從而創造出滿足特定需求的高質量3D模型。
Interactive3D是一個先進的3D生成模型,它透過互動式設計為使用者提供了精確的控制能力。該模型採用兩階段級聯結構,利用不同的3D表示方法,允許使用者在生成過程的任何中間步驟進行修改和引導。它的重要性在於能夠實作使用者對3D模型生成過程的精細控制,從而創造出滿足特定需求的高質量3D模型。
Ouroboros3D是一個統一的3D生成框架,它將基於擴散的多視圖影象生成和3D重建整合到一個遞迴擴散過程中。該框架透過自條件機制聯合訓練這兩個模組,使它們能夠相互適應,以實作魯棒的推理。在多視圖去噪過程中,多視圖擴散模型使用由重建模組在前一時間步渲染的3D感知圖作為附加條件。
HexaGen3D是一種用於從文字提示生成高質量3D資產的創新方法。它利用大型預訓練的2D擴散模型,透過微調預訓練的文字到影象模型來聯合預測6個正交投影和相應的潛在三面體,然後解碼這些潛在值以生成紋理網格。HexaGen3D不需要每個樣本的最佳化,可在7秒內從文字提示中推斷出高質量且多樣化的對象,相較於現有方法,提供了更好的質量與延遲權衡。此外,HexaGen3D對於新對象或組合具有很強的泛化能力。
Flythroughs是一款基於AI和3D生成技術的應用程式,可以幫助使用者輕鬆地建立專業的3D Flythroughs。它採用了世界上最先進的3D生成NeRF技術,可以從影片中生成逼真的3D體驗,無需任何培訓或特殊裝置。Flythroughs還整合了全新的3D相機路徑AI,可以一鍵生成逼真的3D體驗。Flythroughs適用於房地產、建築、旅遊、娛樂等領域,可以幫助使用者展示空間的流動性和獨特之處。
Stable Video 3D是Stability AI推出的新模型,它在3D技術領域取得了顯著進步,與之前釋出的Stable Zero123相比,提供了大幅改進的質量和多視角支援。該模型能夠在沒有相機條件的情況下,基於單張圖片輸入生成軌道影片,並且能夠沿著指定的相機路徑建立3D影片。
GPTEval3D是一個開源的3D生成模型評價工具,基於GPT-4V實現了對文字到3D生成模型的自動評測。它可以計算生成模型的ELO分數,並與現有模型進行對比排名。該工具簡單易用,支援使用者自定義評測資料集,可以充分發揮GPT-4V的評測效果,是研究3D生成任務的有力工具。
GRM是一種大規模的重建模型,能夠在0.1秒內從稀疏檢視影象中恢復3D資產,並且在8秒內實現生成。它是一種前饋的基於Transformer的模型,能夠高效地融合多檢視資訊將輸入畫素轉換為畫素對齊的高斯分佈,這些高斯分佈可以反投影成為表示場景的密集3D高斯分佈集合。我們的Transformer架構和使用3D高斯分佈的方式解鎖了一種可擴充套件、高效的重建框架。大量實驗結果證明了我們的方法在重建質量和效率方面優於其他替代方案。我們還展示了GRM在生成任務(如文字到3D和影象到3D)中的潛力,透過與現有的多檢視擴散模型相結合。