InstantMesh:高效3D網格生成框架
InstantMesh是一個基於LRM架構的前饋框架,用於從單張影象高效生成3D網格。它支援低記憶體GPU環境,並能生成具有紋理對映的3D網格模型。
GaussianCube是一種創新的3D輻射表示方法,它透過結構化和顯式的表示方式,極大地促進了三維生成建模的發展。該技術透過使用一種新穎的密度約束高斯擬合演算法和最優傳輸方法,將高斯函式重新排列到預定義的體素網格中,從而實作了高精度的擬合。
ID-to-3D是一種創新的方法,它能夠從一張隨意拍攝的野外圖片中生成具有身份和文本引導的3D人頭模型,具有分離的表情。該方法基於組合性,使用特定任務的2D擴散模型作為最佳化的先驗。
Unique3D是由清華大學團隊開發的一項技術,能夠從單張圖片中生成高保真度的紋理3D網格模型。這項技術在影象處理和3D建模領網域具有重要意義,它使得使用者能夠快速將2D影象轉化為3D模型,為遊戲開發、動畫製作、虛擬實境等領網域提供了強大的技術支援。
VoxCraft是一個透過AI生成3D模型的網站。它可以快速生成高質量的3D模型,無需使用者具備3D建模經驗。這些AI生成的模型可以無縫地匯入流行的3D軟體如Blender,非常方便地整合到使用者的3D工作流程中。VoxCraft擁有簡單易用的介面,使用者僅需提供少量文字描述,就可以獲得設計完美的3D模型。它大大提高了3D內容創作的效率。
GauHuman是一個基於高斯擴散的3D人體模型,它能在短時間內(1-2分鐘)完成訓練,並提供實時渲染(最高達189 FPS),與現有基於NeRF的隱式表示建模框架相比,後者需要數小時訓練和每幀數秒渲染。GauHuman在規範空間對高斯擴散進行編碼,並利用線性混合皮膚(LBS)將3D高斯從規範空間轉換到姿態空間,在此過程中設計了有效的姿態和LBS細化模組,以微不足道的計算成本學習3D人體的細節。此外,GauHuman還透過3D人體先驗初始化和修剪3D高斯,並透過KL散度引導進行拆分/克隆,以及進一步加速的新型合併操作,從而實現快速最佳化。
Sloyd是一個快速生成3D模型的平臺。選擇一個生成器,進行微調,即可完成。可以透過實時預覽來生成模型。Sloyd提供不斷擴充套件的生成器庫,快速定製模型,可用於實時渲染和多種級別的細節。生成的模型可以根據需要進行定製,並且已經進行了UV展開和最佳化,方便進行貼圖和使用。Sloyd適用於各種風格的模型,提供無限的變化,並且支援實時生成。
Tripo 1.0是一個AI驅動的3D建模工具,可以透過文字或圖片在幾秒鐘內生成高質量且可直接使用的3D模型。這個工具適用於快速建立3D內容,無需複雜的設計流程,為使用者提供了一個高效且簡便的3D建模解決方案。
CRM是一個高保真的單影象到3D紋理網格的生成模型,它透過整合幾何先驗到網路設計中,能夠從單個輸入影象生成六個正交檢視影象,然後利用卷積U-Net建立高解析度的三平面(triplane)。CRM進一步使用Flexicubes作為幾何表示,便於在紋理網格上進行直接的端到端最佳化。整個模型能夠在10秒內從影象生成高保真的紋理網格,無需測試時最佳化。
AnimatableDreamer是一個從單眼影片中生成和重建可動畫非剛體3D模型的框架。它能夠生成不同類別的非剛體對象,同時遵循從影片中提取的對象運動。關鍵技術是提出的典範分數蒸餾方法,將生成維度從4D簡化到3D,在影片中的不同幀進行降噪,同時在唯一的典範空間內進行蒸餾過程。這樣可以保證時間一致的生成和不同姿態下的形態逼真性。藉助可微分變形,AnimatableDreamer將3D生成器提升到4D,為非剛體3D模型的生成和重建提供了新視角。此外,與一致性擴散模型的歸納知識相結合,典範分數蒸餾可以從新視角對重建進行正則化,從而閉環增強生成過程。大量實驗表明,該方法能夠從單眼影片生成高靈活性的文字指導3D模型,同時重建效能優於典型的非剛體重建方法。