計算機圖形學

AnimatableDreamer是一個從單眼影片中生成和重建可動畫非剛體3D模型的框架。它能夠生成不同類別的非剛體對象,同時遵循從影片中提取的對象運動。關鍵技術是提出的典範分數蒸餾方法,將生成維度從4D簡化到3D,在影片中的不同幀進行降噪,同時在唯一的典範空間內進行蒸餾過程。這樣可以保證時間一致的生成和不同姿態下的形態逼真性。藉助可微分變形,AnimatableDreamer將3D生成器提升到4D,為非剛體3D模型的生成和重建提供了新視角。此外,與一致性擴散模型的歸納知識相結合,典範分數蒸餾可以從新視角對重建進行正則化,從而閉環增強生成過程。大量實驗表明,該方法能夠從單眼影片生成高靈活性的文字指導3D模型,同時重建效能優於典型的非剛體重建方法。