Link：animatabledreamer
AnimatableDreamer是一個從單眼影片中生成和重建可動畫非剛體3D模型的框架。它能夠生成不同類別的非剛體對象,同時遵循從影片中提取的對象運動。關鍵技術是提出的典範分數蒸餾方法,將生成維度從4D簡化到3D,在影片中的不同幀進行降噪,同時在唯一的典範空間內進行蒸餾過程。這樣可以保證時間一致的生成和不同姿態下的形態逼真性。藉助可微分變形,AnimatableDreamer將3D生成器提升到4D,為非剛體3D模型的生成和重建提供了新視角。此外,與一致性擴散模型的歸納知識相結合,典範分數蒸餾可以從新視角對重建進行正則化,從而閉環增強生成過程。大量實驗表明,該方法能夠從單眼影片生成高靈活性的文字指導3D模型,同時重建效能優於典型的非剛體重建方法。
需求人群：
["可動畫3D內容生成","虛擬現實應用"]
使用場景示例：
輸入文字’一個穿紅衣服的松鼠’生成松鼠動畫
輸入貓咪影片得到貓咪3D模型
輸入’機器貓’文字得到機器貓3D動畫
產品特色：
從單眼影片生成文字指導的可動畫3D模型
非剛體3D模型重建