MusePose:虛擬人物生成的影象到影片框架
MusePose是由騰訊音樂娛樂的Lyra Lab開發的一款影象到影片的生成框架,旨在透過姿勢控制訊號生成虛擬人物的影片。它是Muse開源系列的最後一個構建塊,與MuseV和MuseTalk一起,旨在推動社群向生成具有全身運動和互動能力的虛擬人物的願景邁進。
MusePose是由騰訊音樂娛樂的Lyra Lab開發的一款影象到影片的生成框架,旨在透過姿勢控制訊號生成虛擬人物的影片。它是Muse開源系列的最後一個構建塊,與MuseV和MuseTalk一起,旨在推動社群向生成具有全身運動和互動能力的虛擬人物的願景邁進。
I2VEdit是一種創新的影片編輯技術,透過預訓練的影象到影片模型,將單一幀的編輯擴充到整個影片。這項技術能夠適應性地保持源影片的視覺和運動完整性,並有效處理全域編輯、區域性編輯以及適度的形狀變化,這是現有方法所不能實作的。
AnimateLCM-SVD-xt是一種新的影象到影片生成模型,可以在很少的步驟內生成高質量、連貫性好的影片。該模型透過一致性知識蒸餾和立體匹配學習技術,使生成影片更加平穩連貫,同時大大減少了計算量。關鍵特點包括:1) 4-8步內生成25幀576×1024解析度影片;2) 比普通影片diffusion模型降低12.5倍計算量;3) 生成影片質量好,無需額外分類器引導。
Stable Video Diffusion (SVD) 1.1 Image-to-Video 是一個擴散模型,透過將靜止影象作為條件幀,生成相應的影片。該模型是一個潛在擴散模型,經過訓練,能夠從影象生成短影片片段。在解析度為 1024×576 的情況下,該模型訓練生成 25 幀影片,其訓練基於相同大小的上下文幀,並從 SVD Image-to-Video [25 frames] 進行了微調。微調時,固定了6FPS和Motion Bucket Id 127的條件,以提高輸出的一致性,而無需調整超引數。