影象到影片

MusePose:虛擬人物生成的影象到影片框架

MusePose是由騰訊音樂娛樂的Lyra Lab開發的一款影象到影片的生成框架,旨在透過姿勢控制訊號生成虛擬人物的影片。它是Muse開源系列的最後一個構建塊,與MuseV和MuseTalk一起,旨在推動社群向生成具有全身運動和互動能力的虛擬人物的願景邁進。

AnimateLCM-SVD-xt:一種穩定高效的影片生成模型

AnimateLCM-SVD-xt是一種新的影象到影片生成模型,可以在很少的步驟內生成高質量、連貫性好的影片。該模型透過一致性知識蒸餾和立體匹配學習技術,使生成影片更加平穩連貫,同時大大減少了計算量。關鍵特點包括:1) 4-8步內生成25幀576×1024解析度影片;2) 比普通影片diffusion模型降低12.5倍計算量;3) 生成影片質量好,無需額外分類器引導。

Stable Video Diffusion 1.1 Image-to-Video:SVD 1.1 Image-to-Video 模型生成短影片

Stable Video Diffusion (SVD) 1.1 Image-to-Video 是一個擴散模型,透過將靜止影象作為條件幀,生成相應的影片。該模型是一個潛在擴散模型,經過訓練,能夠從影象生成短影片片段。在解析度為 1024×576 的情況下,該模型訓練生成 25 幀影片,其訓練基於相同大小的上下文幀,並從 SVD Image-to-Video [25 frames] 進行了微調。微調時,固定了6FPS和Motion Bucket Id 127的條件,以提高輸出的一致性,而無需調整超引數。

返回頂端