UniAnimate：高效生成一致性人物影片動畫的模型
UniAnimate是一個用於人物影象動畫的統一影片擴散模型框架。它透過將參考影象、姿勢指導和噪音影片對映到一個共同的特徵空間，以減少最佳化難度並確保時間上的連貫性。UniAnimate能夠處理長序列，支援隨機噪音輸入和首幀條件輸入，顯著提高了生成長期影片的能力。
Story-to-Motion：從長文字中合成無限可控角色動畫
Story-to-Motion是一個全新的任務，它接受一個故事（頂部綠色區域）並生成與文字描述相符的動作和軌跡。該系統利用現代大型語言模型作為文字驅動的運動排程器，從長文字中提取一系列（文字、位置）對。它還開發了一個文字驅動的運動檢索方案，結合了經典運動匹配和運動語義以及軌跡約束。此外，它設計了一個漸進式掩蔽變換器，以解決過渡動作中常見的問題，如不自然的姿勢和滑步。該系統在軌跡跟隨、時間動作組合和動作混合等三個不同子任務的評估中表現優異，勝過以往的動作合成方法。