連結：https://github.com/Bujiazi/MotionClone/
MotionClone是一個訓練無關的框架，允許從參考影片進行運動克隆，以控制文本到影片的生成。它利用時間注意力機制在影片反轉中表示參考影片中的運動，並引入了主時間注意力引導來減輕注意力權重中噪音或非常微妙運動的影響。此外，為了協助生成模型合成合理的空間關係並增強其提示跟隨能力，提出了一種利用參考影片中的前景粗略位置和原始分類器自由引導特徵的位置感知語義引導機制。
需求人群：
- MotionClone適合影片製作者、動畫師和研究人員，因為它提供了一種無需訓練即可快速生成影片內容的方法。特別是對於那些需要根據特定文本提示生成影片的專業人士，MotionClone提供了一個高效且靈活的工具。
使用場景示例：
- 動畫師使用MotionClone根據劇本快速生成動畫影片草圖
- 影片製作者利用MotionClone根據腳本生成影片內容的初步版本
- 研究人員使用MotionClone進行影片生成技術的研究和開發
產品特色：
- 無需訓練即可從參考影片克隆運動
- 使用時間注意力機製表示影片中的運動
- 主時間注意力引導減輕噪音或微妙運動的影響
- 位置感知語義引導機制輔助生成合理的空間關係
- 增強影片生成模型的提示跟隨能力
- 適用於文本到影片的可控生成
使用教學：
1. 設定程式碼庫和conda環境
2. 下載Stable Diffusion V1.5
3. 準備社群模型，包括從RealisticVision V5.1下載的社群.safetensors模型
4. 準備AnimateDiff運動模組，推薦下載v3_adapter_sd_v15.ckpt和v3_sd15_mm.ckpt.ckpt
5. 執行DDIM反轉
6. 執行運動克隆
7. 如果需要，引用MotionClone相關的論文