連結：https://github.com/Francis-Rings/MotionFollower
MotionFollower是一個輕量級的得分引導擴散模型，用於影片運動編輯。它透過兩個輕量級訊號控制器，分別對姿勢和外觀進行控制，不涉及繁重的注意力計算。該模型設計了基於雙分支架構的得分引導原則，包括重建和編輯分支，顯著增強了對紋理細節和複雜背景的建模能力。實驗表明，MotionFollower在GPU記憶體使用上比最先進的運動編輯模型MotionEditor減少了約80%，同時提供了更優越的運動編輯效能，並獨家支援大範圍的攝影機運動和動作。
需求人群：
MotionFollower適合需要進行高質量影片運動編輯的專業人士和研究者，尤其是那些需要在保持原始角色外觀和背景的同時，對影片運動進行精細調整的使用者。它的輕量級特性和高效的記憶體使用，使其成為資源受限環境下的理想選擇。
使用場景示例：
- 電影后期製作中，使用MotionFollower對動作場景進行精細調整。
- 虛擬實境內容創作者利用該模型實作複雜動作的逼真模擬。
- 科研人員在進行影片分析和運動捕捉研究時，使用該模型進行資料增強。
產品特色：
- 輕量級得分引導擴散模型，最佳化影片運動編輯。
- 使用輕量級訊號控制器，簡化姿勢和外觀的控制過程。
- 雙分支架構設計，增強紋理細節和複雜背景的建模。
- 一致性正則化和損失函式，確保模型輸出的一致性。
- 在GPU記憶體使用上大幅度減少，提高計算效率。
- 支援大範圍攝影機運動和複雜動作的編輯。
使用教學：
1. 訪問MotionFollower的GitHub頁面，瞭解模型的基本資訊和功能。
2. 閱讀README檔案，獲取模型的安裝和使用指南。
3. 根據指南安裝必要的依賴項，並配置執行環境。
4. 下載並載入模型，準備影片編輯所需的輸入資料。
5. 根據具體需求，設定模型的引數，如姿勢控制器和外觀控制器。
6. 執行模型，觀察影片運動編輯的結果，並進行必要的調整。
7. 儲存編輯後的影片，並根據需要進行進一步的後期處理。