連結：https://vision.cs.utexas.edu/projects/HOI-Swap/
HOI-Swap是一個基於擴散模型的影片編輯框架，專注於處理影片編輯中手與物體互動的複雜性。該模型透過自監督訓練，能夠在單幀中實作物體交換，並學習根據物體屬性變化調整手的互動模式，如手的抓握方式。第二階段將單幀編輯擴充到整個影片序列，透過運動對齊和影片生成，實作高質量的影片編輯。
需求人群：
- HOI-Swap適合需要進行影片編輯和增強的專業人士和研究人員，尤其是在需要精確處理手與物體互動的場景中。例如，影片製作者、電影后期製作人員、虛擬實境內容開發者等。
使用場景示例：
- 影片製作者使用HOI-Swap替換影片中的物體，以創造更加逼真的場景。
- 電影后期製作人員利用HOI-Swap調整影片中的手部動作，以匹配替換後的物體。
- 虛擬實境內容開發者使用HOI-Swap在虛擬場景中實作更加自然的手-物互動。
產品特色：
- 精確物體交換：根據使用者提供的參考影象，實作影片中物體的無縫替換。
- 手-物互動意識：模型能夠根據物體形狀和功能的變化調整手的互動動作。
- 自監督訓練：無需外部標註資料，透過自我生成的訓練資料進行學習。
- 運動對齊：透過取樣運動點和光流技術，實作新影片序列與原始影片的運動一致性。
- 影片重建：從變形的影片序列中重建完整的影片序列。
- 高質量影片輸出：生成具有現實手-物互動的高質量影片編輯結果。
使用教學：
1. 選擇一個需要編輯的影片，並準備一個參考物體的影象。
2. 使用HOI-Swap的第一階段模型，對影片中的物體進行單幀替換。
3. 根據物體屬性的變化，調整手的互動動作，確保手與新物體的互動自然。
4. 利用第二階段模型，將單幀編輯擴充到整個影片序列。
5. 透過取樣運動點和光流技術，實作新影片序列與原始影片的運動對齊。
6. 使用影片擴散模型，從變形的影片序列中重建完整的影片序列。
7. 檢查生成的影片編輯結果，確保手-物互動的現實性和影片質量。