連結：https://ir1d.github.io/CamCo/
CamCo是一個創新的影象到影片生成框架，它能夠生成具有3D一致性的高質量影片。該框架透過Plücker座標引入相機資訊，並提出了一種符合幾何一致性的雙線約束注意力模組。此外，CamCo在透過運動結構演演算法估計相機姿態的真實世界影片上進行了微調，以更好地合成物體運動。
需求人群：
CamCo適用於需要生成具有精確相機控制和3D一致性影片內容的使用者，如影片製作者、遊戲開發者和虛擬實境內容創作者。它提供了一個強大的工具，可以幫助使用者創作出具有高度真實感和藝術表達的影片。
使用場景示例：
- 影片製作者使用CamCo生成具有複雜相機運動的影片
- 遊戲開發者利用CamCo在虛擬環境中生成逼真的影片內容
- 虛擬實境內容創作者使用CamCo創作沉浸式影片體驗
產品特色：
- 支援精細的相機姿態控制
- 使用Plücker座標引數化相機姿態
- 整合雙線約束注意力模組以增強3D一致性
- 透過結構從運動演演算法估計相機姿態進行微調
- 生成具有動態主體和相機自我運動的影片
- 支援室內、室外、以物體為中心以及文本到影象生成的影象
使用教學：
1. 準備一張圖片作為影片的起始幀
2. 定義一系列相機姿態作為輸入
3. 使用CamCo模型根據相機條件合成影片
4. 調整Plücker座標以實作所需的相機運動
5. 透過雙線約束注意力模組確保影片的3D一致性
6. 微調模型以適應特定的影片內容和相機運動
7. 生成並匯出最終的影片內容