RERENDER A VIDEO:影片重渲染:零樣本文字引導的影片到影片翻譯

Link:rerender-a-video
RERENDER A VIDEO是一種新穎的零樣本文字引導的影片到影片翻譯框架,用於將影象模型應用於影片領域。該框架包括兩個部分:關鍵幀翻譯和完整影片翻譯。第一部分使用適應性擴散模型生成關鍵幀,並應用分層跨幀約束來確保形狀、紋理和顏色的一致性。第二部分透過時間感知的補丁匹配和幀混合將關鍵幀傳播到其他幀。我們的框架以低成本實現了全域性風格和區域性紋理的時間一致性(無需重新訓練或最佳化)。該適應性與現有的影象擴散技術相容,使我們的框架能夠利用它們,例如使用LoRA自定義特定主題,並使用ControlNet引入額外的空間引導。大量實驗證明瞭我們提出的框架在呈現高質量和時間一致性影片方面的有效性。

需求人群:

"適用於影片渲染、影片編輯、電影製作等場景"

產品特色:

生成關鍵幀

實現全域性風格和區域性紋理的時間一致性

傳播關鍵幀到其他幀

返回頂端