跳切平滑

該產品提供了一種新穎的框架，用於平滑跳切，特別是在對話影片中。它利用影片中主體的外觀，透過 DensePose 關鍵點和麵部標誌驅動的中級表示來融合其他源幀中的資訊。為了實現運動，它在切割周圍的端幀之間插值關鍵點和標誌。然後使用影象轉換網路從關鍵點和源幀合成畫素。由於關鍵點可能包含錯誤，因此提出了一種跨模態注意機制，以選擇和為每個關鍵點挑選最合適的源。透過利用這種中級表示，我們的方法可以比強影片插值基準獲得更強的結果。我們在對話影片的各種跳切上展示了我們的方法，例如切除填充詞、暫停，甚至隨機切割。我們的實驗表明，即使在對話頭部旋轉或劇烈移動的挑戰性情況下，我們也可以實現無縫過渡。