StreamV2V:實時影片到影片翻譯的擴散模型
StreamV2V是一個擴散模型,它透過使用者提示實作了實時的影片到影片(V2V)翻譯。與傳統的批處理方法不同,StreamV2V採用流式處理方式,能夠處理無限幀的影片。它的核心是維護一個特徵庫,該庫儲存了過去幀的資訊。對於新進來的幀,StreamV2V透過擴充自注意力和直接特徵融合技術,將相似的過去特徵直接融合到輸出中。特徵庫透過合併儲存的和新的特徵不斷更新,保持緊湊且資訊豐富。StreamV2V以其適應性和效率脫穎而出,無需微調即可與影象擴散模型無縫整合。









