Link：lumiere
Lumiere是一個文字到影片擴散模型，旨在合成展現真實、多樣和連貫運動的影片，解決影片合成中的關鍵挑戰。我們引入了一種空時U-Net架構，可以一次性生成整個影片的時間持續，透過模型的單次傳遞。這與現有的影片模型形成對比，後者合成遠距離的關鍵幀，然後進行時間超解析度處理，這種方法本質上使得全域性時間一致性難以實現。透過部署空間和（重要的是）時間的下采樣和上取樣，並利用預訓練的文字到影象擴散模型，我們的模型學會直接生成多個時空尺度下的全幀率、低解析度影片。我們展示了最先進的文字到影片生成結果，並展示了我們的設計輕鬆促進了各種內容創作任務和影片編輯應用，包括影象到影片、影片修補和風格化生成。
需求人群：
"適用於影片合成、影象到影片、影片修補、風格化生成等內容創作和影片編輯應用"
使用場景示例：
影片合成應用場景示例
影象到影片應用場景示例
影片修補應用場景示例
產品特色：
合成展現真實、多樣和連貫運動的影片
一次性生成整個影片的時間持續
輕鬆促進各種內容創作任務和影片編輯應用