稀疏控制

SparseCtrl是為了增強對文字到影片生成的控制性而開發的，它能夠靈活地結合稀疏訊號進行結構控制，只需一個或少量輸入。它包括一個額外的條件編碼器來處理這些稀疏訊號，同時不影響預訓練的文字到影片模型。該方法相容各種形式，包括素描、深度和RGB影象，為影片生成提供更實用的控制，並推動故事板、深度渲染、關鍵幀動畫和插值等應用。大量實驗證明了SparseCtrl在原始和個性化文字到影片生成器上的泛化能力。