SparseCtrl:為文字到影片擴散模型新增稀疏控制

Link:sparsectrl
SparseCtrl是為了增強對文字到影片生成的控制性而開發的,它能夠靈活地結合稀疏訊號進行結構控制,只需一個或少量輸入。它包括一個額外的條件編碼器來處理這些稀疏訊號,同時不影響預訓練的文字到影片模型。該方法相容各種形式,包括素描、深度和RGB影象,為影片生成提供更實用的控制,並推動故事板、深度渲染、關鍵幀動畫和插值等應用。大量實驗證明瞭SparseCtrl在原始和個性化文字到影片生成器上的泛化能力。

需求人群:

"適用於文字到影片生成,包括故事板、深度渲染、關鍵幀動畫和插值等應用場景"

使用場景示例:

故事板生成

深度渲染

關鍵幀動畫生成

產品特色:

結構控制

稀疏訊號處理

多種形式相容

影片生成應用

返回頂端