ToonCrafter:用預訓練的影象到影片擴散先驗來插值兩張卡通影象

連結:https://github.com/ToonCrafter/ToonCrafter

ToonCrafter是一個開源的研究專案,專注於使用預訓練的影象到影片擴散先驗來插值兩張卡通影象。該專案旨在積極影響AI驅動的影片生成領網網域,為使用者提供創造影片的自由,但要求使用者遵守當地法律並負責任地使用。

需求人群:

ToonCrafter適合對卡通動畫製作感興趣的藝術家和研究人員,以及希望探索AI在影片生成領網網域應用的技術開發者。它提供了一種新穎的方式來創作和實驗動畫,無需傳統的動畫製作技能。

使用場景示例:

  • 藝術家使用ToonCrafter生成卡通角色的動畫序列。
  • 研究人員利用該模型進行影片生成領網網域的實驗和研究。
  • 教育機構將其作為教學工具,教授學生AI在藝術創作中的應用。

產品特色:

  • 卡通影象插值:透過預訓練模型在兩張卡通影象之間生成過渡動畫。
  • 稀疏草圖引導:結合起始和結束幀以及草圖引導生成影片。
  • 卡通草圖插值:允許使用者輸入起始和結束幀,生成卡通動畫。
  • 基於參考的草圖著色:提供草圖和參考影象,自動進行著色處理。
  • 模型權重下載:提供預訓練模型權重,方便使用者直接使用。
  • 本地Gradio演示:允許使用者透過本地部署的Gradio介面進行互動式演示。

使用教學:

1. 安裝環境:透過Anaconda推薦安裝環境。

2. 下載模型:下載預訓練的ToonCrafter_512模型並放置到指定目錄。

3. 執行演示:根據指南將預訓練模型放置在相應目錄,執行本地Gradio演示。

4. 輸入幀:提供起始幀和結束幀影象。

5. 草圖引導(可選):如果需要,提供草圖引導影象。

6. 生成影片:使用ToonCrafter模型生成插值影片。

7. 檢視結果:在本地Gradio介面或命令列中檢視生成的影片結果。

返回頂端