Story-to-Motion:從長文字中合成無限可控角色動畫

Link:story-to-motion
Story-to-Motion是一個全新的任務,它接受一個故事(頂部綠色區域)並生成與文字描述相符的動作和軌跡。該系統利用現代大型語言模型作為文字驅動的運動排程器,從長文字中提取一系列(文字、位置)對。它還開發了一個文字驅動的運動檢索方案,結合了經典運動匹配和運動語義以及軌跡約束。此外,它設計了一個漸進式掩蔽變換器,以解決過渡動作中常見的問題,如不自然的姿勢和滑步。該系統在軌跡跟隨、時間動作組合和動作混合等三個不同子任務的評估中表現優異,勝過以往的動作合成方法。

需求人群:

"適用於動畫、遊戲和電影行業,特別是在需要角色根據文字描述移動到不同位置並執行特定動作的情境中。"

使用場景示例:

遊戲開發:Story-to-Motion可用於遊戲開發中,根據遊戲劇情文字生成角色動畫。

影視製作:在影視製作中,可以根據劇本自動生成角色動作,提高製作效率。

動畫設計:動畫設計師可以利用Story-to-Motion從文字中合成角色動畫,節省創作時間。

產品特色:

從長文字中合成無限可控角色動畫

利用大型語言模型進行文字驅動的運動排程

開發文字驅動的運動檢索方案,結合經典運動匹配和運動語義

設計漸進式掩蔽變換器,解決過渡動作中的問題

返回頂端