連結：https://world-model.maitrix.org
Pandora是一個向通用世界模型邁進的模型，它能夠透過生成影片來模擬世界狀態，並允許使用自然語言在任何時間控制影片內容。Pandora與以往的文本到影片模型不同，它允許在影片生成過程中隨時接受自由文本動作輸入，從而實作影片的即時控制。這種即時控制能力實作了世界模型支援互動式內容生成和增強的健壯推理和規劃的承諾。Pandora能夠跨多個領網網網網網域生成影片，如室內/室外、自然/城市、人類/機器人、2D/3D等場景。此外，Pandora還允許透過高質量的資料進行指令調整，使得模型能夠在一個領網網網網網域學習動作並在另一個未見過的領網網網網網域中使用。Pandora模型還透過自迴歸模型生成更長的影片，其生成的影片長度可以超過訓練影片的長度。儘管Pandora作為通用世界模型的初步步驟仍有限制，例如在生成一致性影片、模擬複雜場景、理解常識和物理法則以及遵循指令/動作方面可能會失敗，但它在影片生成和自然語言控制方面展示了巨大的潛力。
需求人群：
Pandora模型適合需要生成互動式影片內容的開發者和創意專業人士，如影片遊戲開發者、電影製作者、動畫師等。它允許使用者透過自然語言來控制影片內容，極大地提高了創作效率和靈活性。此外，對於研究自然語言處理和機器學習領網網網網網域的研究人員，Pandora提供了一個實驗和探索互動式AI內容生成的先進平臺。
使用場景示例：
- 影片遊戲開發者使用Pandora生成動態的遊戲場景影片。
- 電影製作者利用Pandora預覽不同劇本下的場景變化。
- 動畫師透過Pandora快速生成動畫草圖和場景佈局。
產品特色：
- 即時控制影片生成：接受自然語言動作輸入，實時控制影片內容。
- 跨領網網網網網域影片生成：能夠生成室內外、自然與城市、人類與機器人、2D與3D等多種場景的影片。
- 預測替代未來：模擬不同的未來場景，展示不同動作下的可能結果。
- 學習與遷移：在一個領網網網網網域學習動作控制，並能夠遷移到其他未見過的領網網網網網域。
- 自迴歸模型：生成更長的影片，超出訓練影片的長度限制。
- 高質量影片：透過FLAVR進行幀插值處理，使影片更加流暢。