JASCO:音樂生成模型,結合文本和音訊條件進行控制

連結:https://pages.cs.huji.ac.il/adiyoss-lab/JASCO/

JASCO是一個結合了符號和基於音訊的條件的文本到音樂生成模型,它能夠根據全網域文本描述和細粒度的區網域性控制生成高質量的音樂樣本。JASCO基於流匹配建模範式和一種新穎的條件方法,允許音樂生成同時受到區網域性(例如和絃)和全網域(文本描述)的控制。透過資訊瓶頸層和時間模糊來提取與特定控制相關的資訊,允許在同一個文本到音樂模型中結合符號和基於音訊的條件。

需求人群:

  • JASCO適用於音樂創作者、音樂理論家和任何對音樂生成技術感興趣的人。它可以幫助使用者透過文本描述來生成符合特定風格和情感的音樂,為音樂創作提供新的工具和靈感來源。

使用場景示例:

  • 音樂創作者使用JASCO根據文本描述生成具有特定風格的音樂。
  • 音樂理論家利用JASCO探索不同文本描述對音樂生成的影響。
  • 教育工作者使用JASCO作為教學工具,幫助學生理解音樂與文本之間的關係。

產品特色:

  • 支援全網域文本描述和細粒度的區網域性控制。
  • 基於流匹配建模範式和新穎的條件方法。
  • 應用資訊瓶頸層和時間模糊技術。
  • 可以結合符號和基於音訊的條件。
  • 透過客觀指標和人類研究評估生成質量和條件遵循度。
  • 與基線模型相比,在生成質量上具有可比性,同時提供更靈活的控制。

使用教學:

訪問JASCO的官方網站。

瞭解JASCO的基本原理和功能。

選擇或輸入想要生成音樂的文本描述。

根據需要選擇區網域性控制條件,如和絃或旋律。

調整其他生成引數,如節奏或風格。

啟動音樂生成過程並等待結果。

評估生成的音樂樣本,根據反饋進行調整。

返回頂端