連結：https://snap-research.github.io/GenAU/
GenAU是一個由Snap Research開發的音訊生成模型，它透過AutoCap自動字幕生成模型和GenAu音訊生成架構，顯著提升了音訊生成的質量。它在生成環境聲音和效果方面具有挑戰性，特別是在資料稀缺和字幕質量不足的情況下。GenAU模型能夠生成高質量的音訊，並且在音訊合成領網網域具有很大的潛力。
需求人群：
- GenAU的目標受眾是音訊內容創作者、音訊合成研究人員以及需要高質量音訊生成技術的企業。它適合於需要生成環境聲音、背景音樂或特定聲音效果的應用場景，如遊戲開發、電影製作或虛擬實境體驗。
使用場景示例：
- 生成人聲、動物聲或環境聲音，用於遊戲或應用程式的背景音樂。
- 為電影或影片製作提供高質量的環境聲音效果。
- 在虛擬實境體驗中生成逼真的音訊，增強沉浸感。
產品特色：
- AutoCap：利用音訊中繼資料提高字幕質量，達到83.2的CIDEr得分。
- GenAu：基於FIT架構，使用1.25億引數的可擴充變換器架構生成音訊。
- 音訊1D-VAE：從Mel-Spectrogram表示生成潛在序列。
- Q-Former模組：將音訊表示壓縮為更少的token，提高字幕模型效率。
- 跨注意力層：在輸入潛在和可學習的潛在token之間傳遞資訊。
- 全網域注意力層：使潛在token能夠進行全網域通訊。
- 支援大規模音訊-文本資料集的生成和訓練。
使用教學：
訪問GenAU的官方網站。
瞭解AutoCap和GenAu模型的基本原理和功能。
透過提供的示例或演示，體驗音訊生成的效果。
根據需求選擇合適的音訊生成引數進行定製。
生成音訊並使用AutoCap進行自動字幕生成。
將生成的音訊和字幕應用於所需的專案或研究中。
根據反饋調整引數，最佳化音訊生成效果。