連結：https://tencentqqgylab.github.io/EMMA/
EMMA是一個基於最前沿的文本到影象擴散模型ELLA構建的新型影象生成模型，能夠接受多模態提示，透過創新的多模態特徵聯結器設計，有效整合文本和補充模態資訊。該模型透過凍結原始T2I擴散模型的所有引數，並僅調整一些額外層，揭示了預訓練的T2I擴散模型可以秘密接受多模態提示的有趣特性。EMMA易於適應不同的現有框架，是生成個性化和上下文感知影象甚至影片的靈活有效工具。
需求人群：
- 目標受眾包括影象生成領網網域的研究者、開發者和藝術家，他們需要一個能夠理解並融合多種輸入條件來創造高質量影象的工具。EMMA的靈活性和高效性使其成為這些使用者的理想選擇，尤其是在需要快速適應不同生成框架和條件時。
使用場景示例：
- 使用EMMA結合ToonYou生成不同風格的影象
- 結合AnimateDiff模型生成保留肖像細節的影象
- 生成具有故事情節的影象集，如女子被狗追逐的故事
產品特色：
- 接受文本和參考影象等多模態提示
- 透過特殊的注意力機制整合文本和補充模態資訊
- 凍結原始T2I擴散模型引數，僅調整額外層以適應多模態
- 無需額外訓練即可處理不同的多模態配置
- 生成高保真度和細節豐富的影象
- 適用於生成個性化和上下文感知的影象及影片
使用教學：
1. 訪問EMMA產品頁面並瞭解基本介紹
2. 閱讀技術文檔，瞭解模型的工作原理和特點
3. 下載並安裝必要的軟體依賴，如Python環境和相關庫
4. 根據示例程式碼或文檔指導，編寫自己的多模態提示
5. 執行EMMA模型，輸入文本和參考影象等提示
6. 等待模型生成影象，評估生成結果並進行必要的調整
7. 根據需要，將生成的影象應用於藝術創作或研究專案中