Link:mixture-of-attention-moa-
Mixture-of-Attention (MoA) 是一種用於個性化文本到影象擴散模型的新架構,它透過兩個注意力路徑——個性化分支和非個性化先驗分支——來分配生成工作負載。MoA 設計用於保留原始模型的先驗,同時透過個性化分支最小幹預生成過程,該分支學習將主題嵌入到先驗分支生成的佈局和上下文中。MoA 透過一種新穎的路由機制管理每層畫素在這些分支之間的分佈,以最佳化個性化和通用內容建立的混合。訓練完成後,MoA 能夠建立高質量、個性化的影象,展示多個主題的組成和互動,與原始模型生成的一樣多樣化。MoA 增強了模型的先有能力與新增強的個性化幹預之間的區別,從而提供了以前無法實作的更解耦的主題上下文控制。
需求人群:
"MoA 可用於個性化影象生成,特別是在需要在影象中嵌入特定主題並保持高質量和多樣性的場景中。"
使用場景示例:
將使用者上傳的照片中的面孔替換為另一個人的臉
生成具有特定姿勢和表情的個性化角色影象
在保持背景一致性的同時,透過改變初始隨機噪音來生成不同主題的影象
產品特色:
個性化影象生成
主題和上下文解耦
高質量影象生成
多主題組合與互動
個性化分支和非個性化先驗分支
畫素分佈最佳化