PALP:文字到影象模型的個性化定製

Link:palp
內容創作者經常希望使用個人主題建立個性化圖片,超越傳統的文字到影象模型的能力。此外,他們可能希望生成的圖片包含特定的位置、風格、氛圍等。現有的個性化方法可能會在個性化能力和與複雜文字提示的對齊之間做出妥協。這種權衡可能會阻礙使用者提示和主題的忠實性。我們提出了一種新的方法,專注於單個提示的個性化方法,以解決這個問題。我們將這種方法稱為提示對齊個性化。儘管這種方法可能看起來有限,但我們的方法在改進文字對齊方面表現出色,可以建立具有複雜和複雜提示的影象,這對於當前技術來說可能是一個挑戰。具體而言,我們的方法使用額外的得分蒸餾取樣項,使個性化模型與目標提示保持對齊。我們在多次拍攝和單次拍攝設定中展示了我們方法的多功能性,並進一步展示了它可以組合多個主題或從藝術作品等參考影象中獲取靈感。我們定量和定性地與現有基線和最先進的技術進行比較。

需求人群:

"用於生成個性化的影象,可以應用於多個場景,如內容創作、設計、藝術等。"

使用場景示例:

為一篇文字新增個性化的影象

根據使用者提示生成特定風格的影象

利用藝術品作為參考影象生成新的圖片

產品特色:

針對單個提示的個性化

改進文字對齊

支援多個主題和參考影象

定量和定性比較

返回頂端