Link：differential-diffusion
Differential Diffusion是一個影象生成和編輯的平臺,可以根據文字提示以及指定每個區域變化量的地圖來修改圖片。它能夠為每個畫素或影象區域提供定製化的變化量控制。這種細粒度的變化量控制為各種新的編輯能力開啟 開啟 打開了大門,例如控制個別對象被修改的程度,或者引入漸變的空間變化等。此外,該平臺展示了該框架在影象補全領域的有效性,即在無縫融合新的內容時微調周邊區域。它還提供了探索不同變化量效果的新工具。該框架僅在推理時執行,不需要模型訓練或微調。展示了它與當前最先進的開源模型的整合效果,並透過定量、定性比較和使用者研究進行了驗證。
需求人群：
["- 生成和編輯影象"," – 創意影象編輯"," – 影象修復"," – 影象增強"," – 藝術創作"," – 媒體內容創作"]
使用場景示例：
示例1:根據文字提示’樹木生命在海底’以及變化量地圖編輯輸入影象
示例2:根據文字提示’競速遊戲’以及變化量地圖discrete編輯輸入影象
示例3:根據文字提示’夢之世界’以及變化量地圖連續編輯輸入影象
示例4:整合Stable Diffusion XL模型,根據文字提示’羊毛’以及變化量地圖編輯輸入影象
產品特色：
– 根據文字提示編輯影象
– 為每個區域指定變化量
– 控制個體對象變化程度
– 引入漸變的空間變化
– 影象無縫補全
– 探索不同變化量效果的工具