AnyDoor :基於擴散的影象生成器

Link:https://damo-vilab.github.io/AnyDoor-Page/
AnyDoor 是一種基於擴散的影象生成器,可以在使用者指定的位置將目標對象以和諧的方式傳送到新場景中。我們的模型只需要訓練一次,就可以輕鬆推廣到不同的對象和場景組閤中,無需為每個對象調整引數。為了充分描述某個特定對象,我們除了使用常用的身份特徵外,還補充了細節特徵,這些特徵經過精心設計,既能保持紋理細節,又能允許多樣的區域性變化(如光照、方向、姿勢等),從而使對象與不同的環境更好地融合。我們還提出從影片資料集中借用知識的方法,在影片資料集中可以觀察到同一對象的各種形態(沿時間軸),從而增強模型的泛化能力和魯棒性。大量實驗證明瞭我們方法的優越性,以及它在虛擬試穿和物體移動等實際應用中的巨大潛力。

需求人群:

“虛擬試穿、物體移動”

使用場景示例:

在虛擬試穿應用中,使用者可以將選定的衣物快速定製到自己的照片中。

在物體移動應用中,使用者可以將目標物體從一張照片移動到另一張照片中的指定位置。

在設計領域中,使用者可以將自己設計的傢俱或裝飾品定製到不同的室內場景中,以獲得更直觀的效果預覽。

產品特色:

將目標對象傳送到新場景中

訓練一次,推廣到不同的對象和場景組閤中

細節特徵保持紋理細節,允許多樣的區域性變化

借用影片資料集的知識,增強模型的泛化能力和魯棒性

返回頂端