X-Adapter:升級擴散模型外掛通用相容性

Link:x-adapter
X-Adapter是一個通用升級工具,可以使預訓練的外掛模組(例如ControlNet、LoRA)直接與升級的文字到影象擴散模型(例如SD-XL)配合使用,無需進一步重新訓練。透過訓練額外的網路來控制凍結的升級模型,X-Adapter保留舊模型的連線器,並新增可訓練的對映層以連線不同版本模型的解碼器進行特徵重對映。重對映的特徵將作為升級模型的引導。為了增強X-Adapter的引導能力,我們採用空文字訓練策略。在訓練後,我們還引入了兩階段去噪策略,以調整X-Adapter和升級模型的初始潛變數。X-Adapter展示了與各種外掛的通用相容性,並使不同版本的外掛能夠共同工作,從而擴充套件了擴散社區的功能。我們進行了大量實驗證明,X-Adapter可能在升級的基礎擴散模型中有更廣泛的應用。

需求人群:

"X-Adapter可用於擴散模型的升級,使不同版本的外掛能夠通用,從而擴充套件了擴散社區的功能。"

使用場景示例:

升級擴散模型SDXL使用X-Adapter外掛

使用X-Adapter外掛將預訓練的SD 1.5外掛應用於SDXL模型

X-Adapter在不同外掛和基礎模型上的展示

產品特色:

使預訓練外掛模組與升級模型相容

保留舊模型連線器

新增可訓練的對映層進行特徵重對映

引入空文字訓練策略

引入兩階段去噪策略

返回頂端