模型升級

X-Adapter是一個通用升級工具，可以使預訓練的外掛模組（例如ControlNet、LoRA）直接與升級的文字到影象擴散模型（例如SD-XL）配合使用，無需進一步重新訓練。透過訓練額外的網路來控制凍結的升級模型，X-Adapter保留舊模型的連線器，並新增可訓練的對映層以連線不同版本模型的解碼器進行特徵重對映。重對映的特徵將作為升級模型的引導。為了增強X-Adapter的引導能力，我們採用空文字訓練策略。在訓練後，我們還引入了兩階段去噪策略，以調整X-Adapter和升級模型的初始潛變數。X-Adapter展示了與各種外掛的通用相容性，並使不同版本的外掛能夠共同工作，從而擴充套件了擴散社區的功能。我們進行了大量實驗證明，X-Adapter可能在升級的基礎擴散模型中有更廣泛的應用。