RPG-DiffusionMaster:文字到影象生成/編輯框架
RPG-DiffusionMaster是一個全新的無需訓練的文字到影象生成/編輯框架,利用多模態LLM的鏈式推理能力增強文字到影象擴散模型的組合性。該框架採用MLLM作為全域性規劃器,將複雜影象生成過程分解為多個子區域內的簡單生成任務。同時提出了互補的區域擴散以實現區域化的組合生成。此外,在提出的RPG框架中閉環地整合了文字引導的影象生成和編輯,從而增強了泛化能力。大量實驗證明,RPG-DiffusionMaster在多類別對象組合和文字-影象語義對齊方面優於DALL-E 3和SDXL等最先進的文字到影象擴散模型。特別地,RPG框架與各種MLLM架構(例如MiniGPT-4)和擴散骨幹(例如ControlNet)相容性廣泛。