Link：rpg-diffusionmaster
RPG-DiffusionMaster是一個全新的無需訓練的文字到影象生成/編輯框架，利用多模態LLM的鏈式推理能力增強文字到影象擴散模型的組合性。該框架採用MLLM作為全域性規劃器，將複雜影象生成過程分解為多個子區域內的簡單生成任務。同時提出了互補的區域擴散以實現區域化的組合生成。此外，在提出的RPG框架中閉環地整合了文字引導的影象生成和編輯，從而增強了泛化能力。大量實驗證明，RPG-DiffusionMaster在多類別對象組合和文字-影象語義對齊方面優於DALL-E 3和SDXL等最先進的文字到影象擴散模型。特別地，RPG框架與各種MLLM架構（例如MiniGPT-4）和擴散骨幹（例如ControlNet）相容性廣泛。
需求人群：
"RPG-DiffusionMaster可用於文字到影象生成和編輯，特別擅長處理複雜的文字提示和多對象多屬性關係。"
使用場景示例：
使用RPG-DiffusionMaster生成包含多個對象的影象
利用RPG-DiffusionMaster編輯影象以實現文字語義對齊
採用RPG-DiffusionMaster進行文字到影象生成的實驗
產品特色：
利用多模態LLM進行全域性規劃
將複雜影象生成過程分解為簡單生成任務
實現區域化的組合生成
閉環整合文字引導的影象生成和編輯
提高泛化能力
優於其他文字到影象擴散模型