Link：freecontrol
FreeControl是一個無需訓練就可以實現對文字到影象生成過程的可控制的方法。它支援對多種條件、架構和檢查點的同時控制。FreeControl透過結構指導實現與指導影象的結構對齊,透過外觀指導實現使用相同種子的生成影象之間的外觀共享。FreeControl包含分析階段和合成階段。在分析階段,FreeControl查詢文字到影象模型生成少量種子影象,然後從生成的影象構建線性特徵子空間。在合成階段,FreeControl在子空間中運用指導實現與指導影象的結構對齊,以及使用與不使用控制的生成影象之間的外觀對齊。
需求人群：
["控制文字到影象生成過程","改進文字到影象生成的質量","實現對生成影象的空間控制"]
使用場景示例：
使用FreeControl方法控制DALL-E生成包含特定物體和佈局的影象
結合CLIP模型使用FreeControl精確控制影象生成過程
運用FreeControl實現對Stable Diffusion生成影象位置和樣式的精細控制
產品特色：
支援對多種條件、架構和檢查點的同時控制
結構指導實現與指導影象的結構對齊
外觀指導實現使用相同種子的生成影象之間的外觀共享
包含分析階段和合成階段