Link：orthogonal-finetuning-oft-
Controlling Text-to-Image Diffusion研究瞭如何有效引導或控制強大的文字到影象生成模型進行各種下游任務。提出了正交微調(OFT)方法,可以保持模型的生成能力。OFT可以保持神經元之間的超球面能量不變,防止模型坍塌。作者考慮了兩種重要的微調任務:主體驅動生成和可控生成。結果表明,OFT方法在生成質量和收斂速度上優於現有方法。
需求人群：
["文字到影象生成","影象合成","條件影象生成"]
使用場景示例：
使用少量樣本微調DALL-E,生成指定主題的影象
結合文字、參考圖和控制訊號,生成高質量、可控的影象
避免微調過程中模型生成能力的退化
產品特色：
保持神經元之間的超球面能量不變
防止文字到影象模型的生成能力下降或模型坍塌
實現主體驅動的影象生成
實現可控的影象生成