Link：instruct-imagen
Instruct-Imagen是一個多模態影象生成模型，透過引入多模態指令，實現對異構影象生成任務的處理，並在未知任務中實現泛化。該模型利用自然語言整合不同的模態（如文字、邊緣、風格、主題等），標準化豐富的生成意圖。透過在預訓練文字到影象擴散模型上進行兩階段框架的微調，採用檢索增強訓練和多樣的影象生成任務微調，使得該模型在各種影象生成資料集上的人工評估結果表明，其在領域內與先前的任務特定模型相匹配或超越，並展現出對未知和更復雜任務的有希望的泛化能力。
需求人群：
"可用於影象生成領域，特別是在需要對異構影象生成任務進行處理並實現泛化的情境中。"
使用場景示例：
在影象生成研究中，Instruct-Imagen模型在處理多模態指令下表現出色。
Instruct-Imagen在藝術創作領域展現出了強大的影象生成能力。
利用Instruct-Imagen模型，可以實現對不同領域的影象生成任務的統一處理。
產品特色：
引入多模態指令實現對異構影象生成任務的處理
利用自然語言整合不同的模態，標準化豐富的生成意圖
在預訓練文字到影象擴散模型上進行兩階段框架的微調
採用檢索增強訓練和多樣的影象生成任務微調