Stable Diffusion 3是stability公司推出的新一代文字到影象生成AI模型,相比早期版本在多主體提示、影象質量和拼寫能力等方面都有了極大提升。該模型採用了diffusion transformer架構和flow matching技術,引數量範圍從800M到8B不等,提供了從個人使用者到企業客戶多種部署方案。主要功能包括:高質量圖片生成、支援多主體、拼寫錯誤糾正等。典型應用場景有:數字藝術創作、圖片編輯、遊戲和電影製作等。相比早期版本,該AI助手具有更強大的理解和創作能力,是新一代安全、開放、普惠的生成式AI典範。
ELLA（Efficient Large Language Model Adapter）是一種輕量級方法，可將現有的基於CLIP的擴散模型配備強大的LLM。ELLA提高了模型的提示跟隨能力，使文字到影象模型能夠理解長文字。我們設計了一個時間感知語義連線器，從預訓練的LLM中提取各種去噪階段的時間步驟相關條件。我們的TSC動態地適應了不同取樣時間步的語義特徵，有助於在不同的語義層次上對U-Net進行凍結。ELLA在DPG-Bench等基準測試中表現優越，尤其在涉及多個對象組合、不同屬性和關係的密集提示方面表現出色。
NeutronField是一款AI文字到影象生成工具，透過輸入文字描述，即可生成對應的影象。它具有穩定的擴散演算法，能夠生成高質量的影象作品。NeutronField的主要功能包括根據文字生成影象、展示AI文字到影象的作品、購買和出售AI文字到影象的作品等。它的優勢在於能夠快速生成多樣化的影象作品，滿足使用者的個性化需求。NeutronField的定價根據作品的複雜程度和獨特性而定，使用者可以根據自己的需求選擇合適的作品進行購買。NeutronField定位於為使用者提供便捷、高效的AI文字到影象生成服務。
SPRIGHT是一個專注於空間關係的大規模視覺語言資料集和模型。它透過重新描述600萬張影象構建了SPRIGHT資料集，顯著增加了描述中的空間短語。該模型在444張包含大量物體的影象上進行微調訓練，從而最佳化生成具有空間關係的影象。SPRIGHT在多個基準測試中實現了空間一致性的最新水平，同時提高了影象質量評分。