連結：https://github.com/lllyasviel/Omost
Omost是一個旨在將大型語言模型(LLM)的編碼能力轉化為影象生成（更準確地說是影象組合）能力的專案。它提供了基於Llama3和Phi3變體的預訓練LLM模型，這些模型能夠編寫程式碼以使用Omost的虛擬Canvas代理來組合影象視覺內容。Canvas可以由特定的影象生成器實作來實際生成影象。Omost專案背後的技術包括Direct Preference Optimization (DPO)和OpenAI GPT4o的多模態能力。
需求人群：
Omost的目標受眾主要是對人工智慧影象生成技術感興趣的開發者、研究者和藝術家。它適合那些希望探索和實作創意影象概念，但可能不具備相應技術背景或資源來從頭開始開發影象生成系統的人。
使用場景示例：
- 藝術家使用Omost根據文本描述生成獨特的藝術作品。
- 遊戲開發者利用Omost快速生成遊戲內的概念藝術和環境背景。
- 市場行銷團隊使用Omost建立吸引人的廣告影象和社交媒體文章。
產品特色：
- 支援多種資料混合訓練，包括Open-Images等公開資料集的地面真實註釋。
- 提供3種基於Llama3和Phi3的預訓練LLM模型。
- Canvas代理能夠渲染影象生成器特定的實作來實際生成影象。
- 支援Conversational Editing，允許使用者與模型進行對話以生成影象。
- 使用者可以透過HuggingFace空間或自行部署來使用Omost。
- 提供了詳細的API文檔和示例程式碼，方便開發者和研究者使用。