Link：mousi
MouSi是一種多模態視覺語言模型，旨在解決當前大型視覺語言模型（VLMs）面臨的挑戰。它採用整合專家技術，將個體視覺編碼器的能力進行協同，包括影象文字匹配、OCR、影象分割等。該模型引入融合網路來統一處理來自不同視覺專家的輸出，並在影象編碼器和預訓練LLMs之間彌合差距。此外，MouSi還探索了不同的位置編碼方案，以有效解決位置編碼浪費和長度限制的問題。實驗結果表明，具有多個專家的VLMs表現出比孤立的視覺編碼器更出色的效能，並隨著整合更多專家而獲得顯著的效能提升。
需求人群：
"MouSi可用於影象和文字之間的匹配、文字識別、影象分割以及解決位置編碼問題。"
使用場景示例：
MouSi在人工智慧研究中被用於影象文字匹配。
一家設計公司使用MouSi進行影象分割和處理。
MouSi在學術界被應用於文字識別和位置編碼研究。
產品特色：
影象文字匹配
OCR
影象分割
位置編碼