連結:https://rank.opencompass.org.cn/leaderboard-multimodal
OpenCompass多模態排行榜是一個實時更新的平臺,用於評估和排名不同的多模態模型(VLMs)。它透過8個多模態基準測試來計算模型的平均得分,並提供詳細的效能資料。該平臺僅包含開源的VLMs或公開可用的APIs,旨在幫助研究人員和開發者瞭解當前多模態模型的最新進展和效能表現。
需求人群:
- 該排行榜適合人工智慧領網網域的研究人員、開發者和企業決策者,因為它提供了一個透明和公正的平臺來評估和比較不同多模態模型的效能。這有助於他們選擇最適合自己專案需求的模型,或者瞭解行業趨勢和發展方向。
使用場景示例:
- 研究人員使用排行榜來比較不同模型在特定任務上的表現
- 開發者利用排行榜資料來選擇適合其應用場景的模型
- 企業決策者參考排行榜來制定技術採購或研發策略
產品特色:
提供多模態模型的實時排名和效能資料
- 支援透過建立PR在VLMEvalKit中新增新模型
- 包含8個多模態基準測試的效能評估
- 提供詳細的模型效能報告,包括各項基準測試的得分
- 允許使用者透過聯絡信箱opencompass@pjlab.org.cn獲取幫助和支援
使用教學:
- 訪問OpenCompass多模態排行榜網站
- 檢視當前的多模態模型排名和效能資料
- 透過點選感興趣的模型,獲取更詳細的效能報告
- 如果需要新增新模型,可以訪問VLMEvalKit並建立PR
- 透過排行榜提供的聯絡方式獲取進一步的幫助和支援