LMSYS Org 是一個組織，旨在使大型模型及其系統基礎設施的技術民主化。他們開發了 Vicuna 聊天機器人，其在 7B/13B/33B 規模下可以印象 GPT-4，實現了 90% ChatGPT 質量。同時，還提供 Chatbot Arena 以眾包和 Elo 評級系統進行大規模、遊戲化評估 LLMs。SGLang 提供了複雜 LLM 程式的高效介面和執行時環境。LMSYS-Chat-1M 是一個大規模真實世界 LLM 對話資料集。FastChat 是一個用於訓練、提供服務和評估基於 LLM 的聊天機器人的開放平臺。MT-Bench 是一個用於評估聊天機器人的一組具有挑戰性、多回合、開放式問題。
Link：https://lmsys.org
需求人群：
- 用於開發大型模型和系統，提供高質量聊天機器人，進行大規模評估和提供實用資料集。
使用場景示例：
- 用 Vicuna 開發了一個高質量的聊天機器人應用
- 在 Chatbot Arena 上進行了 LLMs 的評估比賽
- 使用 FastChat 進行了聊天機器人的訓練和服務
產品特色：
- 開發大型模型和系統
- 提供高質量聊天機器人
- 進行大規模評估
- 提供實用資料集
- 開發高效介面和執行時環境