Link：webvoyager
WebVoyager是一款創新的大型多模態模型（LMM）驅動的網路代理，能夠透過與現實世界的網站互動，端到端完成使用者指令。我們提出了一種新的網路代理評估協議，以解決開放式網路代理任務的自動評估挑戰，利用GPT-4V的強大多模態理解能力。我們從15個廣泛使用的網站收集了真實世界任務，用於評估我們的代理。我們展示了WebVoyager實現了55.7%的任務成功率，明顯超過了GPT-4（所有工具）和WebVoyager（僅文字）設定的效能，突顯了WebVoyager在實際應用中的卓越能力。我們發現我們提出的自動評估與人類判斷達成了85.3%的一致性，為在真實世界環境中進一步發展網路代理鋪平了道路。
需求人群：
"WebVoyager可用於自動執行真實世界網站任務，適用於需要大規模資訊處理和互動的場景。"
使用場景示例：
自動化網頁內容更新
實時網站互動
網站任務自動執行
產品特色：
端到端完成使用者指令
與現實世界的網站互動
具有強大的多模態理解能力