Link:webvoyager
WebVoyager是一款創新的大型多模態模型(LMM)驅動的網路代理,能夠透過與現實世界的網站互動,端到端完成使用者指令。我們提出了一種新的網路代理評估協議,以解決開放式網路代理任務的自動評估挑戰,利用GPT-4V的強大多模態理解能力。我們從15個廣泛使用的網站收集了真實世界任務,用於評估我們的代理。我們展示了WebVoyager實現了55.7%的任務成功率,明顯超過了GPT-4(所有工具)和WebVoyager(僅文字)設定的效能,突顯了WebVoyager在實際應用中的卓越能力。我們發現我們提出的自動評估與人類判斷達成了85.3%的一致性,為在真實世界環境中進一步發展網路代理鋪平了道路。
需求人群:
"WebVoyager可用於自動執行真實世界網站任務,適用於需要大規模資訊處理和互動的場景。"
使用場景示例:
自動化網頁內容更新
實時網站互動
網站任務自動執行
產品特色:
端到端完成使用者指令
與現實世界的網站互動
具有強大的多模態理解能力