Cradle框架:Cradle框架:用於控制計算機的多模態代理

Link:cradlekuangjia
Cradle框架旨在使基礎模型能夠透過與人類相同的通用介面(螢幕作為輸入,鍵盤和滑鼠操作作為輸出)執行復雜的計算機任務。該框架在Red Dead Redemption II遊戲中進行了案例研究,展示了其在複雜環境中的泛化和適應能力。

需求人群:

"適用於需要在複雜環境中執行計算機任務的研究和開發,如遊戲、軟體應用等。"

使用場景示例:

在Red Dead Redemption II遊戲中跟隨主線故事並完成實際任務

在模擬和策略遊戲中展示其靈活性和適應性

在各種軟體應用中實現與人類相似的互動和控制

產品特色:

處理多模態輸入

自我反思以重新思考過去經驗

任務推理以選擇最佳任務

技能策劃以生成和更新相關技能

行動規劃以決定鍵盤和滑鼠控制的具體操作

儲存和檢索過去經驗和已知技能

返回頂端