Link：https://umi-gripper.github.io
通用操作介面(UMI)是一個資料收集和策略學習框架,允許直接將現場人類演示中的技能轉移到可部署的機器人策略。UMI採用手持夾具與仔細的介面設計相結合,實現便攜、低成本和資訊豐富的資料收集,用於挑戰性的雙手和動態操作演示。為促進可部署的策略學習,UMI結合了精心設計的策略介面,具有推理時延遲匹配和相對軌跡動作表示。從而產生的學習策略與硬體無關,並且可以在多個機器人平臺上部署。配備這些功能,UMI框架解鎖了新的機器人操作功能,僅透過為每個任務更改訓練資料,允許泛化的動態、雙手、精確和長時間的行為,從而實現零次調整。我們透過全面的真實環境實驗演示了UMI的通用性和有效性,其中僅透過使用各種人類演示進行訓練的UMI策略,在面對新環境和對象時實現了零次調整的泛化。
需求人群：
- 機器人技能學習
- 帶外部感測器的手持裝置
- 人機互動介面設計
使用場景示例：
- 利用UMI進行各種日常動作的收集,如拋球、疊衣服、洗碗等
- 無需標定,直接在不同機器人平臺上部署訓練好的策略
- 採用CLIP預訓練的ViT作為視覺編碼器,使策略對變化更具反應性
產品特色：
- 行動式資料收集,2分鐘內啟動
- 相機主導的動作表示,無需標定,健壯性強
- 快速資料收集,每次演示30秒
- 零次調整泛化,可在新環境中部署