ManiWAV:學習野外音訊視覺資料的機器人操控

ManiWAV是一個研究專案,旨在透過野外的音訊和視覺資料學習機器人操控技能。它透過收集人類演示的同步音訊和視覺反饋,並透過相應的策略接口直接從演示中學習機器人操控策略。該模型展示了透過四個接觸豐富的操控任務來證明其系統的能力,這些任務需要機器人被動地感知接觸事件和模式,或主動地感知物體表面的材料和狀態。