連結：https://mani-wav.github.io
ManiWAV是一個研究專案，旨在透過野外的音訊和視覺資料學習機器人操控技能。它透過收集人類演示的同步音訊和視覺反饋，並透過相應的策略接口直接從演示中學習機器人操控策略。該模型展示了透過四個接觸豐富的操控任務來證明其系統的能力，這些任務需要機器人被動地感知接觸事件和模式，或主動地感知物體表面的材料和狀態。此外，該系統還能夠透過學習多樣化的野外人類演示來泛化到未見過的野外環境中。
需求人群：
- ManiWAV的目標受眾主要是機器人學和人工智慧領網網域的研究者和開發者。他們可以利用ManiWAV來提高機器人在複雜環境中的操控技能，尤其是在視覺資訊不明確或不完整的情況下，透過音訊資訊增強機器人的感知能力。
使用場景示例：
- 使用ManiWAV系統擦拭白板上的圖形
- 利用ManiWAV翻轉平底鍋中的貝果
- 使用ManiWAV將骰子從一個杯子倒入另一個杯子
- 使用ManiWAV用Velcro膠帶固定電線
產品特色：
- 透過音訊訊號提供豐富的互動和物體屬性資訊
- 使用’ear-in-hand’資料收集設備同步收集音訊和視覺反饋
- 直接從人類演示中學習機器人操控策略
- 在四個接觸豐富的操控任務中展示系統能力
- 透過多樣化的野外人類演示學習，實作對未見過環境的泛化
使用教學：
1. 安裝並設定ManiWAV資料收集設備，確保音訊和視覺反饋同步
2. 收集人類演示資料，包括接觸事件和物體表面材料的音訊訊號
3. 使用收集的資料訓練機器人操控策略
4. 在不同的野外環境中測試和驗證策略的有效性
5. 根據測試結果調整策略，以提高機器人的泛化能力
6. 將訓練好的策略應用於實際的機器人操控任務