近日，一項名為BifrostUMI的研究提出了一種創新的人形機器人數據採集框架，旨在解決傳統機器人遙操作數據採集方法中硬件可及性有限、操作效率低下的問題。該研究深受通用操作界面（UMI）的啓發，開發出一套便攜、高效且無需物理機器人的解決方案。傳統方法需要昂貴且複雜的機器人硬件，限制了數據獲取的規模和多樣性。BifrostUMI通過引入消費者級VR設備，大幅降低了數據採集的門檻。
BifrostUMI的核心在於利用輕量級VR設備捕捉人類的自然演示行為。具體而言，研究人員通過VR頭顯和手柄記錄操作者的手部及手臂關鍵點軌跡，同時採集腕部攝像頭的視覺信息。這些多模態數據隨後被用於訓練一個高級策略網絡，該網絡能夠根據當前視覺特徵預測未來的關鍵點軌跡。這一過程使得系統能夠學習人類操作中的意圖和技巧，而不僅僅是錄製和回放。
為了將人類演示遷移到人形機器人上，BifrostUMI設計了一個穩健的關鍵點重新定位管道，將採集的關鍵點軌跡精確映射到機器人的關節空間。這一管道考慮了人體與機器人形態上的差異，自動調整關節角度和姿態。最終，通過全身控制器執行這些軌跡，使機器人能夠復現人類靈活的動作，如抓取、放置和移動。研究團隊在兩個不同的實驗場景中測試了該框架：桌面精細操作和移動導航操作。結果表明，BifrostUMI能夠有效遷移多種敏捷行為，且無需為每個新任務重新訓練模型。
這一工作為人形機器人的技能學習提供了新的數據採集範式，有望大幅降低數據獲取的門檻，推動人形機器人在服務、製造、醫療等領域的實際應用。未來的研究方向包括進一步優化關鍵點重定向的精度，以及擴展至更復雜的全身協調任務。