近日，一項名為BifrostUMI的研究提出了一種創新的人形機器人資料採集框架，旨在解決傳統機器人遙運算元據採集方法中硬體可及性有限、操作效率低下的問題。該研究深受通用操作介面（UMI）的啟發，開發出一套便攜、高效且無需物理機器人的解決方案。傳統方法需要昂貴且複雜的機器人硬體，限制了資料獲取的規模和多樣性。BifrostUMI透過引入消費者級VR裝置，大幅降低了資料採集的門檻。
BifrostUMI的核心在於利用輕量級VR裝置捕捉人類的自然演示行為。具體而言，研究人員透過VR頭顯和手柄記錄操作者的手部及手臂關鍵點軌跡，同時採集腕部攝像頭的視覺資訊。這些多模態資料隨後被用於訓練一個高階策略網路，該網路能夠根據當前視覺特徵預測未來的關鍵點軌跡。這一過程使得系統能夠學習人類操作中的意圖和技巧，而不僅僅是錄製和回放。
為了將人類演示遷移到人形機器人上，BifrostUMI設計了一個穩健的關鍵點重新定位管道，將採集的關鍵點軌跡精確對映到機器人的關節空間。這一管道考慮了人體與機器人形態上的差異，自動調整關節角度和姿態。最終，透過全身控制器執行這些軌跡，使機器人能夠復現人類靈活的動作，如抓取、放置和移動。研究團隊在兩個不同的實驗場景中測試了該框架：桌面精細操作和移動導航操作。結果表明，BifrostUMI能夠有效遷移多種敏捷行為，且無需為每個新任務重新訓練模型。
這一工作為人形機器人的技能學習提供了新的資料採集正規化，有望大幅降低資料獲取的門檻，推動人形機器人在服務、製造、醫療等領域的實際應用。未來的研究方向包括進一步最佳化關鍵點重定向的精度，以及擴充套件至更復雜的全身協調任務。