近日，一项名为BifrostUMI的研究提出了一种创新的人形机器人数据采集框架，旨在解决传统机器人遥操作数据采集方法中硬件可及性有限、操作效率低下的问题。该研究深受通用操作界面（UMI）的启发，开发出一套便携、高效且无需物理机器人的解决方案。传统方法需要昂贵且复杂的机器人硬件，限制了数据获取的规模和多样性。BifrostUMI通过引入消费者级VR设备，大幅降低了数据采集的门槛。
BifrostUMI的核心在于利用轻量级VR设备捕捉人类的自然演示行为。具体而言，研究人员通过VR头显和手柄记录操作者的手部及手臂关键点轨迹，同时采集腕部摄像头的视觉信息。这些多模态数据随后被用于训练一个高级策略网络，该网络能够根据当前视觉特征预测未来的关键点轨迹。这一过程使得系统能够学习人类操作中的意图和技巧，而不仅仅是录制和回放。
为了将人类演示迁移到人形机器人上，BifrostUMI设计了一个稳健的关键点重新定位管道，将采集的关键点轨迹精确映射到机器人的关节空间。这一管道考虑了人体与机器人形态上的差异，自动调整关节角度和姿态。最终，通过全身控制器执行这些轨迹，使机器人能够复现人类灵活的动作，如抓取、放置和移动。研究团队在两个不同的实验场景中测试了该框架：桌面精细操作和移动导航操作。结果表明，BifrostUMI能够有效迁移多种敏捷行为，且无需为每个新任务重新训练模型。
这一工作为人形机器人的技能学习提供了新的数据采集范式，有望大幅降低数据获取的门槛，推动人形机器人在服务、制造、医疗等领域的实际应用。未来的研究方向包括进一步优化关键点重定向的精度，以及扩展至更复杂的全身协调任务。