从人类第一人称演示中学习机器人灵巧操作，一直被视为降低数据采集门槛的重要路径。然而现实中的第一人称 RGB-D 视频虽然丰富，却往往缺失物体位姿、几何形状与接触信息，或者必须依赖预先扫描的物体资产才能使用，这使它们在机器人学习中的可用性大打折扣。针对这一问题，论文《EgoAERO: Learning Dexterous Manipulation from a Single Egocentric Video without Object Assets》提出了一个新框架，宣称是首个无需物体资产、仅从单段第一人称 RGB-D 人类演示中学习灵巧操作的方法。
EgoAERO 的核心思路是：不依赖任何 CAD 模型或预扫描资产，直接从视频中重建出接触一致的手-物交互轨迹。为此，该框架结合了三项关键技术：一是无资产的物体跟踪与重建，在缺少先验几何的情况下恢复物体的运动与形状；二是自我运动补偿，消除佩戴相机的人体自身运动带来的视角干扰；三是自适应接触优化，确保重建的手部与物体在接触点上保持物理一致。经过这一流程，原始视频被转化为可用于机器人学习的高质量轨迹数据。
在得到人类演示轨迹之后，EgoAERO 使用两阶段残差学习将其转换为机器人策略。这种设计让机器人能够从人类动作中学习灵巧操作技能，而无需在仿真中手工设计复杂的奖励函数或进行大规模强化学习。此外，研究团队还引入了在线质量评估机制，用于在数据生成和策略学习过程中自动筛选高质量样本，从而提升整体学习效率与稳定性。
为了支撑更大规模的灵巧策略学习，作者构建了 EgoDex-R 数据集，这是一个包含 430 万 RGB-D 帧的大规模第一人称数据集。该数据集为社区提供了丰富的人类灵巧操作演示资源，有望缓解该领域长期存在的数据瓶颈。
在实验方面，论文报告了仿真与真实世界环境下的结果。EgoAERO 能够实现单次演示即可学会灵巧操作，并在 HOI4D 基准上取得接近基于 CAD 重建方法的下游性能。这一结果意味着，在不使用任何物体资产的条件下，该方法已经能够逼近依赖精确物体模型的传统流程。论文提交于 2026 年 6 月 6 日，作者为 Yichen Niu 等共 15 人，研究主题属于机器人学（cs.RO），并与人工智能（cs.AI）交叉。