GenVid2Robot：通过刚体几何一致性从视频生成到机器人操作
GenVid2Robot 提出了一种刚体几何一致性框架，将生成的视频运动转化为可执行的机器人操作轨迹。通过从真实第一帧采样语义锚点并在生成视频中跟踪，利用稀疏相对SE(3)模型验证几何一致性，仅将一致的运动传递给机器人，并结合有界深度补偿模块减少执行误差，从而显著提升生成视频引导的机器人操作的可靠性。
生成视频为机器人操作提供了有用的视觉运动先验，但视觉上的合理性并不等同于物理上的可执行性。生成的视频通常缺乏度量几何、抓取接地、机器人运动学可行性以及执行时的反馈，这使得在真实世界中直接回放轨迹变得不可靠。为解决这一问题，研究人员提出了GenVid2Robot，这是一个刚体几何一致性框架，能够将生成的视频运动转化为可执行的真实机器人操作轨迹。
给定初始的RGB-D观测和任务指令，GenVid2Robot从真实第一帧中采样与任务相关的语义锚点，并在生成的视频候选序列中跟踪这些锚点。随后，通过一个稀疏的相对SE(3)模型，验证所得的2D运动是否能够由第一帧的RGB-D锚点解释。通过这种方式，生成的视频被视为不确定的视觉运动假设，而非直接的机器人演示。只有几何一致的运动才会被传输给机器人。
接收到的相对运动随后被应用于由掩码约束抓取选择的真实抓取时间TCP位姿，从而生成一个抓取条件的执行轨迹，该轨迹既与视觉运动先验一致，也与物理抓取配置一致。为了减少由RGB-D噪声、校准残差以及接触引起的小位移导致的执行偏差，系统引入了一个有界深度补偿模块，能够在不需要完全在线重新规划的情况下，纠正局部深度方向误差。
真实机器人实验表明，GenVid2Robot通过将视觉运动先验与稀疏度量几何、抓取约束、机器人可行性检查以及有界执行反馈相结合，显著提高了生成视频引导的操作的可靠性。该框架为利用生成模型指导机器人操作提供了一种新的思路，有望在复杂操作任务中得到广泛应用。该方法由Haohui Huang等人在2026年7月10日提交至arXiv，预印本编号为2607.09191，属于机器人学和机器学习领域。