RePHO：从单目视频恢复物理合理的人-物交互
在计算机视觉领域，从单目视频中重建人-物交互（Human-Object Interaction, HOI）长期面临一个核心矛盾：模型生成的动画在视觉上看似自然，但当被放入真实物理环境时，却常常暴露出穿透、物体悬空等物理上不可能的现象。来自 arXiv 的最新论文《Recovering Physically Plausible Human-Object Interactions from Monocular Videos》提出了名为 RePHO 的方法，试图弥合这一差距。该论文已被 CVPR 2026 接收，作者为 Dingbang Huang 及另外两位合作者，提交于 2026 年 6 月 3 日。
论文指出，现有的基于运动学（kinematic）的交互重建方法本质上是在模仿图像中的表观运动，它并不理解重力、接触力和碰撞约束，因此生成的序列容易出现物体穿入人体、物体悬浮于空中而不受支撑等伪影（artifacts）。这些瑕疵在单纯的视频回放中可能不易察觉，但一旦把重建结果用于物理仿真、机器人学习或虚拟现实等下游任务，就会立刻失去可用性。
RePHO 的核心思路是“物理引导的重建框架”。方法分为两个阶段。第一阶段先得到一个运动学估计，作为对原始视频交互过程的初始理解；第二阶段则把这一估计交给物理仿真器，借助强化学习训练一个策略（policy），目标是让策略在仿真环境中复现出这段交互。换言之，系统不再仅仅追求“看起来像视频”，而是要让交互在受物理规则约束的仿真器里真实可行，从而自动消除穿透与悬浮等违背物理规律的现象。
不过，作者也坦诚地指出了这一思路的难点：来自单目视频的运动学估计通常含有大量噪声，直接在这样的数据上做朴素强化学习训练往往会失败——策略会学到错误的动作，甚至完全无法收敛。为了让训练可行，论文提出了一种带有“双重自更新机制”的自适应采样策略。该机制的作用是在整段序列中识别出那些重建信息最丰富、最可靠的关键帧，让强化学习优先从这些高质量帧中学习，并随着训练过程不断更新采样结果。这样一来，重建质量能够在迭代中逐步提升，最终输出在物理上一致的 HOI 序列。
在实验方面，作者在两个标准的 HOI 基准数据集上验证了该方法，并在物理合理性指标上相较当前最先进的方法取得了明显提升。这说明 RePHO 不仅在视觉上保持了可接受的交互重建效果，更重要的是显著改善了交互在物理层面上的可信度。
从研究价值上看，这项工作把运动学估计与强化学习驱动的物理修正结合起来，为单目视频交互重建提供了一种可扩展的范式：不依赖多视角相机或昂贵的动作捕捉设备，仅凭一段普通视频就有望得到物理可信的交互序列。论文还公开了项目主页（https://dingbang777.github.io/RePHO/），供读者查看演示与更多细节。该论文属于计算机视觉与模式识别（cs.CV）方向，arXiv 编号为 2606.05359。