RePHO：単眼動画から物理的に妥当な人-物体インタラクションを復元する
コンピュータビジョンの分野では、単眼動画から人と物体のインタラクション（HOI）を再構築する際に、長年の根本的な課題が存在する。既存手法が生成するモーションは見た目には自然であっても、実際の物理環境に置くと、物体のすり抜けや浮遊といった物理的にあり得ない現象が露呈しやすい。arXiv に投稿された論文「Recovering Physically Plausible Human-Object Interactions from Monocular Videos」は、この隔たりを埋めようとする RePHO という手法を提案している。本論文は CVPR 2026 に採択されており、著者は Dingbang Huang ほか 2 名で、2026 年 6 月 3 日に提出された。
論文によると、既存の運動学（キネマティック）ベースのインタラクション再構築手法は本質的に画像上の見かけの動きを模倣しているにすぎず、重力や接触力、衝突制約を理解していない。そのため、物体が人体にめり込む、物体が支えもなく宙に浮くといったアーティファクトが生じやすい。こうした欠陥は単純な動画再生では目立たないこともあるが、物理シミュレーションやロボット学習、バーチャルリアリティといった下流タスクに再構築結果を利用しようとすると、たちまち実用性を失ってしまう。
RePHO の中核となる考え方は「物理ガイド付き再構築フレームワーク」である。手法は二段階に分かれる。第一段階ではまず運動学的な推定結果を得て、元動画のインタラクション過程に対する初期理解とする。第二段階では、この推定を物理シミュレータに渡し、強化学習によってポリシーを訓練する。ポリシーの目的は、そのインタラクションをシミュレータ内で再現することである。つまりシステムは単に「動画に似ている」ことを目指すのではなく、物理法則に従うシミュレータ内で実際に成立するインタラクションを目指すことで、すり抜けや浮遊といった物理法則に反する現象を自動的に取り除く。
ただし著者らはこのアプローチの難しさも正直に指摘している。単眼動画からの運動学的推定には通常多大なノイズが含まれるため、そのまま単純に強化学習の訓練を行うと失敗しがちで、ポリシーが誤った動作を学習したり、まったく収束しなかったりする。訓練を成立させるため、論文では「二重自己更新メカニズム」を備えた適応的サンプリング戦略を提案している。このメカニズムは、シーケンス全体の中から情報量が最も多く信頼性の高いキーフレームを特定し、強化学習がそこから優先的に学習できるようにし、訓練の進行に応じてサンプリング結果を継続的に更新する。これにより再構築品質を反復的に向上させ、最終的に物理的に整合した HOI シーケンスを出力できる。
実験面では、著者らは 2 つの標準的な HOI ベンチマークで手法を検証し、物理的妥当性の指標において最先端手法を明確に上回る改善を達成した。これは RePHO が視覚的に許容できる再構築を保ちながら、より重要な点としてインタラクションの物理的な信頼性を大幅に改善したことを示している。
研究的な意義としては、本手法は運動学的推定と強化学習による物理的補正を組み合わせることで、単眼動画からのインタラクション再構築に拡張性のあるパラダイムを提供している。多視点カメラや高価なモーションキャプチャ装置を必要とせず、通常の動画 1 本だけから物理的に信頼できるインタラクションシーケンスを得られる可能性がある。論文はプロジェクトページ（https://dingbang777.github.io/RePHO/）も公開しており、デモや詳細を確認できる。本論文はコンピュータビジョンとパターン認識（cs.CV）分野に属し、arXiv 番号は 2606.05359 である。