複雑な教育環境において学生の行動を自動的に分析するうえで、人-物体インタラクション（Human-Object Interaction、HOI）認識は重要な役割を担っている。しかし、最先端（SOTA）のHOI検出器はベンチマークデータセットでは良好な性能を示すものの、実際の訓練環境に導入すると、ドメイン固有の物体、遮蔽、複雑な視覚条件などにより性能が低下することが多い。Divya Mereddy氏ら4名の著者による本研究は、こうした問題に対し、モデルを適応させる前に「どこで、なぜ誤るのか」を明らかにする診断駆動型のフレームワークを提案している。
提案手法の中心は、三元組レベルのHOIエラー分類とエラー要因帰属分析の統合である。三元組レベルのエラー分類では、「人—動作—物体」というインタラクションの三つ組を単位として、実世界の動画データにおける検出器の失敗パターンを体系的に分類する。さらにエラー要因帰属分析によって、そうした失敗の背後にある原因を追跡し、性能低下を特定・介入可能な具体的な問題へと分解する。
研究の対象となったのは、Critical Care Air Transport Team（CCATT）の複合現実（MR）を用いた医学訓練である。この場面は実世界の教育の特徴をよく備えている。訓練では多くの専門機器と特定の手順が扱われ、画面内では遮蔽が頻繁に発生し、視覚条件も複雑で、汎用ベンチマークとのドメインギャップが大きい。そのため、HOI検出器の実運用時の挙動を検証するのに適した題材となっている。
研究チームは、HOIの失敗モードとその原因を分析した結果に基づき、事前学習済みHOIモデルを対象ドメインへ適応させるための診断情報に基づく改良戦略を策定した。無差別な汎用ファインチューニングとは異なり、診断結果が適応プロセスを直接導くことで、改善策を特定されたエラー要因に的確に対応させている。
CCATTデータセットでの実験では、この診断に導かれた的を絞った改良が顕著な効果を示し、事前学習済みCDNモデルのmacro-F1スコアは48.6から90.2へと向上した。この大幅な改善は、実世界での性能のボトルネックが主にドメインシフトと特定のエラー要因に由来することを示唆しており、体系的な診断分析がモデル適応の明確な方向性を与えることを裏付けている。
著者らは、これらの結果が詳細な診断分析の価値を浮き彫りにするものだと指摘する。すなわち、単に全体的な精度の数値を示すだけでなく、実世界の教育環境におけるHOIモデルの的を絞った適応を支える情報を提供できるという点である。本論文はコンピュータビジョンとパターン認識（cs.CV）に属し、2026年6月1日にarXivへ投稿された（arXiv:2606.02789）。