在複雜教育環境中，自動分析學生行為對於評估學習效果和優化教學策略具有重要意義。人-物交互（HOI）識別技術能夠檢測學生與教學工具、設備之間的互動，從而提供行為洞察。然而，儘管最先進的HOI檢測器在標準基準數據集上表現出色，當應用於真實世界訓練場景時，其性能往往大幅下降。這一現象歸因於領域特定物體、嚴重遮擋以及多變的光照和視角條件。
為了解決這一問題，研究人員提出了一種診斷驅動的框架，該框架結合了三元組級HOI錯誤分類與誤差因素歸因分析。三元組級錯誤分類將HOI檢測錯誤細分為三個維度：物體識別錯誤、交互識別錯誤以及兩者組合錯誤。誤差因素歸因則進一步分析導致這些錯誤的具體原因，例如物體尺度、遮擋程度、運動模糊等。該框架在重症監護空運團隊（CCATT）混合現實醫學訓練數據集上進行了驗證。CCATT訓練場景涉及大量醫療設備操作，對HOI檢測的準確性要求極高。
基於對HOI失敗模式的深入分析，研究團隊開發了一種診斷導向的優化策略。該策略通過識別目標領域的關鍵誤差因素，對預訓練的HOI模型（如CDN模型）進行針對性微調，而非簡單地在通用數據上重新訓練。實驗結果表明，通過這種診斷引導的優化方法，預訓練CDN模型在CCATT數據集上的宏F1分數從48.6大幅提升至90.2，性能接近甚至超越完全在目標領域訓練的新模型。
這項研究的重要意義在於，它不僅提供了一種提升HOI檢測器在真實教育環境中魯棒性的實用方法，更強調了診斷分析在模型適應過程中的核心作用。未來，該框架可擴展至更多教育場景，如課堂互動分析、實驗室安全監控等，為智能教育系統的開發提供技術支持。