両手行動セグメンテーションは、ビデオから左右の手の異なる動作を認識し位置特定する重要なコンピュータビジョンタスクである。既存の手法は通常、両手の動作が時間的に同期していると仮定し、左右の手の特徴を融合する際に同一の時間インデックスを使用する。しかし、実際には両手の協調的な遷移は非ゼロで時間変動する遅延を伴うことが多く、その結果、従来手法は境界位置特定と動作セグメンテーションにおいて不十分な性能を示す。
この問題に対処するため、研究チームは遅延認識型クロスハンドアライメント（Lag-Aware Cross-Hand Alignment, LACA）と呼ばれる軽量モジュールを提案した。このモジュールは、手固有の特徴ストリーム間の方向性時間オフセット分布を明示的に推定し、両手動作間の非同期関係を捉える。LACAは推定されたオフセットからクロスハンド情報を取得し、学習可能なヌル状態を導入する。互換性のあるクロスハンド遷移がサポートされない場合、このヌル状態が情報転送を抑制し、誤ったアライメントを防ぐ。アライメントは、フレームレベルの訓練アノテーションから自動的に導出された互換性認識ターゲットを使用して教師あり学習され、追加のラベルを必要としない。
実験結果はLACAモジュールの有効性を示している。HA-ViDおよびATTACHデータセットの訓練アノテーションを分析したところ、遷移アンカーの44.7％と48.9％がロバストな非ゼロクロスハンドマッチを持つことが明らかになった。比較として、時間シフトした制御群ではそれぞれ18.6％と21.3％であった。この結果は、非同期遅延をモデル化する必要性を強く示している。LACAをPolyphonyモデルに統合すると、性能が顕著に向上した。HA-ViDデータセットでは、両手平均F1@50が40.4から42.5に、境界F1が56.5から59.6に向上した。ATTACHデータセットでは、それぞれ19.9から21.8、44.7から47.9に向上した。特筆すべきは、これらの向上が約0.0086百万の追加訓練パラメータのみで達成されたことである。
さらに、研究チームは未来情報を使用しないLACA-Cも導入した。この変種はアライメントと完全な推論パイプラインを現在および過去の観測に制限し、リアルタイム知覚を可能にする。ATTACHデータセットにおいて、LACA-Cは83.6％の遷移手がかり再現率、シード平均中央値可用遅延233ミリ秒、毎分0.72の誤手がかり、セグメンテーション段階のスループット秒間224.9の現在位置予測を達成した。これらの指標は、LACA-Cが低遅延で正確な遷移検出を提供し、リアルタイムアプリケーションに適していることを示している。
結論として、LACAは明示的なクロスハンド時間アライメントにより、動作セグメンテーションと境界位置特定の両方を改善し、未来情報を必要としないタイムリーな知覚をサポートする。本手法は両手行動理解の分野に新たなアプローチを提供し、ヒューマンコンピュータインタラクションやロボット操作などの応用発展に貢献することが期待される。