現在の視覚言語動作（VLA）ベンチマークは主に単独の操作スキルを評価しており、人間とロボットのインタラクション構造はほとんどモデル化されていません。しかし、現実世界の協調は、意図理解、時間的同期、プロトコル遵守、動的環境での安全なインタラクションを含む、共有エージェンシー下での調整を根本的に必要とします。このギャップに対処するため、研究チームは実行可能なインタラクションシナリオに基づく意図認識型の人間とロボットの協調のための診断ベンチマークである HRIBench を導入しました。
HRIBench は、協調タスクを構造化されたシナリオスクリプトとして表現し、エージェントの役割、時間的依存関係、調整制約、人間の行動分布を明示的にモデル化します。この抽象化に基づき、HRIBench は3つの代表的なインタラクション役割を定義します：指示者（Instructor）、協力者（Collaborator）、妨害者（Intruder）です。これらは意図伝達、協調調整、人間の介入下でのロバスト性をカバーします。ベンチマークには13の役割条件付きタスクが含まれ、多様なインタラクション軌跡とシーン変化から生成された650以上の評価エピソードを提供します。
二値的なタスク成功に加えて、HRIBench は同期性、応答性、プロトコル遵守、安全性にわたる解釈可能なインタラクション中心の指標を導入します。研究チームは統一プロトコルの下で GR00T、pi0.5、ACT に基づく適応ポリシーを評価しました。結果は、現在の基盤ロボットポリシーが強力な操作能力を持つにもかかわらず、協調設定で著しく苦戦し、時間調整と意図認識行動に大きな限界があることを示しています。HRIBench での微調整は一貫して協調パフォーマンスを向上させます。
実世界適応研究では、HRIBench によって生成されたシミュレーションデータが GR00T N1.5 の物理タスク成功率を0.10から0.43に向上させ、インタラクション中心のロボット学習を進めるためのベンチマークの価値を実証しました。