ストリーミング動画理解は、受動的な知覚から能動的な意思決定へと進化しつつある。従来の手法は「見てから答える」パラダイムに従い、明確な証拠が現れて初めて応答をトリガーする。これは能動的推論を遅延知覚に還元してしまい、部分的観測下で「いつ応答するか」を自ら判断する能力を評価できない。実際のストリーミング場面では、モデルは映像ストリームを継続的に処理し、早期予測と十分な証拠のバランスを取りながら応答タイミングを決定する必要がある。この「いつ応答するか」という意思決定問題は、「何を応答するか」よりも困難である。既存のベンチマークは証拠出現後にのみ応答をトリガーするため、不完全な観測下でのタイムリーで信頼性の高い意思決定を評価できない。
この空白を埋めるため、研究者らはStreamPro-Benchを提案した。これは知覚理解、時間推論、能動的エージェンシーという3つの相補的観点からストリーミングモデルを評価する。特に能動的エージェンシーは、部分的観測下で早期かつ信頼性の高い決定を下す能力を測定する。このベンチマークは、証拠が完全に現れる前に応答すべきか否かを判断することをモデルに要求し、真の能動的意思決定レベルを検証する。従来のベンチマークと比較して、StreamPro-Benchはリアルタイム性と正確性の両方を求める実応用に近い設計となっている。
能動的モデルの学習には2つの課題がある。ストリーミング軌跡における沈黙信号と応答信号の極端な不均衡、そして応答の正確性とタイミングの同時最適化である。そこで著者らはStreamPro二段階学習フレームワークを提案する。第一段階ではCB-Stream損失を導入し、教師ありファインチューニング（SFT）中の深刻な監督不均衡を緩和する。これにより、多数の沈黙フレームの中でも意味のある応答パターンを学習できる。第二段階ではグループ相対ポリシー最適化（GRPO）を適用し、ターンレベルと軌跡レベルの報酬を含む多粒度報酬設計により、応答の正確性とタイミングを統合的に最適化する。この二段階設計がストリーミング場面での能動的意思決定能力を効果的に高める。
実験結果はStreamProの有効性を示している。StreamPro-Benchでは41.5を記録し、従来最高の10.4を大幅に上回った。また、リアルタイムストリーミングベンチマークであるStreamingBench-RTVUでも78.9と高い性能を維持している。これらの結果は、StreamPro-Benchの難易度とStreamPro学習フレームワークの有効性を裏付けている。本研究は、ストリーミング動画理解を受動的知覚から能動的意思決定へと導く新たなベンチマークと手法を提供し、リアルタイム動画分析、インテリジェント監視、ヒューマンコンピュータインタラクションなどの応用発展に寄与することが期待される。今後は、早期予測の正確性と応答遅延のバランス、さらにはより複雑なマルチモーダル場面への能動的意思決定の拡張が今後の課題として残る。