ストリーミング視覚言語モデル（VLM）は、指示プロンプトとオンラインの入力フレームストリームから応答を連続的に生成する、リアルタイム視覚アシスタントの基盤技術である。しかし、既存のVLM評価フレームワークは主にオフライン環境に焦点を当てており、ストリーミングモデルに特有の性能次元、例えばプロアクティブネス（応答のタイムリーさ）や一貫性（時間経過に伴う応答の頑健性）を軽視してきた。
このギャップを埋めるため、Apple機械学習研究チーム（Pavan Kumar Anasosalu Vasu、Cem Koc、Fartash Faghri、Chun-Liang Li、Bo Feng、Zhengfeng Lai、Meng Cao、Oncel Tuzel、Hadi Pouransariら）はVSAS-Benchを提案した。これはビジュアルストリーミングアシスタント向けの新しいフレームワーク兼ベンチマークである。従来のビデオベースの単一ターンQAとは異なり、VSAS-Benchは時間的に密なアノテーションを提供し、18,000以上のアノテーションポイントを多様な入力ドメイン（ビデオ、リアルタイムストリームなど）とタスクタイプ（物体検出、イベント記述、能動的質問など）にわたって備える。さらに、標準化された同期・非同期評価プロトコルを導入している。同期プロトコルはモデルに固定時間枠内での応答を要求し、非同期プロトコルは任意のタイミングでの出力を許容するため、実際のアプリケーションにより近い。また、VSAS-BenchはストリーミングVLMの異なる能力を独立して測定するための指標（プロアクティブネススコア、一貫性スコアなど）も設計している。
このフレームワークを用いて、研究チームは最近のビデオVLMおよびストリーミングVLMを大規模に評価し、メモリバッファ長、メモリアクセスポリシー、入力解像度などの主要設計要因における精度-レイテンシトレードオフを分析し、実用的な洞察を得た。例えば、メモリバッファ長を適切に増やすと一貫性が向上するが遅延が増加し、新しいフレームを優先するメモリアクセスポリシーはプロアクティブネスを改善できる。特筆すべきは、従来のVLM（例えばQwen3-VL-4B）が追加トレーニングなしでストリーミング設定に適応可能であり、単に推論時にストリーミング入力を採用するだけで良いという点である。これらの適応されたモデルは専用のストリーミングVLMを上回る性能を示した。例えば、非同期プロトコル下で、Qwen3-VL-4Bは最高のストリーミングVLMであるDispiderを3%上回った。
この研究は、ストリーミングVLMの評価基準を標準化するだけでなく、複雑なカスタマイズを必要とせずに既存モデルで優れたストリーミング性能を達成できる可能性を示している。これにより、自動運転、ロボティクス、拡張現実などの分野におけるリアルタイム視覚アシスタントの応用が加速することが期待される。