流式視覺語言模型（VLM）是一種能夠根據指令提示和在線輸入的連續幀流持續生成響應的模型，這是實時視覺助手的核心技術。然而，現有的VLM評估框架大多聚焦於離線場景，忽略了流式模型特有的性能維度。例如，主動性和一致性——前者衡量模型響應的及時性，後者評估響應隨時間變化的魯棒性——在傳統基準中未被充分考量。
為彌補這一空白，蘋果機器學習研究團隊（包括Pavan Kumar Anasosalu Vasu、Cem Koc、Fartash Faghri、Chun-Liang Li、Bo Feng、Zhengfeng Lai、Meng Cao、Oncel Tuzel、Hadi Pouransari等）提出了VSAS-Bench，一個專為視覺流式助手設計的新框架與基準。與以往基於視頻的單輪問答評測不同，VSAS-Bench提供了時間密集的標註，涵蓋超過18,000個標註點，涉及多種輸入領域（如視頻、實時流等）和任務類型（如目標檢測、事件描述、主動提問等）。該基準還引入了標準化的同步與異步評估協議。同步協議要求模型在固定時間窗口內給出響應，異步協議則允許模型在任意時刻輸出，更貼近真實應用。此外，VSAS-Bench設計了專門的指標來隔離和測量流式VLM的不同能力，包括主動性和一致性得分。
利用VSAS-Bench，研究團隊對近期主流的視頻VLM和流式VLM進行了大規模評估，深入分析了關鍵設計因素（如內存緩衝長度、內存訪問策略和輸入分辨率）下的準確率-延遲權衡，得出了若干實用見解。例如，適當增加內存緩衝長度可以提升一致性，但會增加延遲；而合理的內存訪問策略（如優先處理新幀）可以改善主動性。值得注意的是，實驗表明，傳統VLM（如Qwen3-VL-4B）無需額外訓練即可適應流式設置，只需在推理時採用流式輸入方式即可。這些經過簡單適配的模型在性能上超越了專門的流式VLM。例如，在異步協議下，Qwen3-VL-4B模型比當前最佳的流式VLM Dispider高出3%。
這項研究不僅為流式VLM的評估提供了標準化工具，也為未來實時視覺助手的開發指明瞭方向：無需複雜定製，即可通過現有模型實現更優的流式性能。這有望加速實時視覺助手在自動駕駛、機器人、增強現實等領域的應用。