Light-Omni：在具有長期記憶的智能視頻理解中實現反射而非推理
Light-Omni是一種多模態智能體框架，通過雙上下文狀態（全局狀態和參數化潛在狀態）實現無需迭代推理的反射式視頻理解，在多個基準測試中超越M3-Agent，速度提升12.1倍，GPU內存效率提升2.6倍，並可作為現有多模態大語言模型的記憶系統。
研究人員提出了一種名為Light-Omni的新型多模態智能體框架，旨在解決智能視頻理解中推理成本高昂和延遲大的問題。傳統的視頻智能體往往依賴“偵探式”的迭代推理來執行動作控制（如搜索操作）和證據聚合，導致計算開銷和延遲難以承受。Light-Omni通過引入雙上下文狀態機制，在單次前向傳播中即可構建所需上下文，從而實現反射式、輕量級的視頻理解。
該框架包含兩個核心狀態：全局狀態和參數化潛在狀態。全局狀態是一個有限大小的多模態腳本，從情景記憶中持續整合而成，通過分層合併保留最近的細節並總結過去的事件。參數化潛在狀態則是在全局狀態的基礎上生成的，它直接驅動自主動作併產生檢索嵌入，延遲極低。這種耦合設計使得Light-Omni能夠實現語義對齊的檢索和反射式響應，而無需依賴迭代推理。
廣泛的實驗驗證了Light-Omni在多個視頻基準測試上的有效性。值得注意的是，它相比M3-Agent取得了平均2.4%的準確率提升，同時實現了12.1倍的加速和2.6倍的GPU內存效率提升。此外，Light-Omni還可以作為記憶系統，增強現有多模態大語言模型（MLLMs）的性能和效率。研究者已將項目頁面公開，提供更多細節和代碼資源。