Light-Omni：在具有長期記憶的智慧影片理解中實現反射而非推理
Light-Omni是一種多模態智慧體框架，透過雙上下文狀態（全域性狀態和引數化潛在狀態）實現無需迭代推理的反射式影片理解，在多個基準測試中超越M3-Agent，速度提升12.1倍，GPU記憶體效率提升2.6倍，並可作為現有多模態大語言模型的記憶系統。
研究人員提出了一種名為Light-Omni的新型多模態智慧體框架，旨在解決智慧影片理解中推理成本高昂和延遲大的問題。傳統的影片智慧體往往依賴“偵探式”的迭代推理來執行動作控制（如搜尋操作）和證據聚合，導致計算開銷和延遲難以承受。Light-Omni透過引入雙上下文狀態機制，在單次前向傳播中即可構建所需上下文，從而實現反射式、輕量級的影片理解。
該框架包含兩個核心狀態：全域性狀態和引數化潛在狀態。全域性狀態是一個有限大小的多模態指令碼，從情景記憶中持續整合而成，透過分層合併保留最近的細節並總結過去的事件。引數化潛在狀態則是在全域性狀態的基礎上生成的，它直接驅動自主動作併產生檢索嵌入，延遲極低。這種耦合設計使得Light-Omni能夠實現語義對齊的檢索和反射式響應，而無需依賴迭代推理。
廣泛的實驗驗證了Light-Omni在多個影片基準測試上的有效性。值得注意的是，它相比M3-Agent取得了平均2.4%的準確率提升，同時實現了12.1倍的加速和2.6倍的GPU記憶體效率提升。此外，Light-Omni還可以作為記憶系統，增強現有多模態大語言模型（MLLMs）的效能和效率。研究者已將專案頁面公開，提供更多細節和程式碼資源。