跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

Light-Omni:在具有長期記憶的智慧影片理解中實現反射而非推理

文章摘要

Light-Omni是一種多模態智慧體框架,透過雙上下文狀態(全域性狀態和引數化潛在狀態)實現無需迭代推理的反射式影片理解,在多個基準測試中超越M3-Agent,速度提升12.1倍,GPU記憶體效率提升2.6倍,並可作為現有多模態大語言模型的記憶系統。

來源arXiv Computer Vision作者: Chang Nie, Jiaju Wei, Junlan Feng, Chaoyou Fu, Caifeng Shan
Light-Omni:在具有長期記憶的智慧影片理解中實現反射而非推理
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

研究人員提出了一種名為Light-Omni的新型多模態智慧體框架,旨在解決智慧影片理解中推理成本高昂和延遲大的問題。傳統的影片智慧體往往依賴“偵探式”的迭代推理來執行動作控制(如搜尋操作)和證據聚合,導致計算開銷和延遲難以承受。Light-Omni透過引入雙上下文狀態機制,在單次前向傳播中即可構建所需上下文,從而實現反射式、輕量級的影片理解。

該框架包含兩個核心狀態:全域性狀態和引數化潛在狀態。全域性狀態是一個有限大小的多模態指令碼,從情景記憶中持續整合而成,透過分層合併保留最近的細節並總結過去的事件。引數化潛在狀態則是在全域性狀態的基礎上生成的,它直接驅動自主動作併產生檢索嵌入,延遲極低。這種耦合設計使得Light-Omni能夠實現語義對齊的檢索和反射式響應,而無需依賴迭代推理。

廣泛的實驗驗證了Light-Omni在多個影片基準測試上的有效性。值得注意的是,它相比M3-Agent取得了平均2.4%的準確率提升,同時實現了12.1倍的加速和2.6倍的GPU記憶體效率提升。此外,Light-Omni還可以作為記憶系統,增強現有多模態大語言模型(MLLMs)的效能和效率。研究者已將專案頁面公開,提供更多細節和程式碼資源。

展開要點與分析

文章情報

工程師進階

要點

  • Light-Omni透過雙上下文狀態設計,在單次前向傳播中構建所需上下文,避免了高昂的迭代推理。
  • 全域性狀態是一個有限大小的多模態指令碼,透過分層合併保留近期細節並總結過去事件。
  • 引數化潛在狀態直接驅動自主動作並生成檢索嵌入,實現語義對齊的檢索和反射式響應。
  • 實驗表明,Light-Omni在多個影片基準上平均準確率比M3-Agent高2.4%,速度提升12.1倍,GPU記憶體效率提升2.6倍。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。