Light-Omni：在具有长期记忆的智能视频理解中实现反射而非推理
Light-Omni是一种多模态智能体框架，通过双上下文状态（全局状态和参数化潜在状态）实现无需迭代推理的反射式视频理解，在多个基准测试中超越M3-Agent，速度提升12.1倍，GPU内存效率提升2.6倍，并可作为现有多模态大语言模型的记忆系统。
研究人员提出了一种名为Light-Omni的新型多模态智能体框架，旨在解决智能视频理解中推理成本高昂和延迟大的问题。传统的视频智能体往往依赖“侦探式”的迭代推理来执行动作控制（如搜索操作）和证据聚合，导致计算开销和延迟难以承受。Light-Omni通过引入双上下文状态机制，在单次前向传播中即可构建所需上下文，从而实现反射式、轻量级的视频理解。
该框架包含两个核心状态：全局状态和参数化潜在状态。全局状态是一个有限大小的多模态脚本，从情景记忆中持续整合而成，通过分层合并保留最近的细节并总结过去的事件。参数化潜在状态则是在全局状态的基础上生成的，它直接驱动自主动作并产生检索嵌入，延迟极低。这种耦合设计使得Light-Omni能够实现语义对齐的检索和反射式响应，而无需依赖迭代推理。
广泛的实验验证了Light-Omni在多个视频基准测试上的有效性。值得注意的是，它相比M3-Agent取得了平均2.4%的准确率提升，同时实现了12.1倍的加速和2.6倍的GPU内存效率提升。此外，Light-Omni还可以作为记忆系统，增强现有多模态大语言模型（MLLMs）的性能和效率。研究者已将项目页面公开，提供更多细节和代码资源。