Light-Omni：長期的記憶を用いたエージェント型動画理解における推論を凌ぐ反射
Light-Omniは、二つの文脈状態（グローバル状態とパラメトリック潜在状態）を用いて反復推論を回避するマルチモーダルエージェントフレームワークであり、M3-Agentと比較して2.4%の精度向上、12.1倍の高速化、2.6倍のGPUメモリ効率を達成し、既存のMLLMのメモリシステムとしても機能する。
研究者らは、Light-Omniと呼ばれる新しいマルチモーダルエージェントフレームワークを提案した。このフレームワークは、知的動画理解における高い推論コストとレイテンシの問題を解決する。従来の動画エージェントは、アクション制御（例えばsearch操作）や証拠集約のために「探偵スタイル」の反復推論に依存しており、計算コストと遅延が大きかった。Light-Omniは、二重文脈状態メカニズムを導入することで、単一のフォワードパスで必要な文脈を構築し、反射的で軽量な動画理解を実現する。
このフレームワークは、グローバル状態とパラメトリック潜在状態の二つの中核状態から構成される。グローバル状態は、エピソディックメモリから継続的に統合される有限サイズのマルチモーダルスクリプトであり、階層的マージにより最近の詳細を保持しつつ過去のイベントを要約する。パラメトリック潜在状態はグローバル状態に基づいて生成され、自律的なアクションを直接駆動し、検索埋め込みを低レイテンシで生成する。この結合設計により、Light-Omniは反復推論を必要とせず、意味的に整合した検索と反射的な応答を実現する。
広範な実験により、複数の動画ベンチマークでLight-Omniの有効性が検証された。特に、M3-Agentと比較して平均2.4%の精度向上、12.1倍の高速化、2.6倍のGPUメモリ効率向上を達成した。さらに、Light-Omniは既存のマルチモーダル大規模言語モデル（MLLM）のメモリシステムとしても機能し、その性能と効率を向上させることができる。関連するプロジェクトページは公開されており、詳細な情報が提供されている。