標準的な視覚言語モデル（VLM）はモラベックのパラドックスに悩まされています。複雑なオフライン視覚推論には優れている一方で、単純なストリーミング認識タスクでは苦戦し、処理が非効率的です。この矛盾は、従来のVLMが均一なフレームサンプリングに依存していることに起因し、ビデオストリームを処理する際に多くの冗長な視覚トークンを生成し、計算負荷を増大させます。この問題を解決するために、研究チームはリアルタイムのマルチモーダル理解と対話のための効率的なコーデックネイティブストリーミング基盤モデル「Mage-VL」を提案しました。
Mage-VLの中核は、カスタムトークナイザーMage-ViTです。従来の均一フレームサンプリングとは異なり、Mage-ViTは動きベクトルと残差エネルギーを利用して、スパースなアンカーフレーム（Iフレーム）と予測フレーム（Pフレーム）間の動的でエントロピーの高い領域を選択的にエンコードします。16×16のパッチレベルで動作し、時空間コンテキストを維持しながら視覚トークン消費を75%以上削減します。Mage-ViTは約5.6億枚のラベルなし画像と1億フレームのラベルなし動画でゼロから学習され、数十億の画像-テキストペアで学習された主力エンコーダーに匹敵するか、それを上回ります。
トークナイザーに加えて、Mage-VLは生体にヒントを得た二重システムアーキテクチャを採用しています。軽量なSystem 1イベントゲート（ストリーミング入力内の重要なイベントを高速検出）と因果的なSystem 2デコーダー（深い推論と応答生成）で構成され、能動的なストリーミング認識を実現します。
トレーニング面では、研究チームはマルチモーダルキャプションのためのプロンプト-コード共同最適化と、トレーニングレシピを導くAI駆動のパフォーマンス診断を含むAI4AIデータパイプラインを確立しました。これらの革新により、Mage-VLはトレーニング効率とモデル性能の両方で顕著な向上を達成しています。
広範な評価により、Mage-VL-4Bは静的タスクでQwen3-VL-4Bに匹敵し、ビデオ理解と2D/3D空間推論で大幅な向上を示し、最大3.5倍の実時間推論高速化を達成し、15BパラメータのPhi-4-reasoning-visionベースラインを包括的に凌駕します。モデル成果物に加えて、プレトレーニングデータ効率、可変解像度スケーリング、コーデックシステム高速化、VideoQA SFT冗長性、動作-空間相乗効果、AI4AIデータパイプライン、マルチモーダルRLのためのゼロビジョンSFTにわたる7つの重要な経験的発見を提供します。これらの発見は、将来のマルチモーダルモデルの設計と最適化に重要な指針を提供します。