iFLYTEK Research（訊飛研究院）は、2026年6月24日、arXivに「iFLYTEK-Embodied-Omni Technical Report」と題するテクニカルレポート（arXiv:2607.02542）を提出しました。著者はYuan Zhang氏を含む15名の研究者です。本レポートでは、汎用具身エージェントが直面する課題——マルチモーダル指示の理解、環境変化の予測、長期間にわたる正確な制御動作の生成——に取り組むため、統合マルチモーダル基盤モデル「iFLYTEK-Embodied-Omni」を提案しています。
既存のアプローチは通常、視覚言語推論、ビデオベースの世界モデリング、行動生成のいずれかに特化し、まず将来の観測を合成してから行動を推論するカスケードパイプラインを採用していました。しかし、この方式はインターフェースのボトルネックや予測誤差の増大を招きます。iFLYTEK-Embodied-Omniは、視覚（動画と画像）、言語、行動を単一のOmniフレームワーク内で共同モデリングします。その中核は「脳-小脳」協調設計です。視覚言語モデル（VLM）と動画生成モデル（VGM）が高次脳として機能し、指示理解、タスク計画、進捗追跡、将来の視覚状態予測を担当します。一方、行動生成モデル（AGM）は低次小脳として、計画されたサブゴールと共有マルチモーダルコンテキストを直接実行可能な行動チャンクに変換します。各モジュールは共有マルチモーダル自己注意機構を介して通信し、カスケードパイプラインに伴う問題を回避します。
トレーニングには、人間のデモとロボットインタラクションからの行動注釈付きおよび行動なしの具身ビデオに加え、具身推論、具身知覚、汎用画像テキストデータを組み合わせた包括的データセットを構築しました。さらに、VLM、VGM、AGMを段階的に事前学習した後、完全モデルを共同で微調整する4段階戦略を採用しています。実験結果は、多様な具身タスクにおいて優れた性能を示し、将来の具身エージェント研究に新たな方向性を提供しています。