讯飞具身全模态技术报告
讯飞具身全模态是一个统一的多模态基础模型，联合建模视觉（视频和图像）、语言和动作。它采用大脑-小脑协作架构：视觉语言模型和视频生成模型充当高级大脑进行理解和规划，动作生成模型充当低级小脑执行动作。该模型通过四阶段训练策略在包含人类演示、机器人交互和通用图像文本数据的综合性数据集上训练。
讯飞研究院（iFLYTEK Research）于2026年6月24日向arXiv提交了一篇题为“iFLYTEK-Embodied-Omni Technical Report”的技术报告，论文编号arXiv:2607.02542，作者包括Yuan Zhang等15位研究人员。该报告提出了一种名为“讯飞具身全模态”（iFLYTEK-Embodied-Omni）的统一多模态基础模型，旨在解决通用具身智能体所面临的核心挑战：理解多模态指令、预测环境演变，并在长时间跨度内产生精确的控制动作。
当前主流方法通常各自专注于视觉-语言推理、基于视频的世界建模或动作生成，并采用级联管道——先合成未来观测结果，再推导动作。然而，这种级联架构容易引入接口瓶颈，并导致预测误差累积。讯飞具身全模态则将视觉（视频和图像）、语言和动作整合到一个统一的Omni框架中，实现联合建模。其核心创新在于“大脑-小脑”协作设计：视觉语言模型（VLM）和视频生成模型（VGM）作为高级大脑，负责指令理解、任务规划、进度跟踪和未来视觉状态预测；动作生成模型（AGM）则扮演低级小脑，将规划的子目标和共享的多模态上下文直接转换为可执行的动作块。各模块之间通过共享的多模态自注意力机制进行通信，从而避免了级联管道的弊端。
为了训练这一模型，研究团队构建了综合性数据集，包含来自人类演示和机器人交互的动作标注和无动作具身视频，并融合了具身推理、具身感知以及通用图像文本数据。他们采用四阶段训练策略：首先分别预训练VLM、VGM和AGM，然后对完整模型进行联合微调。实验结果表明，该模型在多个具身任务上展现出优异性能，为构建更通用、更灵活的智能体提供了新思路。