在机器人操作领域，部分可观测性是一个长期存在的挑战：仅凭当前帧的视觉观察，机器人往往难以判断物体是否被遮挡、目标是否已经移动，或者此前动作产生了什么效果。传统机器人表示预训练方法大多聚焦于单帧视觉编码，虽然能够提取丰富的空间特征，却忽略了操作任务本身的时间维度。针对这一问题，研究人员提出了名为 AEM 的动作-效果记忆（Action-Effect Memory）预训练框架，试图让机器人从视觉-动作历史中学习紧凑的时间表示，从而为下游控制提供更可靠的历史上下文。
AEM 的核心思路是把操作过程建模为动作驱动的交互序列。与简单堆叠历史帧不同，该框架将视觉特征与动作特征交错排列，使模型能够在同一序列中同时看到“看到了什么”和“做了什么”。在此基础上，AEM 采用掩码建模策略，从残缺的历史输入中恢复缺失内容，迫使模型学习动作与视觉变化之间的因果联系，进而掌握动作条件下的状态演化规律。这种预训练方式直接面向操作任务的时间本质，而不是停留在静态图像理解层面。
在架构设计上，AEM 使用 Mamba 对交错序列进行编码，并取最终视觉 token 的编码输出作为紧凑的历史表示。该表示是一个单向量瓶颈，既浓缩了此前的视觉-动作历史，又作为解码和下游控制的全局上下文。研究者强调，这一设计在保留时间信息的同时避免了过长的上下文窗口，从而维持了推理效率。对于需要实时响应的机器人系统而言，这种效率优势尤为重要。
为了验证方法的通用性，研究团队将 AEM 与两种主流的策略学习框架结合：扩散策略（Diffusion Policy）和流策略（Flow Policy）。在仿真环境和真实世界设置中，AEM 均展现出稳定的性能提升。实验覆盖了干净场景、杂乱且随机的场景，以及具有非马尔可夫性质的任
务——在这类任务中，当前观察不足以决定最优动作，必须依赖历史信息。与基线方法相比，AEM 在这些场景下都取得了更好的操作表现。
消融研究进一步揭示了历史感知预训练的价值。结果表明，AEM 的历史感知预训练优于单帧预训练，也优于直接堆叠历史帧的做法。与此同时，AEM 在提升性能的同时降低了推理延迟和计算成本，说明紧凑的时间瓶颈并没有以牺牲效率为代价。该论文提交于 2026 年 6 月 10 日，作者包括 Yijing Zhou 等八人，属于机器人学（cs.RO）方向的预印本工作。