行为基础模型(Behavioral Foundation Models, BFM)为通用物理角色控制提供了一条颇具前景的路径:借助大规模运动数据集,这类模型把丰富且物理上合理的行为组织进一个潜在空间,从而让单一模型能够覆盖多种动作技能。然而,arXiv 上最新发布的论文《BFMTrack: Latent Sequence Optimization for Physics-Based Motion Tracking with Behavioral Foundation Models》指出,这种潜在空间组织方式虽然擅长处理时间不变的任务,却无法直接支持随时间变化的目标,例如精确跟踪一段运动序列。该论文由 Thomas Rupf 等七位作者完成,于 2026 年 6 月 23 日提交,归类于机器人学(cs.RO)。
问题的核心在于时间维度。BFM 在目标到达、基于状态的奖励优化等任务上表现优异,因为这些任务的目标不随时间改变,潜在空间中的某个点就足以描述整个行为。但运动跟踪是一个随时间变化的目标:角色需要在每一时刻都与参考运动保持匹配。现有做法通常采用滑动窗口平均的启发式方法来处理,即对窗口内的潜在表示取平均,再据此驱动角色。论文作者认为,这种平均会抹平高动态动作中关键的细微变化,导致跟踪精度不足,尤其在快速、复杂的动作上难以还原原序列的细节。
为解决这一缺陷,作者提出了名为 Latent Sequence Optimization(LSO,潜在序列优化)的新方法。其思路不是手工设计奖励函数,而是把仿真回放与策略梯度更新结合起来,直接在一段潜在序列上进行优化。具体而言,方法在仿真中执行由潜在序列驱动的策略,获得回放结果,再利用策略梯度对整段潜在序列进行更新,使 BFM 的能力从时间不变任务扩展到精确的运动跟踪。这一过程无需奖励工程和繁琐的超参数调优,降低了将 BFM 用于跟踪任务的工程门槛。
为了让优化得到的潜在轨迹平滑且连贯,作者使用时间相关噪声对潜在序列进行建模。这一设计的作用是引导优化走向时间上连贯的解,避免相邻时刻的潜在表示剧烈跳变,从而生成更自然、更稳定的动作。论文强调,这种对潜在序列的建模是保证结果质量的关键组成部分,而不仅仅是实现细节。
在实验验证方面,作者在三种场景下评估了该方法:密集跟踪、稀疏关键帧以及直接部署到真实人形机器人上。密集跟踪对应逐帧的连续参考运动;稀疏关键帧则测试方法在只有少量关键姿态约束时能否补全合理动作;真实机器人部署则检验方法从仿真迁移到物理硬件后的可行性。这三种验证覆盖了从数据密集到数据稀疏、从仿真到现实的多个维度,表明 LSO 不只是停留在仿真实验中的概念验证。
总体来看,这项工作针对 BFM 在时间变化目标上的能力空白提出了针对性方案,把序列优化与潜在空间控制结合起来,并辅以时间相关噪声的轨迹建模,为物理角色控制中的精确运动跟踪提供了一条无需奖励工程的实用路径。论文的全文、PDF 与实验性 HTML 版本已在 arXiv 上公开,DOI 为 10.48550/arXiv.2606.25056,提交版本为 v1,全文约 8.4 MB。