跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

身体移动之前:学习面向语言条件人形控制的预期关节意图

文章摘要

本文提出DAJI(动力学对齐的关节意图)框架,一种分层架构,学习语言生成与闭环控制之间的预期关节意图接口。DAJI-Act通过学生驱动轨迹将未来感知教师蒸馏为可部署的扩散动作策略,而DAJI-Flow从语言和意图历史自回归生成未来意图块。实验表明,DAJI在预期潜在学习、单指令生成和流式指令跟随中表现优异,在HumanML3D风格生成上达到94.42%的轨迹成功率,在BABEL上达到0.152的子序列FID。

来源arXiv Robotics作者: Haozhe Jia, Honglei Jin, Yuan Zhang, Youcheng Fan, Shaofeng Liang, Lei Wang, Shuxu Jin, Kuimou Yu, Zinuo Zhang, Jianfei Song, Wenshuo Chen, Yutao Yue
身体移动之前:学习面向语言条件人形控制的预期关节意图
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在语言条件人形机器人控制领域,自然语言提供了一种直观的交互界面,但全身控制的流式执行需要既能立即执行又能预测未来物理状态变化的表示。现有方法通常生成运动学参考,由底层追踪器被动修正,或使用隐含动作策略,但输出无法明确编码即将发生的接触变化、支撑转移和平衡准备。为解决这一挑战,来自上海交通大学等机构的研究人员提出了DAJI(动力学对齐的关节意图)框架,这是一种分层架构,旨在学习一个预期性的关节意图接口,连接语言生成与闭环控制。

DAJI框架包含两个核心组件:DAJI-Act和DAJI-Flow。DAJI-Act通过学生驱动的轨迹扩展,将具备未来感知能力的教师模型蒸馏为一个可部署的扩散动作策略,使得机器人能够在当前动作中融入对未来状态的预测。而DAJI-Flow则采用自回归方式,从当前语言指令和意图历史中生成未来的意图块,从而实现对连续指令的流式跟随。这种设计允许机器人在执行当前动作的同时,提前规划后续的关节状态,确保动作的连贯性与稳定性。

研究团队在多个标准基准上对DAJI进行了评估。实验结果显示,在HumanML3D风格的人体运动生成任务上,DAJI达到了94.42%的轨迹成功率,显著优于基线方法。在BABEL动作识别数据集上,DAJI的子序列FID分数低至0.152,表明生成的运动序列在真实感和多样性方面接近真实数据。此外,DAJI在单指令生成和流式指令跟随任务中也展现了强大的性能,证明了其在预期潜在学习方面的有效性。

这项工作的主要贡献在于提出了一种显式编码未来物理状态变化的控制表示,减少了底层追踪器的修正负担,并为语言引导的人形机器人全身控制提供了新的思路。未来的研究方向可能包括将DAJI扩展到更复杂的交互场景,以及结合更丰富的传感器反馈以增强鲁棒性。该研究由Haozhe Jia等人于2026年5月提交至arXiv,属于机器人学与计算机视觉交叉领域。

展开要点与分析

文章情报

研究者进阶

要点

  • DAJI框架通过学习预期关节意图接口,弥合语言生成与闭环控制之间的鸿沟。
  • DAJI-Act利用学生驱动轨迹将未来感知教师蒸馏为可部署的扩散策略。
  • DAJI-Flow自回归地从语言和意图历史生成未来意图块。
  • 在HumanML3D和BABEL基准上,DAJI实现了高轨迹成功率和低FID分数,展示了高效的语言引导人形控制。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

身体移动之前:学习面向语言条件人形控制的预期关节意图 | AI News Hub