动作条件世界模型用于机器人超声中的目标平面探头引导
提出了一种动作条件世界模型框架，用于机器人超声中的目标平面探头引导，特别针对颈部超声扫描。采用两阶段模型学习管道：首先，潜在条件扩散世界模型从上下文帧、探头运动和时移预测未来超声图像；然后，目标条件时间变换器预测有序探头运动，并通过冻结世界模型的奖励进行微调。在自收集数据集上，世界模型保留了目标导向扫描中的动作依赖解剖结构。真实世界闭环实验显示，颈动脉引导成功率达70.0%，甲状腺引导达65.0%，展示了学习超声动力学用于训练目标导向机器人探头导航的潜力。
在机器人超声领域，自主超声任务通常需要大量的探头运动轨迹进行训练，但收集高质量的演示数据劳动密集，且由于超声图像依赖于接触、组织变形和视角相关的声学伪影，显式模拟器难以构建。本文提出了一种动作条件世界模型框架，用于机器人超声中的目标平面探头引导，特别针对颈部超声扫描。该框架采用两阶段模型学习管道：首先，一个潜在条件扩散世界模型从最近的上下文帧、探头运动和时移预测未来的超声观测；其次，一个目标条件时间变换器预测有序的探头运动，并通过冻结世界模型的奖励进行微调。实验在自收集数据集上进行，结果显示世界模型在目标导向扫描中保留了动作依赖的解剖结构。在真实世界闭环实验中，该框架在颈动脉引导中达到70.0%的成功率，在甲状腺引导中达到65.0%。这些结果展示了学习超声动力学在训练目标导向机器人探头导航中的潜力。
该工作的核心创新在于利用学习到的超声动力学替代传统的基于物理的模拟器，从而避免了构建复杂声学模型的需求。两阶段架构使得世界模型能够捕捉探头动作与超声图像变化之间的因果关系，而目标条件变换器则利用这一因果模型进行规划。实验结果表明，即使在没有大量演示数据的情况下，模型仍能成功引导探头到达目标平面。这一方法有望显著降低自主超声系统的部署成本，并加速其在临床中的应用。研究团队计划进一步扩展该框架以支持更复杂的超声扫描任务，并探索其在其他医学影像模态中的适用性。