Pelican-VLA 0.5：先注意再行动有益于泛化
Pelican-VLA 0.5是一个统一的视觉-语言-动作（VLA）模型，将视觉语言理解、未来帧生成和动作预测集成在单一架构中。通过引入可学习的推理槽，模型实现了注意力级别的泛化，无需对象注释、分割掩码或任务特定微调，其动作路径即可聚焦于指令相关对象和接触区域。该能力在未见场景和不同机器人实体中均保持有效，显著优于其他开源VLA基线。
近日，来自Zeyuan Ding等研究团队发布了Pelican-VLA 0.5，这是一个统一的视觉-语言-动作（VLA）模型，将视觉语言理解、未来帧生成和动作预测集成在单一架构中。该模型的核心创新在于引入了可学习的推理槽（Reasoning Slots），这些插槽位于感知模块和动作模块之间，起到紧凑瓶颈的作用。通过将任务相关的视觉信息路由通过该瓶颈，模型在预训练期间自动学会了操纵中心注意力，从而实现了注意力级别的泛化。
具体而言，Pelican-VLA 0.5的动作路径在没有对象注释、分割掩码、注意力监督或任务特定微调的情况下，已经能够聚焦于指令相关的对象和接触区域。这种能力不仅出现在训练过的场景中，还迁移到了完全未见过的场景和不同的机器人实体上。实验表明，Pelican-VLA 0.5在注意力聚焦的准确性和一致性上显著优于其他开源VLA基线模型，如RT-2和Octo等。
研究团队还验证了这种泛化能力源于推理槽的设计。通过在感知和动作之间强制一个信息瓶颈，模型被迫学习哪些视觉信息对任务最关键。推理槽在不同的策略结构（包括MoT风格架构）下均保持有效，显示出其强大的鲁棒性。此外，该模型在多个机器人操控基准测试中取得了优异成绩，展示了从仿真到真实世界的零样本迁移能力。
这一工作为构建能够真正理解指令并泛化到新环境的机器人模型提供了新的思路，有望推动机器人学习在少样本和零样本场景下的应用。未来，该团队计划将Pelican-VLA扩展到更多模态和更复杂的任务中，进一步提升其通用性和实用性。