LiteVLA-H是一个专为无人机机载部署而设计的紧凑型视觉-语言-动作(VLA)模型,仅包含2.56亿个参数,能够运行在NVIDIA Jetson AGX Orin嵌入式平台上。与以往在机械臂操作中表现出色的VLA模型不同,空中机器人需要极低的闭环控制延迟,同时受限于机载计算和通信资源。为了解决这一问题,研究者提出了一种双速率推理调度机制。
该模型支持两种工作模式:快速外环制导模式和慢速语义理解模式。在制导模式下,模型以50.65毫秒(约19.74赫兹)的速度输出短动作令牌,用于无人机的实时飞行控制。在语义模式下,模型以149.90至164.57毫秒(约6.08至6.67赫兹)的速度输出句子级描述,用于场景理解、危险报告和操作界面交互。实验表明,在这种紧凑边缘计算场景下,端到端延迟主要由多模态预填充阶段主导,而解码少量额外令牌的边际成本相对较低。通过测量发现,预填充阶段占据了大部分时间,而生成额外令牌的时间几乎可以忽略不计,这为调度器的设计提供了关键依据。
为了在保持模型描述能力的同时实现领域特化,研究团队采用了一种知识保留的微调方法。他们构建了一个混合数据集,包含反应式飞行数据、空中语义数据以及通用图像描述和视觉问答数据。通过多任务学习,模型在掌握飞行技能的同时不会丧失对场景的语义理解能力,有效避免了灾难性遗忘。对比实验显示,与AnywhereVLA、FutureVLA和ReMem-VLA等最新架构相比,LiteVLA-H在动作分支上实现了更高的边缘推理速率,同时保留了定期的语义感知能力。动作推理速度提升显著,而语义输出质量与这些模型相当。
LiteVLA-H的成功表明,通过精心设计的双速率调度和微调策略,VLA模型可以有效地扩展到空中机器人领域。该工作为未来无人机在复杂环境中实现自主导航和智能感知提供了可行的技术路径,也展现了紧凑型VLA模型在边缘设备上的巨大应用潜力。