跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

LiteVLA-H: 面向机载空中制导与语义感知的双速率视觉-语言-动作推理

文章摘要

研究人员提出了LiteVLA-H,一个紧凑的256M参数视觉-语言-动作(VLA)系统,专为无人机部署设计。该系统在NVIDIA Jetson AGX Orin上实现双速率操作:快速外环制导模式(50.65ms/19.74Hz)用于短动作令牌输出,以及较慢的语义模式(149.90-164.57ms)用于场景理解和危险描述。关键发现是延迟主要由多模态预填充主导,而非解码额外令牌。通过知识保留微调,系统在保持描述能力的同时实现了高边缘推理速率,超越了AnywhereVLA、FutureVLA和ReMem-VLA等最新架构。

来源arXiv Computer Vision作者: Justn williams, Kishor Datta Gupta, Roy George, Mrinmoy Sarkar
LiteVLA-H: 面向机载空中制导与语义感知的双速率视觉-语言-动作推理
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

LiteVLA-H是一个专为无人机机载部署而设计的紧凑型视觉-语言-动作(VLA)模型,仅包含2.56亿个参数,能够运行在NVIDIA Jetson AGX Orin嵌入式平台上。与以往在机械臂操作中表现出色的VLA模型不同,空中机器人需要极低的闭环控制延迟,同时受限于机载计算和通信资源。为了解决这一问题,研究者提出了一种双速率推理调度机制。

该模型支持两种工作模式:快速外环制导模式和慢速语义理解模式。在制导模式下,模型以50.65毫秒(约19.74赫兹)的速度输出短动作令牌,用于无人机的实时飞行控制。在语义模式下,模型以149.90至164.57毫秒(约6.08至6.67赫兹)的速度输出句子级描述,用于场景理解、危险报告和操作界面交互。实验表明,在这种紧凑边缘计算场景下,端到端延迟主要由多模态预填充阶段主导,而解码少量额外令牌的边际成本相对较低。通过测量发现,预填充阶段占据了大部分时间,而生成额外令牌的时间几乎可以忽略不计,这为调度器的设计提供了关键依据。

为了在保持模型描述能力的同时实现领域特化,研究团队采用了一种知识保留的微调方法。他们构建了一个混合数据集,包含反应式飞行数据、空中语义数据以及通用图像描述和视觉问答数据。通过多任务学习,模型在掌握飞行技能的同时不会丧失对场景的语义理解能力,有效避免了灾难性遗忘。对比实验显示,与AnywhereVLA、FutureVLA和ReMem-VLA等最新架构相比,LiteVLA-H在动作分支上实现了更高的边缘推理速率,同时保留了定期的语义感知能力。动作推理速度提升显著,而语义输出质量与这些模型相当。

LiteVLA-H的成功表明,通过精心设计的双速率调度和微调策略,VLA模型可以有效地扩展到空中机器人领域。该工作为未来无人机在复杂环境中实现自主导航和智能感知提供了可行的技术路径,也展现了紧凑型VLA模型在边缘设备上的巨大应用潜力。

展开要点与分析

文章情报

工程师进阶

要点

  • 紧凑型256M参数VLA模型,专为机载无人机部署优化
  • 双速率调度:快速动作推理(50.65ms)与慢速语义理解(~150-165ms)
  • 延迟主要由多模态预填充主导,解码成本较低
  • 通过混合微调在无人机任务中保持语义感知能力

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

LiteVLA-H: 面向机载空中制导与语义感知的双速率视觉-语言-动作推理 | AI News Hub