跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

LiteVLA-H: 面向機載空中制導與語義感知的雙速率視覺-語言-動作推理

文章摘要

研究人員提出了LiteVLA-H,一個緊湊的256M參數視覺-語言-動作(VLA)系統,專為無人機部署設計。該系統在NVIDIA Jetson AGX Orin上實現雙速率操作:快速外環制導模式(50.65ms/19.74Hz)用於短動作令牌輸出,以及較慢的語義模式(149.90-164.57ms)用於場景理解和危險描述。關鍵發現是延遲主要由多模態預填充主導,而非解碼額外令牌。通過知識保留微調,系統在保持描述能力的同時實現了高邊緣推理速率,超越了AnywhereVLA、FutureVLA和ReMem-VLA等最新架構。

來源arXiv Computer Vision作者: Justn williams, Kishor Datta Gupta, Roy George, Mrinmoy Sarkar
LiteVLA-H: 面向機載空中制導與語義感知的雙速率視覺-語言-動作推理
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

LiteVLA-H是一個專為無人機機載部署而設計的緊湊型視覺-語言-動作(VLA)模型,僅包含2.56億個參數,能夠運行在NVIDIA Jetson AGX Orin嵌入式平台上。與以往在機械臂操作中表現出色的VLA模型不同,空中機器人需要極低的閉環控制延遲,同時受限於機載計算和通信資源。為了解決這一問題,研究者提出了一種雙速率推理調度機制。

該模型支持兩種工作模式:快速外環制導模式和慢速語義理解模式。在制導模式下,模型以50.65毫秒(約19.74赫茲)的速度輸出短動作令牌,用於無人機的實時飛行控制。在語義模式下,模型以149.90至164.57毫秒(約6.08至6.67赫茲)的速度輸出句子級描述,用於場景理解、危險報告和操作界面交互。實驗表明,在這種緊湊邊緣計算場景下,端到端延遲主要由多模態預填充階段主導,而解碼少量額外令牌的邊際成本相對較低。通過測量發現,預填充階段佔據了大部分時間,而生成額外令牌的時間幾乎可以忽略不計,這為調度器的設計提供了關鍵依據。

為了在保持模型描述能力的同時實現領域特化,研究團隊採用了一種知識保留的微調方法。他們構建了一個混合數據集,包含反應式飛行數據、空中語義數據以及通用圖像描述和視覺問答數據。通過多任務學習,模型在掌握飛行技能的同時不會喪失對場景的語義理解能力,有效避免了災難性遺忘。對比實驗顯示,與AnywhereVLA、FutureVLA和ReMem-VLA等最新架構相比,LiteVLA-H在動作分支上實現了更高的邊緣推理速率,同時保留了定期的語義感知能力。動作推理速度提升顯著,而語義輸出質量與這些模型相當。

LiteVLA-H的成功表明,通過精心設計的雙速率調度和微調策略,VLA模型可以有效地擴展到空中機器人領域。該工作為未來無人機在複雜環境中實現自主導航和智能感知提供了可行的技術路徑,也展現了緊湊型VLA模型在邊緣設備上的巨大應用潛力。

展開要點與分析

文章情報

工程師進階

要點

  • 緊湊型256M參數VLA模型,專為機載無人機部署優化
  • 雙速率調度:快速動作推理(50.65ms)與慢速語義理解(~150-165ms)
  • 延遲主要由多模態預填充主導,解碼成本較低
  • 通過混合微調在無人機任務中保持語義感知能力

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。