跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

Aerial-R1:強化多模態大模型中的航空推理與分割

文章摘要

Aerial-R1 是首個針對航空領域的多模態大模型框架,通過強化視覺推理來提升航空推理與分割能力。它借鑑 DeepSeek-R1 的推理激勵機制,提出混合視角組優勢加權迴歸(H-GAWR),在清晰輸入上強制一致性,在模糊輸入上嚴格懲罰幻覺,並引入顯式拒絕機制。在 VSAI-Ref 基準上的實驗表明,該方法在分割精度上顯著優於 SFT 基線,同時大幅減少低信息場景中的致命幻覺。

來源arXiv Computer Vision作者: Jisheng Dang, Huaiyuan Peng, Yixuan Wang, Kun Wang, Zhang Li, Tat-Seng Chua
Aerial-R1:強化多模態大模型中的航空推理與分割
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

多模態大語言模型(MLLMs)在通用視覺感知領域已經帶來革命性變化,但在航空場景中,現有方法仍面臨嚴重的幻覺問題。航空圖像普遍存在極端的尺度變化和視覺歧義,例如目標可能只有幾個像素,或者與背景紋理高度相似。傳統的監督微調(SFT)範式要求模型直接模仿真實標註,而不對不確定性建模,這導致模型在遇到微小或難以辨認的目標時往往盲目猜測,輸出不可靠的分割結果。

針對這一挑戰,研究者提出了 Aerial-R1,這是首個專門為航空推理與分割任務設計的 MLLM 框架,旨在強化視覺推理能力。該工作受到 DeepSeek-R1 中推理激勵機制的啓發,發現可信的感知源於不同視角之間的一致性——這可以看作邏輯推理中思維鏈(Chain-of-Thought)在視覺上的平行對應。基於這一洞察,Aerial-R1 不再單純依賴靜態標註,而是通過強化學習鼓勵模型在不同視角下得出一致的結論,從而提升感知的可靠性。

為了將策略優化有效適配到非自迴歸的掩碼生成任務,研究團隊引入了混合視角組優勢加權迴歸(Hybrid-View Group Advantage-Weighted Regression, H-GAWR)。該策略動態構建高分辨率與低分辨率視圖的組合,將組相對優勢估計與優勢加權策略提取無縫銜接。具體而言,對於清晰輸入,模型被要求在不同視圖間達成共識;對於模糊輸入,則嚴格懲罰幻覺輸出。通過這種方式,Aerial-R1 發展出顯式的拒絕機制:當信息不足以做出可靠判斷時,模型可以選擇拒絕回答或分割,而不是強行猜測。

為了系統評估航空 MLLM 的推理與幻覺魯棒性,作者構建了 VSAI-Ref 基準,這是首個同時評估密集推理和幻覺魯棒性的航空 MLLM 基準。在該基準上的大量實驗表明,Aerial-R1 在分割精度上顯著超越 SFT 基線,同時在低信息場景中大幅減少了致命幻覺。這意味着模型在複雜航空場景下的輸出更加可信,為構建可靠、值得信賴的航空智能體奠定了基礎。

該論文提交於 2026 年 10 月 19 日,共 16 頁、8 幅圖,包含補充材料,代碼已在 GitHub 上開源(https://github.com/phy709/Aerial-R1)。作者為 Jisheng Dang 等六人。研究屬於計算機視覺與模式識別(cs.CV)及人工智能(cs.AI)領域,arXiv 編號為 2610.33056。

展開要點與分析

文章情報

工程師進階

要點

  • 首個面向航空推理與分割的多模態大模型強化學習框架
  • 提出 H-GAWR 策略,將組相對優勢估計與優勢加權策略提取相結合,適配非自迴歸掩碼生成
  • 通過多視角一致性激勵推理,並引入顯式拒絕機制以抑制模糊場景中的幻覺
  • 在首個聯合評估密集推理與幻覺魯棒性的 VSAI-Ref 基準上顯著優於 SFT 基線

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。