多模態大語言模型(MLLMs)在通用視覺感知領域已經帶來革命性變化,但在航空場景中,現有方法仍面臨嚴重的幻覺問題。航空圖像普遍存在極端的尺度變化和視覺歧義,例如目標可能只有幾個像素,或者與背景紋理高度相似。傳統的監督微調(SFT)範式要求模型直接模仿真實標註,而不對不確定性建模,這導致模型在遇到微小或難以辨認的目標時往往盲目猜測,輸出不可靠的分割結果。
針對這一挑戰,研究者提出了 Aerial-R1,這是首個專門為航空推理與分割任務設計的 MLLM 框架,旨在強化視覺推理能力。該工作受到 DeepSeek-R1 中推理激勵機制的啓發,發現可信的感知源於不同視角之間的一致性——這可以看作邏輯推理中思維鏈(Chain-of-Thought)在視覺上的平行對應。基於這一洞察,Aerial-R1 不再單純依賴靜態標註,而是通過強化學習鼓勵模型在不同視角下得出一致的結論,從而提升感知的可靠性。
為了將策略優化有效適配到非自迴歸的掩碼生成任務,研究團隊引入了混合視角組優勢加權迴歸(Hybrid-View Group Advantage-Weighted Regression, H-GAWR)。該策略動態構建高分辨率與低分辨率視圖的組合,將組相對優勢估計與優勢加權策略提取無縫銜接。具體而言,對於清晰輸入,模型被要求在不同視圖間達成共識;對於模糊輸入,則嚴格懲罰幻覺輸出。通過這種方式,Aerial-R1 發展出顯式的拒絕機制:當信息不足以做出可靠判斷時,模型可以選擇拒絕回答或分割,而不是強行猜測。
為了系統評估航空 MLLM 的推理與幻覺魯棒性,作者構建了 VSAI-Ref 基準,這是首個同時評估密集推理和幻覺魯棒性的航空 MLLM 基準。在該基準上的大量實驗表明,Aerial-R1 在分割精度上顯著超越 SFT 基線,同時在低信息場景中大幅減少了致命幻覺。這意味着模型在複雜航空場景下的輸出更加可信,為構建可靠、值得信賴的航空智能體奠定了基礎。
該論文提交於 2026 年 10 月 19 日,共 16 頁、8 幅圖,包含補充材料,代碼已在 GitHub 上開源(https://github.com/phy709/Aerial-R1)。作者為 Jisheng Dang 等六人。研究屬於計算機視覺與模式識別(cs.CV)及人工智能(cs.AI)領域,arXiv 編號為 2610.33056。