多模態大語言模型(MLLMs)在通用視覺感知領域已經帶來革命性變化,但在航空場景中,現有方法仍面臨嚴重的幻覺問題。航空影像普遍存在極端的尺度變化和視覺歧義,例如目標可能只有幾個畫素,或者與背景紋理高度相似。傳統的監督微調(SFT)正規化要求模型直接模模擬實標註,而不對不確定性建模,這導致模型在遇到微小或難以辨認的目標時往往盲目猜測,輸出不可靠的分割結果。
針對這一挑戰,研究者提出了 Aerial-R1,這是首個專門為航空推理與分割任務設計的 MLLM 框架,旨在強化視覺推理能力。該工作受到 DeepSeek-R1 中推理激勵機制的啟發,發現可信的感知源於不同視角之間的一致性——這可以看作邏輯推理中思維鏈(Chain-of-Thought)在視覺上的平行對應。基於這一洞察,Aerial-R1 不再單純依賴靜態標註,而是透過強化學習鼓勵模型在不同視角下得出一致的結論,從而提升感知的可靠性。
為了將策略最佳化有效適配到非自迴歸的掩碼生成任務,研究團隊引入了混合視角組優勢加權迴歸(Hybrid-View Group Advantage-Weighted Regression, H-GAWR)。該策略動態構建高解析度與低解析度檢視的組合,將組相對優勢估計與優勢加權策略提取無縫銜接。具體而言,對於清晰輸入,模型被要求在不同檢視間達成共識;對於模糊輸入,則嚴格懲罰幻覺輸出。透過這種方式,Aerial-R1 發展出顯式的拒絕機制:當資訊不足以做出可靠判斷時,模型可以選擇拒絕回答或分割,而不是強行猜測。
為了系統評估航空 MLLM 的推理與幻覺魯棒性,作者構建了 VSAI-Ref 基準,這是首個同時評估密集推理和幻覺魯棒性的航空 MLLM 基準。在該基準上的大量實驗表明,Aerial-R1 在分割精度上顯著超越 SFT 基線,同時在低資訊場景中大幅減少了致命幻覺。這意味著模型在複雜航空場景下的輸出更加可信,為構建可靠、值得信賴的航空智慧體奠定了基礎。
該論文提交於 2026 年 10 月 19 日,共 16 頁、8 幅圖,包含補充材料,程式碼已在 GitHub 上開源(https://github.com/phy709/Aerial-R1)。作者為 Jisheng Dang 等六人。研究屬於計算機視覺與模式識別(cs.CV)及人工智慧(cs.AI)領域,arXiv 編號為 2610.33056。