多模态大语言模型(MLLMs)在通用视觉感知领域已经带来革命性变化,但在航空场景中,现有方法仍面临严重的幻觉问题。航空图像普遍存在极端的尺度变化和视觉歧义,例如目标可能只有几个像素,或者与背景纹理高度相似。传统的监督微调(SFT)范式要求模型直接模仿真实标注,而不对不确定性建模,这导致模型在遇到微小或难以辨认的目标时往往盲目猜测,输出不可靠的分割结果。
针对这一挑战,研究者提出了 Aerial-R1,这是首个专门为航空推理与分割任务设计的 MLLM 框架,旨在强化视觉推理能力。该工作受到 DeepSeek-R1 中推理激励机制的启发,发现可信的感知源于不同视角之间的一致性——这可以看作逻辑推理中思维链(Chain-of-Thought)在视觉上的平行对应。基于这一洞察,Aerial-R1 不再单纯依赖静态标注,而是通过强化学习鼓励模型在不同视角下得出一致的结论,从而提升感知的可靠性。
为了将策略优化有效适配到非自回归的掩码生成任务,研究团队引入了混合视角组优势加权回归(Hybrid-View Group Advantage-Weighted Regression, H-GAWR)。该策略动态构建高分辨率与低分辨率视图的组合,将组相对优势估计与优势加权策略提取无缝衔接。具体而言,对于清晰输入,模型被要求在不同视图间达成共识;对于模糊输入,则严格惩罚幻觉输出。通过这种方式,Aerial-R1 发展出显式的拒绝机制:当信息不足以做出可靠判断时,模型可以选择拒绝回答或分割,而不是强行猜测。
为了系统评估航空 MLLM 的推理与幻觉鲁棒性,作者构建了 VSAI-Ref 基准,这是首个同时评估密集推理和幻觉鲁棒性的航空 MLLM 基准。在该基准上的大量实验表明,Aerial-R1 在分割精度上显著超越 SFT 基线,同时在低信息场景中大幅减少了致命幻觉。这意味着模型在复杂航空场景下的输出更加可信,为构建可靠、值得信赖的航空智能体奠定了基础。
该论文提交于 2026 年 10 月 19 日,共 16 页、8 幅图,包含补充材料,代码已在 GitHub 上开源(https://github.com/phy709/Aerial-R1)。作者为 Jisheng Dang 等六人。研究属于计算机视觉与模式识别(cs.CV)及人工智能(cs.AI)领域,arXiv 编号为 2610.33056。