跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

Aerial-R1:强化多模态大模型中的航空推理与分割

文章摘要

Aerial-R1 是首个针对航空领域的多模态大模型框架,通过强化视觉推理来提升航空推理与分割能力。它借鉴 DeepSeek-R1 的推理激励机制,提出混合视角组优势加权回归(H-GAWR),在清晰输入上强制一致性,在模糊输入上严格惩罚幻觉,并引入显式拒绝机制。在 VSAI-Ref 基准上的实验表明,该方法在分割精度上显著优于 SFT 基线,同时大幅减少低信息场景中的致命幻觉。

来源arXiv Computer Vision作者: Jisheng Dang, Huaiyuan Peng, Yixuan Wang, Kun Wang, Zhang Li, Tat-Seng Chua
Aerial-R1:强化多模态大模型中的航空推理与分割
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

多模态大语言模型(MLLMs)在通用视觉感知领域已经带来革命性变化,但在航空场景中,现有方法仍面临严重的幻觉问题。航空图像普遍存在极端的尺度变化和视觉歧义,例如目标可能只有几个像素,或者与背景纹理高度相似。传统的监督微调(SFT)范式要求模型直接模仿真实标注,而不对不确定性建模,这导致模型在遇到微小或难以辨认的目标时往往盲目猜测,输出不可靠的分割结果。

针对这一挑战,研究者提出了 Aerial-R1,这是首个专门为航空推理与分割任务设计的 MLLM 框架,旨在强化视觉推理能力。该工作受到 DeepSeek-R1 中推理激励机制的启发,发现可信的感知源于不同视角之间的一致性——这可以看作逻辑推理中思维链(Chain-of-Thought)在视觉上的平行对应。基于这一洞察,Aerial-R1 不再单纯依赖静态标注,而是通过强化学习鼓励模型在不同视角下得出一致的结论,从而提升感知的可靠性。

为了将策略优化有效适配到非自回归的掩码生成任务,研究团队引入了混合视角组优势加权回归(Hybrid-View Group Advantage-Weighted Regression, H-GAWR)。该策略动态构建高分辨率与低分辨率视图的组合,将组相对优势估计与优势加权策略提取无缝衔接。具体而言,对于清晰输入,模型被要求在不同视图间达成共识;对于模糊输入,则严格惩罚幻觉输出。通过这种方式,Aerial-R1 发展出显式的拒绝机制:当信息不足以做出可靠判断时,模型可以选择拒绝回答或分割,而不是强行猜测。

为了系统评估航空 MLLM 的推理与幻觉鲁棒性,作者构建了 VSAI-Ref 基准,这是首个同时评估密集推理和幻觉鲁棒性的航空 MLLM 基准。在该基准上的大量实验表明,Aerial-R1 在分割精度上显著超越 SFT 基线,同时在低信息场景中大幅减少了致命幻觉。这意味着模型在复杂航空场景下的输出更加可信,为构建可靠、值得信赖的航空智能体奠定了基础。

该论文提交于 2026 年 10 月 19 日,共 16 页、8 幅图,包含补充材料,代码已在 GitHub 上开源(https://github.com/phy709/Aerial-R1)。作者为 Jisheng Dang 等六人。研究属于计算机视觉与模式识别(cs.CV)及人工智能(cs.AI)领域,arXiv 编号为 2610.33056。

展开要点与分析

文章情报

工程师进阶

要点

  • 首个面向航空推理与分割的多模态大模型强化学习框架
  • 提出 H-GAWR 策略,将组相对优势估计与优势加权策略提取相结合,适配非自回归掩码生成
  • 通过多视角一致性激励推理,并引入显式拒绝机制以抑制模糊场景中的幻觉
  • 在首个联合评估密集推理与幻觉鲁棒性的 VSAI-Ref 基准上显著优于 SFT 基线

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。