跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

EKT-Router:具身视觉语言模型的专家-证据对齐框架

文章摘要

EKT-Router 提出一种有界框架,联合选择能力专家、可选知识和感知工具,以解决具身视觉语言模型中专家选择与证据获取相互独立导致的匹配错位问题。在 6 个具身问答基准上平均得分 61.4,在 10 个通用视觉语言基准上平均 74.7;禁用外部证据时,仅靠问题条件化专家选择仍比最佳固定专家提升 1.75 分。

来源arXiv Computer Vision作者: Weilin Ruan, Yingjie Xu, Yangkai Wei, Bohan Zhou, Shuaibo Li, Harold Haodong Chen, Kaiwen Zhou, Yinchuan Li, Ying-Cong Chen, James Cheng
EKT-Router:具身视觉语言模型的专家-证据对齐框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

具身视觉语言模型需要在不完整且持续变化的观测条件下回答问题,其表现不仅取决于所选用的推理能力,也取决于该能力能够获得哪些证据。现有方法通常将专家路由与工具增强的证据获取分开处理:前者调整模型内部计算路径,后者从外部获取信息。这种独立决策可能造成一种错配——合适的专家被选中,却缺少完成任务所需的证据。

针对这一问题,Weilin Ruan 等 10 位作者在 arXiv 上发布了 EKT-Router,一个有界框架,将能力专家、可选知识与感知工具的选择纳入统一决策。论文于 2026 年 10 月 16 日提交,共 15 页、5 幅图,归类为计算机视觉与模式识别(cs.CV)。

EKT-Router 的核心设计之一是用结果推导的签名来表征三类专家的优势:通用专家(General)、空间推理专家(Spatial Reasoning)和时间空间专家(Spatiotemporal)。这些签名反映了不同专家能力之间的重叠区域。在此基础上,一个联合效用函数在调用预算约束下为完整的“专家-证据”路线打分,从而同时决定选用哪个专家、是否获取知识、以及是否调用感知工具。

证据获取之后,系统还设置了一个包验证器(packet verifier)。只有当证据包被判定为有效,并且对所选专家具有正向的预测增益时,该证据才会被接纳。随后,被选中的专家只回答一次;如果所有证据包都被拒绝,系统则回退到未经改动的原始观测进行回答。这种单次回答与回退机制使框架在有限调用预算下保持可控。

实验覆盖 6 个具身问答基准,EKT-Router 取得 61.4 的平均分,在参与比较的系统中排名最高;在 10 个通用视觉语言基准上,平均得分为 74.7。值得注意的是,当所有外部证据被禁用时,仅依靠问题条件化的专家选择,就已经比最佳固定专家高出 1.75 分,说明路由本身带来了实质收益。

消融研究进一步表明,学习式路由是系统中的主导组件,而知识获取与感知工具则呈现互补关系。这一结果支持了论文的核心主张:将专家选择与证据获取联合建模,比分别优化两者更有效。

展开要点与分析

文章情报

工程师进阶

要点

  • 联合路由能力专家、知识获取和感知工具,避免专家与证据选择脱节
  • 基于结果推导的签名刻画 General、Spatial Reasoning 和 Spatiotemporal 专家的重叠优势
  • 在 6 个具身问答基准上平均 61.4 分,10 个通用视觉语言基准上平均 74.7 分
  • 消融显示学习式路由是主导组件,知识与感知互补

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。