跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

EKT-Router:具身視覺語言模型的專家-證據對齊框架

文章摘要

EKT-Router 提出一種有界框架,聯合選擇能力專家、可選知識和感知工具,以解決具身視覺語言模型中專家選擇與證據獲取相互獨立導致的匹配錯位問題。在 6 個具身問答基準上平均得分 61.4,在 10 個通用視覺語言基準上平均 74.7;禁用外部證據時,僅靠問題條件化專家選擇仍比最佳固定專家提升 1.75 分。

來源arXiv Computer Vision作者: Weilin Ruan, Yingjie Xu, Yangkai Wei, Bohan Zhou, Shuaibo Li, Harold Haodong Chen, Kaiwen Zhou, Yinchuan Li, Ying-Cong Chen, James Cheng
EKT-Router:具身視覺語言模型的專家-證據對齊框架
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

具身視覺語言模型需要在不完整且持續變化的觀測條件下回答問題,其表現不僅取決於所選用的推理能力,也取決於該能力能夠獲得哪些證據。現有方法通常將專家路由與工具增強的證據獲取分開處理:前者調整模型內部計算路徑,後者從外部獲取信息。這種獨立決策可能造成一種錯配——合適的專家被選中,卻缺少完成任務所需的證據。

針對這一問題,Weilin Ruan 等 10 位作者在 arXiv 上發佈了 EKT-Router,一個有界框架,將能力專家、可選知識與感知工具的選擇納入統一決策。論文於 2026 年 10 月 16 日提交,共 15 頁、5 幅圖,歸類為計算機視覺與模式識別(cs.CV)。

EKT-Router 的核心設計之一是用結果推導的簽名來表徵三類專家的優勢:通用專家(General)、空間推理專家(Spatial Reasoning)和時間空間專家(Spatiotemporal)。這些簽名反映了不同專家能力之間的重疊區域。在此基礎上,一個聯合效用函數在調用預算約束下為完整的“專家-證據”路線打分,從而同時決定選用哪個專家、是否獲取知識、以及是否調用感知工具。

證據獲取之後,系統還設置了一個包驗證器(packet verifier)。只有當證據包被判定為有效,並且對所選專傢俱有正向的預測增益時,該證據才會被接納。隨後,被選中的專家只回答一次;如果所有證據包都被拒絕,系統則回退到未經改動的原始觀測進行回答。這種單次回答與回退機制使框架在有限調用預算下保持可控。

實驗覆蓋 6 個具身問答基準,EKT-Router 取得 61.4 的平均分,在參與比較的系統中排名最高;在 10 個通用視覺語言基準上,平均得分為 74.7。值得注意的是,當所有外部證據被禁用時,僅依靠問題條件化的專家選擇,就已經比最佳固定專家高出 1.75 分,説明路由本身帶來了實質收益。

消融研究進一步表明,學習式路由是系統中的主導組件,而知識獲取與感知工具則呈現互補關係。這一結果支持了論文的核心主張:將專家選擇與證據獲取聯合建模,比分別優化兩者更有效。

展開要點與分析

文章情報

工程師進階

要點

  • 聯合路由能力專家、知識獲取和感知工具,避免專家與證據選擇脱節
  • 基於結果推導的簽名刻畫 General、Spatial Reasoning 和 Spatiotemporal 專家的重疊優勢
  • 在 6 個具身問答基準上平均 61.4 分,10 個通用視覺語言基準上平均 74.7 分
  • 消融顯示學習式路由是主導組件,知識與感知互補

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。