跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

BOHM:面向复合AI系统的零成本分层归因方法

文章摘要

论文提出BOHM,一种直接从路由权重提取分层归因树的方法,无需评估任意组件子集,计算成本为零,并在多个实验中与SHAP结果高度一致。

来源arXiv AI作者: Joss Armstrong
BOHM:面向复合AI系统的零成本分层归因方法
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

复合AI系统通过由专门组件构成的层次结构来路由任务。当前主流的归因方法基于Shapley值(SHAP),它将联盟价值函数分解为每个组件的边际贡献,但要求系统在任意组件子集上都能被评估。这一要求在第三方API、不透明端点以及将路由集中于少数工具的代理式编排器上往往无法满足,导致大部分联盟组合无法从已部署的编排器中评估。

针对这一问题,论文提出了BOHM方法。BOHM直接从这类系统已经维护的路由权重中提取分层归因树:叶节点归因是根到叶路由权重的路径乘积,第k层归因则是深度为k的节点上的诱导分布。该方法具有零边际成本,无需访问组件内部,并且能同时提供每一层的多分辨率归因,这是扁平方法在任何评估预算下都无法做到的。

作者指出,BOHM与SHAP回答的是不同的问题,当部署的路由器接近最优路由时,两者会趋于一致。在包含18个LLM、三层层次结构、覆盖880个LiveCodeBench问题的实验中,BOHM的Kendall tau达到0.928;而SHAP虽然能达到0.980,但每个种子需要多出9000倍的联盟评估次数。

在一项涉及5个驱动器和7个基准的代理式研究(共35个单元格,完整覆盖)中,驱动器将路由集中在单一工具上(顶部份额中位数为0.65),单元格级别的tau(BOHM, SHAP)可由驱动器的首选工具是否为经验上最佳工具来预测(平均+0.22对约+0.01)。在美国人口普查层次结构(475个叶节点,4层)上,BOHM在每一层都能恢复真实排名(tau最高达0.722)。

在理论性质方面,BOHM满足效率、单调性、对称性和弱抑制性,但不满足Shapley的可加性。作者认为,BOHM最好被理解为一个补充性的原语:一种可在任何存在路由状态的地方计算的多分辨率分解,其与Shapley方法的分歧本身具有诊断意义。该论文共35页,包含10张图和20张表,于2026年5月19日提交至arXiv。

展开要点与分析

文章情报

工程师进阶

要点

  • BOHM从现有路由权重直接提取分层归因树,无需访问组件内部或评估任意子集,边际成本为零。
  • 在18个LLM的三层层次结构上,BOHM的Kendall tau达到0.928,而SHAP需多9000倍的联盟评估才能达到0.980。
  • BOHM满足效率、单调性、对称性和弱抑制性,但不满足Shapley可加性,与SHAP的差异本身具有诊断价值。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。