BOHM：复合AI系统的零成本层次归因方法
本文提出BOHM，一种从复合AI系统路由权重中提取层次归因树的方法，无需额外成本或访问组件内部，提供多分辨率归因，与SHAP高度相关但成本极低。
文章情报
要点
- BOHM利用系统已有的路由权重构建归因树，零边际成本。
- 在多个基准测试中，BOHM与SHAP的Kendall tau相关性高达0.928，而SHAP需要9000倍的计算量。
- BOHM满足效率、单调性、对称性和弱抑制性，但不满足Shapley的可加性。
为什么重要
这条新闻值得关注，因为BOHM利用系统已有的路由权重构建归因树，零边际成本。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
复合AI系统通过层次化的专门组件路由任务，但归因方法长期以来依赖Shapley值（SHAP），需要对任意组件子集进行评估。这在实际部署中面临困难，因为第三方API、不透明端点以及仅路由到少数工具的代理编排器使得大部分子集无法评估。
针对这一挑战，Joss Armstrong在《BOHM: Zero-Cost Hierarchical Attribution for Compound AI Systems》中提出了一种新方法。BOHM直接从系统维护的路由权重中提取层次归因树：叶节点归因是根到叶路径上的路由权重乘积；层级k归因是深度k节点的诱导分布。该方法零边际成本，无需访问组件内部，并能同时提供多分辨率归因。
实验结果显示，在包含18个LLM的三层层次结构和880个LiveCodeBench问题的测试中，BOHM的Kendall tau达到0.928，而SHAP在每次种子进行9000倍更多的联盟评估后达到0.980。在涉及5个驱动器和7个基准的代理研究（35个单元格，完全覆盖）中，驱动器通常聚焦于单一工具（顶部份额中位数为0.65），并且单元格级别的BOHM与SHAP相关性取决于驱动器首选工具是否是最佳工具（平均+0.22 vs ~+0.01）。在美国人口普查层次结构（475个叶子，4层）中，BOHM在每个层级都恢复了真实排名（tau最高0.722）。
BOHM满足效率、单调性、对称性和弱抑制性，但不满足Shapley的可加性。它应被视为一种互补基础方法：一种在存在路由状态即可计算的多分辨率分解，其与Shapley的分歧本身可提供诊断信息。该论文由Joss Armstrong撰写，于2026年5月19日提交至arXiv，共35页，包含10张图和20张表，主题涵盖人工智能和机器学习。