BOHM：複合AI系統的零成本層次歸因方法
本文提出BOHM，一種從複合AI系統路由權重中提取層次歸因樹的方法，無需額外成本或訪問元件內部，提供多解析度歸因，與SHAP高度相關但成本極低。
文章情報
要點
- BOHM利用系統已有的路由權重構建歸因樹，零邊際成本。
- 在多個基準測試中，BOHM與SHAP的Kendall tau相關性高達0.928，而SHAP需要9000倍的計算量。
- BOHM滿足效率、單調性、對稱性和弱抑制性，但不滿足Shapley的可加性。
為什麼重要
這條新聞值得關注，因為BOHM利用系統已有的路由權重構建歸因樹，零邊際成本。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
複合AI系統透過層次化的專門元件路由任務，但歸因方法長期以來依賴Shapley值（SHAP），需要對任意元件子集進行評估。這在實際部署中面臨困難，因為第三方API、不透明端點以及僅路由到少數工具的代理編排器使得大部分子集無法評估。
針對這一挑戰，Joss Armstrong在《BOHM: Zero-Cost Hierarchical Attribution for Compound AI Systems》中提出了一種新方法。BOHM直接從系統維護的路由權重中提取層次歸因樹：葉節點歸因是根到葉路徑上的路由權重乘積；層級k歸因是深度k節點的誘導分佈。該方法零邊際成本，無需訪問元件內部，並能同時提供多解析度歸因。
實驗結果顯示，在包含18個LLM的三層層次結構和880個LiveCodeBench問題的測試中，BOHM的Kendall tau達到0.928，而SHAP在每次種子進行9000倍更多的聯盟評估後達到0.980。在涉及5個驅動器和7個基準的代理研究（35個單元格，完全覆蓋）中，驅動器通常聚焦於單一工具（頂部份額中位數為0.65），並且單元格級別的BOHM與SHAP相關性取決於驅動器首選工具是否是最佳工具（平均+0.22 vs ~+0.01）。在美國人口普查層次結構（475個葉子，4層）中，BOHM在每個層級都恢復了真實排名（tau最高0.722）。
BOHM滿足效率、單調性、對稱性和弱抑制性，但不滿足Shapley的可加性。它應被視為一種互補基礎方法：一種在存在路由狀態即可計算的多解析度分解，其與Shapley的分歧本身可提供診斷資訊。該論文由Joss Armstrong撰寫，於2026年5月19日提交至arXiv，共35頁，包含10張圖和20張表，主題涵蓋人工智慧和機器學習。