BOHM：複合AIシステムのためのゼロコスト階層的属性帰属
本論文は、複合AIシステムのルーティング重みから階層的属性帰属木を抽出する手法BOHMを提案する。追加コストやコンポーネント内部へのアクセスを必要とせず、多解像度の帰属を提供し、SHAPと高い相関を示すがコストは極めて低い。
記事インテリジェンス
要点
- BOHMはシステムが既に持つルーティング重みを利用して帰属木を構築し、限界コストはゼロ。
- 複数のベンチマークでBOHMのKendall tauは0.928に達し、SHAPは9000倍の評価を要して0.980。
- BOHMは効率性、単調性、対称性、弱抑制性を満たすが、Shapley加法性は満たさない。
重要な理由
このニュースが重要なのは、BOHMはシステムが既に持つルーティング重みを利用して帰属木を構築し、限界コストはゼロためです。
技術的影響
モデル選定、推論コスト、プロダクト能力、評価基準に影響する可能性があります。
複合AIシステムは、階層化された専門コンポーネントを通じてタスクをルーティングしますが、属性帰属は長らくShapley値（SHAP）に依存してきました。SHAPは任意のコンポーネントサブセットに対する評価を必要としますが、実際のデプロイでは、サードパーティAPIや不透明なエンドポイント、さらに少数のツールにルーティングを集中させるエージェントオーケストレータのために、ほとんどのサブセットを評価できません。
この課題に対して、Joss Armstrongは「BOHM: Zero-Cost Hierarchical Attribution for Compound AI Systems」で新しい手法を提案しました。BOHMは、システムが維持するルーティング重みから直接、階層的属性帰属木を抽出します。葉の帰属はルートから葉へのルーティング重みの積であり、レベルkの帰属は深さkのノード上の誘導分布です。この手法は限界コストがゼロで、コンポーネント内部へのアクセスを必要とせず、同時に多解像度の帰属を提供します。
実験結果によると、3層の階層構造と880のLiveCodeBench問題を用いた18のLLMのテストで、BOHMのKendall tauは0.928でした。一方、SHAPはシードあたり9000倍多い連合評価を行い0.980に達しました。5つのドライバーと7つのベンチマークを用いたエージェント研究（35セル、完全カバレッジ）では、ドライバーは単一のツールにルーティングを集中させ（トップシェア中央値0.65）、セルレベルのBOHMとSHAPの相関は、ドライバーの最優先ツールが経験的に最良のツールであるかどうかによって予測されました（平均+0.22対約+0.01）。米国国勢調査の階層（475葉、4レベル）では、BOHMはすべてのレベルで真のランキングを回復しました（tau最大0.722）。
BOHMは効率性、単調性、対称性、弱抑制性を満たしますが、Shapleyの加法性は満たしません。これは、ルーティング状態が存在する場所であれば計算可能な多解像度分解であり、Shapleyとの不一致自体が診断情報を提供する、補完的な基本手法として理解されるべきです。本論文は2026年5月19日にarXivに提出され、35ページ、10図、20表から構成され、人工知能および機械学習の分野に分類されています。