人間の意思決定は逐次的で不確実性を認識しているが、標準的なニューラルネットワークはしばしば静的で密な順伝播計算に依存しており、証拠の獲得、不確実性の進化、計算をいつ停止すべきかについての可視性が限られている。そこで研究者らは、ニューラル推論を階層有向非巡回グラフ(DAG)上の能動的な証拠蓄積としてモデル化するニューラルベイズ逐次ルーティング(Neural Bayesian Sequential Routing, NBSR)フレームワークを導入した。
NBSRの中心にはDirichlet-カテゴリカル共役フレームワークがある。このフレームワークでは、ニューラルエキスパートが永続的なグローバル知識オラクルに問い合わせて正の証拠ベクトルを抽出し、これらを擬似カウントとして、正確な共役加算によってDirichlet信念状態を更新する。Gumbel-Softmaxストレートスルー推定器と組み合わせることで、この更新はエンドツーエンド学習のための代理勾配を保持しながら、ハードで経路依存的なルーティングを可能にする。結果として得られるDirichlet精度とエントロピーは、不確実性定量化、エントロピーに基づく早期終了、分布外棄却、コスト認識型証拠獲得のメカニズムを提供する。
理論面では、厳密に正の証拠抽出の下で、総Dirichlet精度が任意の有効な軌跡に沿って単調に増加し、周辺予測分散が有界であることを証明し、逐次的な「仮説の先鋭化」を形式化している。さらに、理想的な容量と最適化の仮定の下で、終端のDirichlet期待値がベイズ最適条件分布を回復することも示している。
NBSRの有効性を検証するため、著者らは視覚分類、構造化医療診断、言語モデリング、部分観測制御、コスト認識型ベイズ実験設計など複数の領域で実証評価を行った。実験結果は、NBSRが競争力のある予測性能を達成しながら、透明なルーティングトレース、経路依存的な証拠帰属、不確実性を認識した意思決定制御、リソース合理的な推論を提供することを示している。
全体として、NBSRは解釈可能でモジュール式かつリソース合理的なエージェントAIのための数学的に基礎づけられたフレームワークを提供する。この研究は、信頼性の高い不確実性定量化と効率的な推論を必要とする分野に重要な影響を与える可能性がある。