跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

神經貝葉斯順序路由

文章摘要

神經貝葉斯順序路由(NBSR)是一種將神經推理建模為有向無環圖上主動證據累積的框架。它利用狄利克雷-分類共軛框架,通過全局知識庫提取正證據向量,並採用Gumbel-Softmax直通估計器實現硬路徑路由。該框架提供不確定性量化、早期退出、分佈外拒絕和成本感知證據獲取機制。理論證明單調精度增長和有界方差,實驗表明其在多種任務中具有競爭力的性能。

來源arXiv Machine Learning作者: Yongchao Huang
神經貝葉斯順序路由
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

神經貝葉斯順序路由(Neural Bayesian Sequential Routing, NBSR)是一種新穎的框架,旨在將神經網絡的推理過程建模為主動證據累積,類似於人類決策的序列性和不確定性感知能力。傳統的神經網絡通常執行靜態、密集的前向計算,缺乏對證據獲取、不確定性演化或計算何時停止的可見性。NBSR通過在層次化有向無環圖(DAG)上模擬推理過程,克服了這些侷限性。

在這個框架中,神經網絡專家查詢一個持久的全局知識庫,提取正證據向量,這些向量作為偽計數,通過精確共軛加法更新狄利克雷信念狀態。結合Gumbel-Softmax直通估計器,這種更新能夠實現硬性、路徑依賴的路由,同時保留用於端到端訓練的代理梯度。由此產生的狄利克雷精度和熵為不確定性量化、基於熵的早期退出、分佈外(OOD)拒絕和成本感知證據獲取提供了機制。

從理論上講,NBSR證明在嚴格正證據提取下,總狄利克雷精度沿任何有效軌跡單調增加,邊際預測方差有界,形式化了順序“假設鋭化”過程。在理想化的容量和優化假設下,終端狄利克雷期望恢復貝葉斯最優條件分佈。實驗評估涵蓋了視覺分類、結構化醫學診斷、語言建模、部分可觀察控制和成本感知貝葉斯實驗設計等多個領域,結果表明NBSR在提供透明的路由軌跡、路徑依賴的證據歸因、不確定性感知的決策控制和資源合理推理的同時,實現了具有競爭力的預測性能。總體而言,NBSR為可解釋、模塊化和資源合理的智能體AI提供了一個數學基礎紮實的框架。該論文提交於2026年5月22日,作者為Yongchao Huang,共71頁,屬於機器學習(cs.LG)領域。

展開要點與分析

文章情報

工程師進階

要點

  • NBSR將推理視為有向無環圖上的順序證據累積
  • 使用狄利克雷信念狀態和Gumbel-Softmax實現路徑路由
  • 提供不確定性量化、早期退出和成本感知機制
  • 理論保證單調精度增長,實驗驗證有效性

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。