跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

神经贝叶斯序列路由 (NBSR):一种证据积累式的推理框架

文章摘要

该论文提出神经贝叶斯序列路由(NBSR),将神经网络推理建模为在层次有向无环图(DAG)上主动积累证据的过程,通过Dirichlet-分类共轭框架和Gumbel-Softmax路由实现不确定性量化与提前退出,在多个任务上取得有竞争力的预测性能。

来源arXiv Machine Learning作者: Yongchao Huang
神经贝叶斯序列路由 (NBSR):一种证据积累式的推理框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

Yongchao Huang 于 2026 年 5 月 22 日向 arXiv 提交了题为《Neural Bayesian Sequential Routing》的论文(编号 arXiv:2605.26147v1,属机器学习 cs.LG 分类,全文共 71 页)。该工作针对当前标准神经网络的一个根本性局限提出改进:尽管人类的决策过程是序列化且对不确定性敏感的,但主流神经网络仍依赖静态、稠密的前向计算,对外部证据如何被获取、不确定性如何演变、以及计算应在何时停止等问题缺乏可见性。

为此,作者提出了“神经贝叶斯序列路由”(NBSR)框架,将神经推理建模为在分层有向无环图(DAG)上进行的主动证据累积过程。在这一框架内,神经专家模块会查询一个持久化的全局知识预言机(oracle),从中抽取正向证据向量;这些向量被当作伪计数使用,并通过精确的共轭加法更新一个 Dirichlet 信念状态,从而形成 Dirichlet–Categorical 共轭体系。

为了使路由过程既保持硬性、又支持端到端训练,作者将上述更新与 Gumbel-Softmax 直通(Straight-Through)估计器结合:前者实现依据路径的硬路由选择,后者则为反向传播保留代理梯度。由此得到的 Dirichlet 精度与熵,为多种机制提供了数学基础,包括不确定性量化、基于熵的提前退出、分布外(OOD)样本的弃权处理,以及考虑成本证据获取策略。

论文还给出了理论分析。作者证明,在严格正向证据抽取的条件下,沿着任何有效轨迹,总的 Dirichlet 精度都会单调递增,且边际预测方差有界,从而将序列化的“假设锐化”过程形式化;此外,在理想化的容量与优化假设下,终端的 Dirichlet 期望能够恢复贝叶斯最优的条件分布。

实证方面,作者在视觉分类、结构化医学诊断、语言建模、部分可观测控制以及成本感知的贝叶斯实验设计等多类任务上进行了评估。结果显示,NBSR 在取得有竞争力的预测性能的同时,还能提供透明的路由轨迹、基于路径的证据归因、具备不确定性感知的决策控制,以及资源理性的推理能力。作者总结认为,NBSR 为可解释、模块化且资源理性的智能体式人工智能提供了一个有数学基础的框架。

展开要点与分析

文章情报

工程师进阶

要点

  • NBSR将推理建模为在层次DAG上的序列证据积累,使用Dirichlet信念状态更新。
  • 通过Gumbel-Softmax直通估计器实现硬性路径路由并保留梯度。
  • 理论证明证据提取时Dirichlet精度单调递增,预测方差有界。
  • 在视觉分类、医疗诊断、语言建模等任务上验证了竞争性性能和可解释路由。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。

神经贝叶斯序列路由 (NBSR):一种证据积累式的推理框架 | AI News Hub