近日，一篇题为《Probabilistic Attribution For Large Language Models》（面向大语言模型的概率归因）的论文以预印本形式发布在 arXiv 上，编号为 arXiv:2605.21726，归类于计算与语言（cs.CL）以及人工智能（cs.AI）方向。论文由 Shilpika Shilpika 及另外四位作者共同完成，于 2026 年 5 月 20 日提交，全文共 29 页，包含 13 幅图表。
研究从一个基本观察出发：大语言模型的生成特性直接体现在它为采样每个响应 token 所计算的条件概率中——这些概率以之前的 token 为条件。作者认为，这些概率编码了模型在训练阶段学到的分布结构，并在推理阶段被加以利用。基于这一认识，论文将大语言模型置于随机过程的数学理论框架之内，从而为理解和分析模型行为提供了新的理论视角。
在这一框架下，作者设计了一种与模型无关的概率式 token 归因度量方法。该方法利用贝叶斯法则对下一 token 的对数概率进行反演，从而捕捉模型对 token 序列分布的内部表示。值得注意的是，这种表示独立于模型的具体计算结构，因此该方法可以适用于不同架构的模型，而不必依赖其内部实现细节。
具体而言，该表示能够给出两个关键量：一是给定提示词（prompt）时响应的条件概率；二是在将某个 token 边缘化（marginalized away）之后，给定提示词时响应的条件概率。论文提出的归因分数即为这两个概率之比的对数。通过比较移除某一 token 前后响应概率的变化，该方法可以量化该 token 对最终生成结果的影响程度。
除归因分数外，作者还计算了单一提示词各 token 分布在给定其余上下文条件下的熵。熵反映了模型在该位置上的不确定性，而归因分数与熵之间的相互作用则有助于揭示大语言模型的行为规律。这一组合分析为解释模型为何生成特定输出提供了更细致的线索。
在实验部分，研究团队在 7 个提示词上对 8 个模型进行了评估，并考察了多个方面的现象，包括异常情况、token 敏感性、响应稳定性、模型稳定性以及训练收敛性。这些分析旨在提升模型的可解释性，并引导用户将注意力集中在生成过程中不确定或不稳定的部分，从而更理性地判断模型输出的可靠性。
总体来看，该工作将大语言模型的生成过程形式化为随机过程，并据此提出一种不依赖模型内部结构的归因方法，为模型可解释性研究提供了新的工具与思路。论文的完整内容、PDF 及实验性 HTML 版本均可在 arXiv 平台上获取，DOI 为 10.48550/arXiv.2605.21726。