一篇發表於arXiv上的新論文《Probabilistic Attribution For Large Language Models》提出了一種創新的概率歸因方法，用於解釋大型語言模型（LLM）的生成行為。該方法的核心思想是將LLM視為一個隨機過程，利用模型在生成每個令牌時計算的條件概率。通過貝葉斯規則反轉下一令牌的對數概率，研究人員能夠捕捉模型內部對令牌序列分佈的表示，這種表示獨立於模型的具體計算結構。
具體而言，該表示可以計算在給定提示下響應的條件概率，以及當某個令牌被邊緣化（即去除）後的響應概率。歸因分數定義為這兩個概率比值的對數。此外，研究還計算了單個提示的令牌分佈熵，該熵受上下文影響。熵與歸因分數之間的相互作用揭示了LLM行為的深層規律，例如模型在不同令牌上的不確定性和穩定性。
實驗部分，研究者在7個不同的提示上評估了8個不同的模型，涵蓋了從GPT、LLaMA到其他開源模型的廣泛範圍。他們分析了異常現象、令牌敏感性、響應穩定性、模型穩定性以及訓練收斂性。結果表明，該方法能夠有效提升模型的可解釋性，幫助用户識別生成過程中不確定或不穩定的部分，從而更好地調試和信任LLM。
該論文還討論了歸因分數如何揭示模型對特定令牌的依賴關係，以及熵如何指示模型在生成過程中的不確定性。這些發現為理解LLM的行為機理提供了新的視角，併為未來開發更可靠的AI系統奠定了基礎。論文共29頁，包含13張圖表，由5位作者共同完成，投稿至arXiv並於2026年5月20日發佈。