大規模言語モデル（LLM）の生成プロセスは、本質的に条件付き確率に依存している。先行するトークン列が与えられたとき、モデルは次のトークンをサンプリングするための確率を計算する。これらの確率は、モデルが訓練で学習し推論時に活用する分布構造を符号化している。最近arXivに投稿された論文「Probabilistic Attribution For Large Language Models」は、LLMを確率過程の数学的理論の枠組みに位置づけることで、モデル非依存の確率的トークン帰属尺度を設計できると提案している。
この研究はShilpika Shilpikaら5名の著者によって2026年5月20日に提出され、29ページ・13図からなる。論文の中心的なアイデアは、ベイズ規則を用いて次トークンの対数確率を反転させ、モデルが持つトークン列分布の内部表現を捉えることにある。この表現はモデルの計算構造に依存せず、モデルが出力する確率値のみに基づく。具体的には、この表現からプロンプトが与えられたときの応答の条件付き確率と、あるトークンを周辺化した上でプロンプトが与えられたときの応答の条件付き確率が得られる。帰属スコアは、これら2つの確率の比の対数として定義される。
さらに著者らは、残りのコンテキストを条件とした単一プロンプトのトークン分布のエントロピーも計算している。エントロピーと帰属スコアの相互作用は、LLMの振る舞いを明らかにするのに役立つ。手法を検証するため、研究チームは8つのモデルを7つのプロンプトで評価し、異常現象、トークン感度、応答安定性、モデル安定性、訓練収束性などを調査した。これらの分析はモデルの解釈性を高め、生成プロセスにおける不確実または不安定な部分にユーザーが注目できるように導くことを目的としている。
本論文は計算と言語（cs.CL）および人工知能（cs.AI）の分野に属し、その手法はモデルの具体的なアーキテクチャに依存しないため、汎用性が高い。確率的帰属とエントロピー分析を組み合わせることで、この研究はLLMの内部意思決定メカニズムを理解するための新たな定量的ツールを提供し、研究者や開発者がモデルの振る舞いをより効果的に診断し、プロンプト設計を最適化し、生成結果の信頼性を向上させるのに役立つことが期待される。