大規模言語モデル（LLM）のほとんどは、実際にはマルチターンの会話の中で運用されている。各ターンでは新たな証拠が提示され、それによって環境に関する認識論的不確実性が低減されるはずである。合理的に行動するには、モデルは環境を支配する未観測の量を推論し、証拠が蓄積されるにつれてそれらに関する信念を更新する必要がある。しかし、既存の評価の多くは、単一ターン形式での最終ターンの回答のみを採点しており、この信念更新プロセスはほとんど検討されていない。
この空白を埋めるため、Ankur Samanta氏ら10名の研究者チームはBayesBenchを提案した。これは、マルチターン設定においてLLMの信念更新が理想的なベイズ推論者にどの程度近いかを測定するためのシミュレーション環境群である。このベンチマークは、段階的に複雑化する3つのタスクを用意している。第一にベイズ推定：モデルは逐次的に与えられる証拠から未知のパラメータを推論する。第二にベイズ予測：モデルは潜在変数に関する推論された信念を結果の予測に変換する。第三に潜在的フレーミング付きベイズ予測：観測がユーザーペルソナのフレーミングを通してフィルタリングされ、モデルは潜在状態とペルソナの両方について同時に推論する必要がある。
研究チームは、30億から700億のパラメータを持つ7つのLLMでテストを実施した。その結果、モデルの規模拡大に伴い、潜在状態の推論と証拠蓄積の能力は向上し、信念更新がベイズ事後分布と一致する場合もあることが示された。しかし重要な発見は、これらの向上が下流の予測タスクに確実に引き継がれるわけではないという点である。つまり、モデルは潜在構造をより適切に推論できるようになっても、その推論を利用して目標結果に関する信念を合理的に更新できるとは限らないのである。このギャップは、現在のLLMにおける合理的信念更新の構造的な弱点を浮き彫りにしている。
本論文は2026年6月29日に提出された人工知能（cs.AI）分野のプレプリントであり、arXiv:2606.30850として公開されている。BayesBenchの提案は、再現可能な評価フレームワークを提供し、マルチターン対話において人間の合理的推論に近い信念動態を実現するための今後の研究を促進するものである。