同じ質問、異なる答え：精度を超えたLLMの信頼性評価
大規模言語モデル（LLM）はベンチマークで高い精度を示すが、同じ質問でも意味を保持した言い換えによって答えが変わることがある。4つのベンチマークと13のモデルを調査した結果、インスタンスレベルの動作は不安定で、不整合率が23%を超えることが判明。知識が存在しても一貫して検索されず、自己パラフレーズ戦略で潜在知識を部分的に回復できる。
最近、arXiv（論文ID: 2607.22554）に掲載された研究では、大規模言語モデル（LLM）の信頼性について詳細に調査されました。論文はKazem Faghihら6名の著者によるもので、2026年5月18日に提出されました。
研究チームは、事実に基づく質問応答と数学的推論タスクをカバーする4つのベンチマークで13のモデルを評価し、意味を保持した言い換えに対するモデルの回答の変化を観察しました。その結果、全体の正解率は言い換えによってほとんど変化しないものの、個々の質問に対する動作は非常に不安定であることがわかりました。多くの質問で、モデルは言い回しに応じて正解と不正解を行き来し、不整合率は23%以上に達しました。特に元の言い回しで正解した質問に限定すると、回答の変動はさらに大きく、単一のプロンプトでの正解は信頼性の指標として不十分であることが示されました。
興味深いことに、モデルは少なくとも1つの言い換えに対して正解を出すことが多く、これはモデルが本来知識を持っているが、一貫して検索できていないことを示唆しています。この観察に基づき、研究者らは「自己言い換え」戦略を提案しました。推論時に同じ質問に対して複数の言い換えを生成し、それらの回答を集約することで、潜在的な知識を部分的に回復し、パフォーマンスを向上させることができました。
この研究は、標準的な正解率の指標がLLMの本質的な不安定性を隠蔽している可能性があり、信頼性をより明確に評価するためには、等価な入力に対する一貫性を調べる必要があると結論づけています。今後のLLMの評価と実用化に向けて重要な示唆を与える成果です。