プロンプトのロバスト性はタスクに依存する：LLM評価における客観的質問と信念型質問の比較
新しい研究により、大規模言語モデル（LLM）のプロンプトに対するロバスト性は、客観的質問と主観的質問で大きく異なり、モデルやデータセット、プロンプトの変更によって変動することが明らかになった。研究者らは、LLMの主観的質問への回答をそのまま信念の指標と解釈することに警鐘を鳴らしている。
大規模言語モデル（LLM）の評価では、アンケート形式を用いてプロンプトへの回答をモデルの価値観や信念の指標と見なすことがよくあります。しかし、この前提は、政治的な価値観、社会的態度、信念に関する主観的な質問に対して特に脆弱です。2026年7月6日にarXivに提出された新しい研究（論文ID: 2607.05554）では、客観的質問と主観的質問におけるLLMのプロンプトロバストネスの違いを体系的に調査しています。研究チームは、4つの代表的な指示チューニング済みモデルファミリーを選択し、3つの客観的データセット（MMLU、ARC、CulturalBench）と3つの主観的データセット（Political Compass Test、ValueBench、World Values Survey）を使用しました。各質問またはステートメントに対して、言い回しの変更、フレーミングの変更、回答形式の変更など、複数タイプのプロンプトバリエーションを適用し、モデルが異なるバリエーションで同じ回答を生成する頻度を測定しました。二項一般化推定方程式を用いた分析の結果、モデル、データセット、プロンプトカテゴリ、およびそれらの交互作用がプロンプトロバストネスに統計的に有意な影響を与えることが明らかになりました。特に、データセットタイプ（客観的vs主観的）とプロンプトカテゴリの間の交互作用が大きいことが確認されました。これらの結果は、LLMのプロンプトロバストネスが質問のタイプ、プロンプトの変更方法、およびモデル自体に依存することを示しています。研究者は、調査形式の評価において、LLMの主観的質問への回答をそのまま政治的価値観や社会的態度、信念の証拠として解釈することに対して警告を発しています。この研究は、LLMの信頼性評価に新たな視点を提供し、評価タスクの設計において問題の性質とプロンプト感度を考慮する重要性を強調しています。将来的には、このような研究がより堅牢な評価手法の開発や、LLMの出力を過度に解釈しないためのガイドライン策定に寄与する可能性があります。また、この研究は、異なるモデル間でプロンプトロバストネスがどのように異なるかを明らかにすることで、モデル選択の際の重要な考慮事項を提供しています。さらに、客観的データセットと主観的データセットの違いがプロンプトロバストネスに与える影響を詳細に分析しており、これは今後のベンチマーク設計に貴重な洞察を与えるものです。