提示鲁棒性因任务而异：比较LLM评估中的客观与信念型问题
新研究表明，大型语言模型（LLM）的提示鲁棒性在客观问题和主观问题之间存在显著差异，且这种差异受到模型、数据集和提示变化类型的影响。研究人员警告称，不应将LLM对主观问题的回答视为其价值观或信念的直接反映。
大型语言模型（LLM）的评价常采用调查问卷形式，将模型对提示的回答视为其价值观或信念的度量。然而，这种假设在面对政治观点、社会态度等主观问题时尤为脆弱。一项由Sadia Kamal等人提交至arXiv的新研究（论文编号2607.05554，2026年7月6日提交）系统探究了LLM的提示鲁棒性在客观问题与主观问题之间的差异。研究团队选取了四种当前主流的指令微调模型家族，涵盖了多种规模和架构。他们使用了六个基准数据集：三个客观数据集（MMLU，涵盖多学科知识；ARC，科学推理；CulturalBench，文化常识）和三个主观数据集（Political Compass Test，衡量政治倾向；ValueBench，评估价值取向；World Values Survey，世界价值观调查）。对于每个问题或陈述，研究者精心设计了多种提示变化，包括措辞的细微调整、问题框架的转换以及回答格式的改变（例如，将单选题改为开放式回答）。他们测量了模型在不同提示变体下给出相同答案的频率作为鲁棒性指标。通过二项式广义估计方程进行严格的统计分析，结果发现模型类型、数据集、提示类别以及它们之间的交互效应均对鲁棒性有统计显著的影响。特别值得注意的是，数据集类型（客观vs主观）与提示类别之间的交互效应非常大，这意味着主观问题对不同提示变化的敏感度远高于客观问题。此外，不同模型的表现也存在差异，进一步说明提示鲁棒性是一个多因素依赖的动态特征。研究者强调，这些发现对当前流行的调查式LLM评估方法提出了重要警示：将LLM对主观问题的回答直接解释为其政治价值观、社会态度或信念的证据是不稳妥的。该研究为LLM的可信度评估开辟了新视角，提示评估设计者需要区分问题类型，并考虑提示的敏感性。同时，它也启示用户在使用LLM时需谨慎设计提示，以确保获得一致且可靠的输出。该工作可能推动未来评估方法的发展，例如开发更精细的鲁棒性测试套件，或引入对抗性提示测试。总之，这篇论文有力地证明了LLM的提示鲁棒性高度任务依赖，为人工智能社区提供了有价值的指导。此外，研究还指出，当前许多评估基准可能过于简化，忽略了提示变异性带来的影响。未来，研究者需要更加关注评估的生态效度，确保测评结果能够泛化到真实应用场景中。