大语言模型(LLM)在处理用户输入时,常常会像面对一个只有唯一确定含义的问题那样直接给出答案。然而,许多提示本身就包含多种合理解释,这种输入歧义是模型不确定性的上游源头。当一个问题可以有不同理解时,真正关键的是先判断模型是否应该直接回答,而不是急于生成一个可能基于错误理解的答案。
现有处理输入不确定性的方法,往往依赖让LLM生成额外陈述或澄清问题来辅助判断。但这类做法存在一个根本缺陷:生成澄清或复述的过程本身可能已经消除了歧义,导致后续测量的“不确定性”失真。也就是说,模型可能在测量之前就不自觉地完成了消歧,使得检测结果无法反映原始输入的歧义程度。
针对这一问题,论文提出了一种标签保持的扰动框架,用于检测LLM输入中的歧义。该框架的核心思想是:对原始输入施加微小扰动,使扰动后的文本在语义上仍然接近原输入,同时保持其标签不变——即不改变输入所对应的正确输出或意图。通过观察模型对这些扰动输入的响应差异,可以更可靠地推断原始输入是否存在歧义。
作者具体实现了两种检测器。第一种是黑盒规则基扰动库,不依赖模型内部信息,通过预定义的规则对输入进行改写和扰动。第二种是白盒重要性引导方法,利用模型内部信号(如注意力或梯度)识别输入中重要的部分,并针对这些部分施加扰动。两种方法分别覆盖了无法访问模型内部和可以访问模型内部的不同场景。
实验在四个数据集上进行,涵盖开放域问答、对话问答和视觉问答等任务。结果表明,所提出的方法在检测输入歧义方面优于两类基线:一类是基于输出侧不确定性的方法,另一类是基于LLM复述生成扰动的基线。这验证了“先检测歧义、再尝试消歧”这一原则的有效性,也说明保留标签的扰动比让LLM自由复述更能揭示原始输入的歧义。
该研究强调,输入歧义检测应作为模型回答前的独立步骤,而不是与消歧过程混在一起。论文已被AACL-IJCNLP 2026主会接收,代码已在GitHub上公开。这项工作为构建更可靠、更谨慎的LLM交互系统提供了新的思路:在模型给出答案之前,先判断问题本身是否足够明确。