语言模型如何理解模糊强度词？一项关于数值行为的实证研究

arXiv 上发布的一项新研究（论文编号：2605.21827）系统性地探讨了语言模型（LLM）在面对需要产生数值行为的自然语言指令时，如何解释诸如“slightly”和“drastically”这类模糊强度词。该研究由佐治亚理工学院的 Daniel Tabach 进行，旨在检验 LLM 是否保留了这些强度词的序数含义。

研究者构建了一个包含10个英语程度修饰词的量表，从“slightly”到“drastically”，基于 Quirk 等人的程度修饰词分类法。在受控的资源分配环境中，Claude Haiku 模型接收自然语言指令，生成一个数值分配，然后由确定性后端将该分配转换为可测量的结果。实验设计确保了唯一变化的变量是强度词或起始系统状态，从而隔离它们对模型数值输出的影响。

实验共进行了 6620 次运行，温度参数设置为 0.0 和 0.7。分析揭示了三个主要模式：首先，模型将10个强度词压缩为5个不同的中位数输出。四个较低等级的词汇（如“slightly”和“a bit”）均映射到相同的值，而较强的词汇则进入更高的区间（斯皮尔曼相关系数 ρ=0.845，p<0.001）。这表明模型对弱强度词的区分能力有限。

其次，当提供当前系统状态作为上下文时，Kruskal-Wallis 检验显示，按起始分配进行分组比按词汇分组解释的秩方差更多（基于起始分配的 ε²=0.782，基于词汇的 ε²=0.079）。随着系统接近容量，词汇的区分度降为零，说明上下文状态主导了数值决策。

第三，在接近可行性极限时，模型展现出三种行为模式：弱词通过小幅调整进行对冲，强词完全弃权，而词汇“drastically”则将分配推至局部上限。这些模式在温度变化下保持一致；随机抽样虽然拓宽了分布，但未恢复词汇之间的序数区分。

该研究揭示了在这一模型和领域内，语言模型对模糊强度词的数值解释存在压缩、状态依赖和操作边界附近不连续的特点。这些发现对于理解 LLM 如何在自然语言指令下执行数值任务具有重要意义，尤其是涉及程度修饰语的应用场景。