在人工智能领域，理解语言模型（LM）的决策过程是一个核心问题。一篇新论文《When Does a Language Model Commit? A Finite-Answer Theory of Pre-Verbalization Commitment》旨在揭示语言模型在最终输出答案之前，何时已经“决定”了答案偏好。研究人员提出了一种称为“有限答案偏好稳定化”的计算方法，可以在不依赖贪婪解码或学习探针的情况下，评估模型对答案的承诺时机。
该方法的核心是一个对数几率代码δ(ξ)，定义为S_θ(yes|ξ) - S_θ(no|ξ)，用于二元任务。通过将模型的延续概率投影到有限的答案集上，可以定义基于解析器的答案起始点、追溯稳定化时间以及领先时间。在实验中，研究人员使用Qwen3-4B-Instruct模型在受控的延迟裁决任务上进行测试，发现模型的上下文有限答案投影在答案可解析之前就已稳定，平均领先17-31个token。在清理解析器的复制实验中，领先时间略短但仍为正。
该信号追踪的是模型最终的输出内容，而非真实答案，这表明模型在内部形成了对输出结果的一致偏好。此外，这一信号可以从紧凑的隐藏状态摘要中线性恢复，部分独立于注意力游标，并且作为共享信息传递，而不依赖于单一的固定坐标。为了验证这一测量方法，研究人员进行了诊断分析，将其与在线停止、无言语化信念以及因果答案控制区分开来。尽管精确控制显示δ具有局部敏感性，但未能实现可靠的生成控制。
这些发现对于理解语言模型的内部动态至关重要，并为未来构建更透明、可解释的AI系统提供了新的工具。该研究已被提交至arXiv，并可在arXiv:2605.06723获取全文。