一项发表于arXiv的新研究《3, 7, 14, 17, 42：指令微调在语言模型中安装并强化数字选择启发式》由Samar Ansari完成，该研究精确测量了语言模型在被要求“随机选一个数字”时对1到N每个整数赋予的概率。与以往依赖采样的研究不同，该方法通过汇总每个整数各种拼写形式的得分来计算概率向量，从而消除了采样误差。
研究评估了18个开放权重模型系列，涵盖五个范围（最大至N=100），测试了29种解码配置和两种推理栈。其中15个模型系列拥有匹配的基座和指令微调检查点，且两者都能给出可用答案。结果表明，指令微调在所有15对模型中都使数字分布变得更加不均匀。
具体而言，指令微调“安装”了一种新的启发式——回避整数（round-number avoidance），即避免选择10的倍数等整数；同时“强化”了另一种已有的启发式——回避端点（endpoint avoidance），即避免选择1和N这样的边界数字。在基座模型中，一旦从集合中移除端点，它们并不回避整数；而微调模型则明显回避整数，尤其是几乎完全避免10的倍数。基座模型返回端点1和N的概率是内部数字的0.30到0.60倍，而微调模型几乎从不返回端点。
研究还发现，对奇数的偏好仅在N=100时于微调模型中一致出现，基座模型也微弱地表现出这一偏好。端点回避和奇数偏好与Kubovy和Psotka提出的人类数字选择理论相符，但回避整数并不属于该理论的一部分，而该理论预测的中点回避现象几乎不存在，仅在N=100时有一个轻微例外。
指令微调并没有在所有模型中安装一个共享的“最爱数字”：当N>10时，没有任何一个模态整数被超过42%的微调条件所共享，且P(17)在10对模型中上升，在5对中下降。这种集中现象也存在于模型自身的分布中：在温度1.0时，top-p=0.95的核截断使总变差距离的中位数增加了0.035。
该研究通过无采样误差的方法，揭示了指令微调如何塑造语言模型的数字选择行为，并建立了与人类认知启发式的联系，为理解模型内部偏差提供了新视角。