一項發表於arXiv的新研究《3, 7, 14, 17, 42：指令微調在語言模型中安裝並強化數字選擇啓發式》由Samar Ansari完成，該研究精確測量了語言模型在被要求“隨機選一個數字”時對1到N每個整數賦予的概率。與以往依賴採樣的研究不同，該方法通過彙總每個整數各種拼寫形式的得分來計算概率向量，從而消除了採樣誤差。
研究評估了18個開放權重模型系列，涵蓋五個範圍（最大至N=100），測試了29種解碼配置和兩種推理棧。其中15個模型系列擁有匹配的基座和指令微調檢查點，且兩者都能給出可用答案。結果表明，指令微調在所有15對模型中都使數字分佈變得更加不均勻。
具體而言，指令微調“安裝”了一種新的啓發式——迴避整數（round-number avoidance），即避免選擇10的倍數等整數；同時“強化”了另一種已有的啓發式——迴避端點（endpoint avoidance），即避免選擇1和N這樣的邊界數字。在基座模型中，一旦從集合中移除端點，它們並不迴避整數；而微調模型則明顯迴避整數，尤其是幾乎完全避免10的倍數。基座模型返回端點1和N的概率是內部數字的0.30到0.60倍，而微調模型幾乎從不返回端點。
研究還發現，對奇數的偏好僅在N=100時於微調模型中一致出現，基座模型也微弱地表現出這一偏好。端點回避和奇數偏好與Kubovy和Psotka提出的人類數字選擇理論相符，但迴避整數並不屬於該理論的一部分，而該理論預測的中點回避現象幾乎不存在，僅在N=100時有一個輕微例外。
指令微調並沒有在所有模型中安裝一個共享的“最愛數字”：當N>10時，沒有任何一個模態整數被超過42%的微調條件所共享，且P(17)在10對模型中上升，在5對中下降。這種集中現象也存在於模型自身的分佈中：在温度1.0時，top-p=0.95的核截斷使總變差距離的中位數增加了0.035。
該研究通過無採樣誤差的方法，揭示了指令微調如何塑造語言模型的數字選擇行為，並建立了與人類認知啓發式的聯繫，為理解模型內部偏差提供了新視角。