arXivに発表された新研究「3, 7, 14, 17, 42：指示チューニングが言語モデルに数字選択ヒューリスティックを導入・先鋭化」は、言語モデルが「ランダムな数字を選ぶ」よう求められた際に1からNまでの各整数に割り当てる確率を正確に測定した。従来のサンプリングに依存する研究とは異なり、各整数の様々な綴りのスコアを合計して確率ベクトルを計算することで、サンプリング誤差を排除している。
研究では18のオープンウェイトモデル系列を、N=100までの5つの範囲、29のデコーディング設定、2つの推論スタックで評価した。うち15系列はベースと指示チューニング済みのチェックポイントが一致しており、両方とも使用可能な回答を返す。結果として、指示チューニングは15組すべてのペアで数字分布をより不均一にすることが示された。
具体的には、指示チューニングは新たなヒューリスティックである「丸数字回避」を導入し、既存の「端点回避」を強化する。ベースモデルは端点を集合から除くと丸数字を回避しないが、チューニング済みモデルは丸数字を明確に回避し、特に10の倍数はほぼ完全に避ける。ベースモデルが端点1とNを返す確率は内部の数字の0.30～0.60倍であるのに対し、チューニング済みモデルはほとんど端点を返さない。
また、奇数への選好はN=100の場合にのみチューニング済みモデルで一貫して見られ、ベースモデルも弱く示す。端点回避と奇数選好はKubovyとPsotkaが提唱した人間の数字選択理論と一致するが、丸数字回避はその理論には含まれず、理論が予測する中点回避はN=100でのわずかな例外を除いてほぼ存在しない。
チューニングはすべてのモデルに共有される「お気に入りの整数」を導入するわけではない。N>10では、チューニング条件の42%以上が共有する最頻整数は存在せず、P(17)は10組で上昇し5組で下降する。この集中はモデル自身の分布にも現れ、温度1.0でtop-p=0.95の核トランケーションは全変動距離の中央値を0.035増加させる。
本研究はサンプリング誤差のない手法で、指示チューニングが言語モデルの数字選択行動をどのように形成するかを明らかにし、人間の認知的ヒューリスティックとの関連を築くことで、モデル内部のバイアス理解に新たな視点を提供する。