現代の大規模言語モデル（LLM）において、言語的特徴は単なるスタイルの産物ではなく、訓練のアラインメント目標の下で割り当てられた確率質量のプローブとして機能している。論文「コンテキストシフトからスタイル崩壊へ：なぜスケールより訓練目標が重要なのか」は、4.1億から1000億以上までのパラメータを持つ17のモデルを、24の言語学的に動機付けられたプローブを用いて分析し、現代の訓練パイプラインが引き起こす深刻な言語特徴の再形成を明らかにした。
研究によると、指示チューニングされたシステムは談話次元と構造次元に沿って言語エントロピーを体系的に崩壊させ、平均増幅率は1,949%から16,853%、ピークでは5,181%から209,675%に達する。同時に、複雑な句読点の使用はベースライン頻度の3.2%から23.2%に選択的に抑制される。これは、アラインメントされたモデルの言語分布がより狭く均質になっていることを意味する。
注目すべきは、これらの効果がRLHFによってさらに悪化しないことだ。一致したベースモデルと指示チューニングモデルのペア間で、差異パターンは統計的に区別できない（p > 0.25）。これは崩壊が主に指示チューニング自体に起因し、選好最適化段階ではないことを示している。
介入実験では、弱い制御（λ=1.0）が崩壊を240%悪化させたのに対し、強い制御（λ=5.0）は40.5%の改善を達成した。驚くべきことに、λ=5.0を採用したモデルは、最先端モデルより200～1000倍小さい規模でありながら、それを96.7%から98.2%上回った。さらに、λ=5.0は中程度の正則化と比較して、15%高いdistinct-4スコア、27%高い語彙多様性、78%低い繰り返し率をもたらした。
これらの発見は、アラインメントには単なる分布平滑化ではなく、十分な制御強度が必要であることを強調している。現在のアラインメントパイプラインには構造的な限界がある。選好最適化は言語分布を再形成するが、その変化は標準的な品質指標には見えず、分布プローブによってのみ検出可能である。これはAI検出、訓練データ汚染、そして長期的な言語進化にとって重要な意味を持つ。