構造化出力が44の言語モデルにおける回答多様性を減少させる

Tapan Parikhによる研究により、言語モデルがJSON形式での出力を求められると、回答の多様性が大幅に低下することが明らかになりました。研究チームは「One-Word Census」実験を再現し、44のモデルに対して31の広い回答空間を持つカテゴリープロンプトを使用しましたが、今回はJSON形式での応答を要求し、特定のスキーマや制約付きデコードは強制しませんでした。その結果、制約のない「Pick a word」プロンプトでは、最頻回答の割合が41%から64%に上昇し、異なる回答数は52から36に減少し、平均回答選択のサプライザルは1.80ビットから1.58ビットに低下しました。

この変化はプログレッシブであり、44モデルのうち6モデルのみが個別に変化し、すべて最頻回答に向かって移動しました。特に最も独自性の高いモデルが主導し、同調性の高いモデルはほとんど変化しませんでした。また、JSON要求はモデルの選択を完全に変えるわけではなく、既存のパターンを強化します。31カテゴリーのうち28カテゴリーで、プレーンチャットの最頻回答が維持されました。

デフォルトの回答は出力形式に依存しており、20回の再サンプリング実験では、JSON要求により53%のモデルの安定したチャットデフォルトが変化し、多くがより一般的な回答に移行しました。また、チャットでは見られなかったデフォルト回答がJSON形式で出現することもありました（例：Claude Fable 5はチャットでは色の質問に「cerulean」と答えることはありませんが、JSON形式では100%「cerulean」と回答しました）。

一連の制御実験により、回答多様性の圧縮はモデルが訓練された形式に固有であることが示されました。JSONでは-0.22ビット（p=0.0002）、XMLでは-0.19ビット（p=0.002）のサプライザル減少が見られましたが、YAMLやCSVでは有意な効果はなく、任意の括弧ラッパーでは逆に+0.13ビット（p=0.009）の増加が見られました。このことは、メカニズムがツール使用後の訓練に関連していることを示唆しています。デコーダーでスキーマを強制しても多様性はさらに低下せず（-0.03ビット）、収束はモデルの形式への応答に起因することが明らかになりました。

この研究は、言語モデルがソフトウェアとインタラクションする際に構造化出力が多様性を低下させ、評価時の性能と実際の応用での性能に乖離をもたらす可能性があることを示しています。