大規模言語モデル（LLM）は、創造的な文章生成や科学的発見など、出力の多様性が求められるアプリケーションにおいて重要な役割を果たすが、しばしば多様性の崩壊に陥り、限られた種類の出力しか生成しなくなる。2026年5月11日にarXivに投稿された論文（番号2605.11128）は、Amin Banayeeanzade氏を含む9人の著者によって執筆され、この問題の根本原因を解明する新しい有効性-多様性フレームワークを提案している。
このフレームワークは、多様性の崩壊をLLMがデコード中に有効な継続と無効な継続に確率質量をどのように割り当てるかに起因すると考える。具体的には、研究者らは2つの相補的なキャリブレーション誤りを特定した。第一に順序キャリブレーション：有効なトークンが無効なトークンよりも確実に上位にランク付けされない。そのため、ランクベースのカットオフルール（top-kやtop-pサンプリングなど）は、有効な継続を回復することと無効な継続を許容することの間でトレードオフを強いられる。第二に形状キャリブレーション：確率質量が少数の有効な継続に過度に集中し、同時に有効と無効が混在した重い裾野を持つ。その結果、高い有効性を維持しようとすると多様性が制限される。
研究者らはこれらのメカニズムを形式化するとともに、既知の有効セットを持つタスクやオラクルカットオフベースラインを含む制御された診断実験を開発し、14の異なるファミリーと規模のLLMで実証した。実験の結果、局所的なキャリブレーション誤りがデコードステップを経て蓄積し、シーケンスレベルで深刻な多様性損失を引き起こすことが明らかになった。さらに重要なことに、多様性の崩壊は特定のサンプリングヒューリスティック（温度サンプリングや核サンプリングなど）の限界ではなく、LLMの分布自体における順序と形状のキャリブレーション不良の結果であることが判明した。
この研究は、LLMの多様性を向上させるための明確な方向性を示している。すなわち、サンプリング戦略の調整ではなく、モデルのキャリブレーション自体を改善することである。将来的には、訓練目標や後処理手法を通じて順序と形状のキャリブレーションを改善し、出力の有効性を維持しながら多様性を引き出すことが可能になるかもしれない。この発見は、LLMを利用した創造的なコンテンツ生成や科学的仮説探索などの分野に重要な示唆を与えるものである。