大型语言模型（LLM）在创意生成、科学发现等需要输出多样性的应用中表现不佳，常常陷入多样性崩溃，即仅产生少量重复或高度相似的输出。一篇于2026年5月11日提交至arXiv的论文（编号2605.11128）由Amin Banayeeanzade等九位作者共同完成，提出了一个全新的有效性-多样性框架，深入剖析了这一问题的根本原因。
该框架将多样性崩溃归因于LLM在解码过程中对有效和无效延续的概率质量分配方式。具体而言，研究者识别出两种互补的校准错误。第一种是顺序校准：模型未能可靠地将有效令牌排在无效令牌之上。这导致基于排名的截断规则（如top-k或top-p采样）不得不在恢复有效延续和容忍无效延续之间做出权衡。第二种是形状校准：概率质量过度集中在少数几个有效延续上，同时存在一个由有效和无效令牌混合构成的厚重长尾。因此，为了维持较高的输出有效性，模型不得不牺牲多样性。
研究者不仅形式化了这两种机制，还通过控制诊断实验（包括已知有效集合的任务和Oracle截止基线）在14个不同规模和系列的LLM上进行了实证验证。结果表明，局部校准错误会在解码步骤中逐步累积，最终导致严重的序列级多样性损失。更重要的是，多样性崩溃并非特定采样启发式（如温度采样或核采样）的局限性，而是LLM分布本身顺序和形状校准不良的必然结果。
这项研究为提升LLM输出多样性指明了清晰的方向：未来的改进应聚焦于模型校准，而非仅仅调整采样策略。可能的解决方案包括设计专门的训练目标或后处理方法来改善顺序和形状校准，从而在不牺牲有效性的前提下释放更多的多样性。这一发现对于依赖LLM进行创造性内容生成、科学假设探索等领域的应用具有重要的指导意义。