大型語言模型（LLM）在創意生成、科學發現等需要輸出多樣性的應用中表現不佳，常常陷入多樣性崩潰，即僅產生少量重複或高度相似的輸出。一篇於2026年5月11日提交至arXiv的論文（編號2605.11128）由Amin Banayeeanzade等九位作者共同完成，提出了一個全新的有效性-多樣性框架，深入剖析了這一問題的根本原因。
該框架將多樣性崩潰歸因於LLM在解碼過程中對有效和無效延續的機率質量分配方式。具體而言，研究者識別出兩種互補的校準錯誤。第一種是順序校準：模型未能可靠地將有效令牌排在無效令牌之上。這導致基於排名的截斷規則（如top-k或top-p取樣）不得不在恢復有效延續和容忍無效延續之間做出權衡。第二種是形狀校準：機率質量過度集中在少數幾個有效延續上，同時存在一個由有效和無效令牌混合構成的厚重長尾。因此，為了維持較高的輸出有效性，模型不得不犧牲多樣性。
研究者不僅形式化了這兩種機制，還透過控制診斷實驗（包括已知有效集合的任務和Oracle截止基線）在14個不同規模和系列的LLM上進行了實證驗證。結果表明，區域性校準錯誤會在解碼步驟中逐步累積，最終導致嚴重的序列級多樣性損失。更重要的是，多樣性崩潰並非特定取樣啟發式（如溫度取樣或核取樣）的侷限性，而是LLM分佈本身順序和形狀校準不良的必然結果。
這項研究為提升LLM輸出多樣性指明瞭清晰的方向：未來的改進應聚焦於模型校準，而非僅僅調整取樣策略。可能的解決方案包括設計專門的訓練目標或後處理方法來改善順序和形狀校準，從而在不犧牲有效性的前提下釋放更多的多樣性。這一發現對於依賴LLM進行創造性內容生成、科學假設探索等領域的應用具有重要的指導意義。