一篇新研究論文《隨機採樣在認知上淺薄：LLM温度變化與模型多樣性之間的維度差距》探討了大型語言模型（LLM）中不確定性估計的方法。該研究由Izhar Ali等人完成，已被EIML@ICML 2026接收。研究的核心問題是：當語言模型在重複運行時給出不同答案，這種變化是否能揭示模型不知道的內容？自一致性方法通過多數投票將這種變化轉化為每個問題的不確定性估計，但它是否能像多樣化的集成一樣，揭示跨問題的結構——即相關問題是否同時翻轉？
研究比較了兩種方案：對同一組問題，將單個LLM在温度τ=1下運行100次，與24個不同LLM在温度τ=0下各運行一次組成集成。使用Marchenko-Pastur隨機矩陣測試來分離信號和採樣噪聲。結果在五個模型家族和三個基準（MMLU、HellaSwag、GSM8K）上一致顯示：任何單個模型最多隻有一個維度高於噪聲水平。相比之下，24個模型的集成則產生四個高於噪聲邊緣的特徵值，而匹配難度的伯努利零假設在500次蒙特卡洛模擬中最多產生一個。
這表明，儘管自一致性（通過多數投票）能準確估算單個問題的置信度，但它無法揭示問題之間的結構相關性。只有通過多樣化的模型集成，才能更全面地揭示模型不知道的內容。研究強調了集成方法在不確定性量化中的價值，並指出了温度採樣作為多樣性來源的侷限性。該發現對模型選擇、推理成本、產品能力和評估基準均有影響，提示從業者在需要深入理解模型知識邊界時應優先考慮模型多樣性而不是重複採樣。