語言模型如何理解模糊強度詞？一項關於數值行為的實證研究

arXiv 上釋出的一項新研究（論文編號：2605.21827）系統性地探討了語言模型（LLM）在面對需要產生數值行為的自然語言指令時，如何解釋諸如“slightly”和“drastically”這類模糊強度詞。該研究由佐治亞理工學院的 Daniel Tabach 進行，旨在檢驗 LLM 是否保留了這些強度詞的序數含義。

研究者構建了一個包含10個英語程度修飾詞的量表，從“slightly”到“drastically”，基於 Quirk 等人的程度修飾詞分類法。在受控的資源分配環境中，Claude Haiku 模型接收自然語言指令，生成一個數值分配，然後由確定性後端將該分配轉換為可測量的結果。實驗設計確保了唯一變化的變數是強度詞或起始系統狀態，從而隔離它們對模型數值輸出的影響。

實驗共進行了 6620 次執行，溫度引數設定為 0.0 和 0.7。分析揭示了三個主要模式：首先，模型將10個強度詞壓縮為5個不同的中位數輸出。四個較低等級的詞彙（如“slightly”和“a bit”）均對映到相同的值，而較強的詞彙則進入更高的區間（斯皮爾曼相關係數 ρ=0.845，p<0.001）。這表明模型對弱強度詞的區分能力有限。

其次，當提供當前系統狀態作為上下文時，Kruskal-Wallis 檢驗顯示，按起始分配進行分組比按詞彙分組解釋的秩方差更多（基於起始分配的 ε²=0.782，基於詞彙的 ε²=0.079）。隨著系統接近容量，詞彙的區分度降為零，說明上下文狀態主導了數值決策。

第三，在接近可行性極限時，模型展現出三種行為模式：弱詞透過小幅調整進行對沖，強詞完全棄權，而詞彙“drastically”則將分配推至區域性上限。這些模式在溫度變化下保持一致；隨機抽樣雖然拓寬了分佈，但未恢復詞彙之間的序數區分。

該研究揭示了在這一模型和領域內，語言模型對模糊強度詞的數值解釋存在壓縮、狀態依賴和操作邊界附近不連續的特點。這些發現對於理解 LLM 如何在自然語言指令下執行數值任務具有重要意義，尤其是涉及程度修飾語的應用場景。