在人工智慧領域，理解語言模型（LM）的決策過程是一個核心問題。一篇新論文《When Does a Language Model Commit? A Finite-Answer Theory of Pre-Verbalization Commitment》旨在揭示語言模型在最終輸出答案之前，何時已經“決定”了答案偏好。研究人員提出了一種稱為“有限答案偏好穩定化”的計算方法，可以在不依賴貪婪解碼或學習探針的情況下，評估模型對答案的承諾時機。
該方法的核心是一個對數機率程式碼δ(ξ)，定義為S_θ(yes|ξ) - S_θ(no|ξ)，用於二元任務。透過將模型的延續機率投影到有限的答案集上，可以定義基於解析器的答案起始點、追溯穩定化時間以及領先時間。在實驗中，研究人員使用Qwen3-4B-Instruct模型在受控的延遲裁決任務上進行測試，發現模型的上下文有限答案投影在答案可解析之前就已穩定，平均領先17-31個token。在清理解析器的複製實驗中，領先時間略短但仍為正。
該訊號追蹤的是模型最終的輸出內容，而非真實答案，這表明模型在內部形成了對輸出結果的一致偏好。此外，這一訊號可以從緊湊的隱藏狀態摘要中線性恢復，部分獨立於注意力游標，並且作為共享資訊傳遞，而不依賴於單一的固定座標。為了驗證這一測量方法，研究人員進行了診斷分析，將其與線上停止、無言語化信念以及因果答案控制區分開來。儘管精確控制顯示δ具有區域性敏感性，但未能實現可靠的生成控制。
這些發現對於理解語言模型的內部動態至關重要，併為未來構建更透明、可解釋的AI系統提供了新的工具。該研究已被提交至arXiv，並可在arXiv:2605.06723獲取全文。