從推理中尋求真相：一種動態表示編輯框架用於引導LLM軌跡
當前增強大語言模型推理的方法，如思維鏈和“等待”提示，主要鼓勵模型多思考，但往往未能引導它們走向真相。本文通過研究推理鏈中的真相幾何，提出了DynaSteer框架，一種動態表示編輯方法。該框架利用模式聚類和Fisher-LDA，通過動態監測前瞻熵，選擇性地引導和回滾軌跡，在MATH基準和跨領域編碼任務上驗證了有效性。
近年來，大語言模型（LLM）在推理任務上取得了顯著進展，但現有的增強方法如思維鏈（Chain-of-Thought）和“等待”提示，雖然鼓勵模型生成更多推理步驟，卻往往無法確保推理結果趨向真相。針對這一問題，來自多所機構的研究團隊在ICML'26發表的論文中提出了DynaSteer框架，通過動態表示編輯來引導LLM的推理軌跡。
研究團隊首先深入分析了推理鏈中真相的幾何結構，發現了三個關鍵洞察：第一，真相是在句子級別編碼的，並且與潛在的推理模式緊密糾纏；第二，有效的干預遵循一種“不確定性原理”和“衰減效應”，即需要在早期高熵的分支點進行局部干預；第三，簡單的引導向量容易受到噪聲影響，可能對正確的軌跡造成附帶損害。基於這些發現，他們設計了DynaSteer框架，該框架利用模式聚類來分離推理流形，並採用Fisher線性判別分析（Fisher-LDA）來投影純淨的真相表示。通過動態監測前瞻熵，DynaSteer僅在必要時對軌跡進行選擇性引導或回滾。
在多個MATH基準測試上的實驗結果表明，DynaSteer顯著優於現有的基線方法。此外，在跨領域的編程任務上，該框架也展現了出色的泛化能力。研究團隊已將代碼開源在GitHub上，以促進進一步的研究和應用。
這項工作的意義在於，它揭示了LLM推理過程中真相編碼的深層特性，並提出了一種可解釋且高效的干預方法。未來，該框架有望被應用於更廣泛的語言模型推理場景，提升模型的可靠性和事實一致性。