从推理中寻求真相：一种动态表示编辑框架用于引导LLM轨迹
当前增强大语言模型推理的方法，如思维链和“等待”提示，主要鼓励模型多思考，但往往未能引导它们走向真相。本文通过研究推理链中的真相几何，提出了DynaSteer框架，一种动态表示编辑方法。该框架利用模式聚类和Fisher-LDA，通过动态监测前瞻熵，选择性地引导和回滚轨迹，在MATH基准和跨领域编码任务上验证了有效性。
近年来，大语言模型（LLM）在推理任务上取得了显著进展，但现有的增强方法如思维链（Chain-of-Thought）和“等待”提示，虽然鼓励模型生成更多推理步骤，却往往无法确保推理结果趋向真相。针对这一问题，来自多所机构的研究团队在ICML'26发表的论文中提出了DynaSteer框架，通过动态表示编辑来引导LLM的推理轨迹。
研究团队首先深入分析了推理链中真相的几何结构，发现了三个关键洞察：第一，真相是在句子级别编码的，并且与潜在的推理模式紧密纠缠；第二，有效的干预遵循一种“不确定性原理”和“衰减效应”，即需要在早期高熵的分支点进行局部干预；第三，简单的引导向量容易受到噪声影响，可能对正确的轨迹造成附带损害。基于这些发现，他们设计了DynaSteer框架，该框架利用模式聚类来分离推理流形，并采用Fisher线性判别分析（Fisher-LDA）来投影纯净的真相表示。通过动态监测前瞻熵，DynaSteer仅在必要时对轨迹进行选择性引导或回滚。
在多个MATH基准测试上的实验结果表明，DynaSteer显著优于现有的基线方法。此外，在跨领域的编程任务上，该框架也展现了出色的泛化能力。研究团队已将代码开源在GitHub上，以促进进一步的研究和应用。
这项工作的意义在于，它揭示了LLM推理过程中真相编码的深层特性，并提出了一种可解释且高效的干预方法。未来，该框架有望被应用于更广泛的语言模型推理场景，提升模型的可靠性和事实一致性。