跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

从推理中寻找真相:引导LLM轨迹的动态表示编辑框架

文章摘要

本文提出DynaSteer,一种动态表示编辑框架,通过定位早期高熵分支点、利用模式聚类和Fisher-LDA纯化真相方向,选择性地引导LLM推理轨迹,在MATH基准和编码任务上验证了有效性。

来源arXiv AI作者: Tianlong Wang, Yuhang Wang, Weibin Liao, Xin Gao, Xinyu Ma, Yang Lin, Yasha Wang, Liantao Ma
从推理中寻找真相:引导LLM轨迹的动态表示编辑框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大型语言模型(LLM)的推理能力提升一直是研究热点。当前主流方法,如思维链(Chain-of-Thought)以及“Wait”提示等,主要思路是鼓励模型“想得更多”,通过延长推理过程来获得更好的结果。然而,这些方法往往并不能真正把模型引向“真相”(Truth),也就是不能保证推理轨迹朝向正确的方向收敛。表示编辑(Representation Editing,RepE)作为一种从模型内部表征层面施加控制的技术,理论上提供了更本质的干预手段,但它在动态推理轨迹上的应用此前仍缺乏系统探索。

针对这一空白,论文《Search for Truth from Reasoning: A Dynamic Representation Editing Framework for Steering LLM Trajectories》深入研究了真相在逐步展开的推理链中究竟以何种几何形态存在。作者提出了三点关键发现。第一,真相是在句子级别被编码的,并且与潜在的推理模式相互纠缠,这意味着不能简单地用单一方向向量来刻画它。第二,有效的干预遵循一种“不确定性原理”以及“衰减效应”,因此干预必须定位在推理早期的高熵分叉点上,越往后干预效果越弱。第三,朴素的引导向量(steering vector)会引入噪声,可能对本来正确的推理轨迹造成附带损伤。

基于上述洞察,作者提出了名为 DynaSteer 的动态表示编辑框架。该框架首先通过模式聚类(pattern clustering)来解耦不同的推理流形,使纠缠的推理模式得以分离;随后利用 Fisher-LDA 将“纯净的真相”投影出来,从而获得更干净的引导方向。在推理过程中,DynaSteer 动态监控前瞻熵(lookahead entropy),仅在必要时选择性地施加引导,并在轨迹偏离时进行回滚,从而避免过度干预。

实验方面,作者在多个 MATH 基准上进行了全面评估,验证了 DynaSteer 的有效性;同时在域外编程任务上的实验进一步证实了该方法的泛化能力。该论文已被 ICML'26 接收,代码已在 https://github.com/tianlwang/DynaSteer 公开。论文由 Tianlong Wang 等 8 位作者完成,于 2026 年 6 月 26 日提交至 arXiv,编号为 arXiv:2606.28589,属于 cs.AI 分类。

展开要点与分析

文章情报

工程师进阶

要点

  • 揭示真相在推理链中按句子级编码,并与潜在推理模式纠缠
  • 有效干预遵循不确定性原理和衰减效应,需定位早期高熵分支点
  • DynaSteer通过模式聚类和Fisher-LDA纯化真相投影,动态监测前瞻熵以选择性引导

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。