大規模言語モデル(LLM)の推論能力を高める研究は活発に続いている。現在の主流手法であるChain-of-Thoughtや「Wait」プロンプトは、モデルに「より多く考えさせる」ことを主眼としており、推論を長く展開させることで性能向上を図る。しかしこうした手法は、モデルを必ずしも「真理(Truth)」へと導くものではない。つまり、推論の軌跡が正しい方向へ収束することを保証できないという課題がある。表現編集(Representation Editing、RepE)は、モデルの内部表現のレベルで制御を加えるより本質的な介入手段を提供するが、動的に展開される推論軌跡への応用はこれまで十分に検討されてこなかった。
この空白に取り組んだ論文「Search for Truth from Reasoning: A Dynamic Representation Editing Framework for Steering LLM Trajectories」は、展開されていく推論連鎖の中において真理がどのような幾何学的構造で存在するのかを詳しく調べている。著者らは三つの重要な知見を提示する。第一に、真理は文レベルでエンコードされており、潜在的な推論パターンと絡み合っているため、単一の方向ベクトルでは捉えられない。第二に、有効な介入は「不確定性原理」と「減衰効果」に従うため、推論の早い段階にある高エントロピーの分岐点に介入を局在させる必要があり、後段になるほど効果は弱まる。第三に、単純なステアリングベクトルはノイズを含み、本来正しい軌跡に副作用を与える危険がある。
これらの洞察に基づき、著者らはDynaSteerと呼ぶ動的表現編集フレームワークを提案する。DynaSteerはまずパターンクラスタリングによって推論多様体を分離し、絡み合った推論パターンを解きほぐす。続いてFisher-LDAを用いて「純化された真理」を射影し、よりクリーンなステアリング方向を得る。推論過程では先読みエントロピー(lookahead entropy)を動的に監視し、必要な場合にのみ選択的に介入し、軌跡が逸脱した際にはロールバックを行うことで過剰な介入を避ける。
実験面では、複数のMATHベンチマークでDynaSteerの有効性が確認され、さらにドメイン外のコーディングタスクにおける実験によって汎化能力も示された。本論文はICML'26に採択されており、コードはhttps://github.com/tianlwang/DynaSteer で公開されている。著者はTianlong Wangら8名で、2026年6月26日にarXivへ投稿された。番号はarXiv:2606.28589、分類はcs.AIである。