AIシーケンス第867週：ラテント思考——サピエントのHRM-Textがチェーン・オブ・ソートに静かに反駁する理由
本記事は、LLMにおけるチェーン・オブ・ソート（CoT）推論を非効率だと批判する。推論が残差ストリームを離れ、離散トークンになることを強制するためだ。サピエント・インテリジェンスのHRM-Textは、潜在空間で推論を行うことでこの問題に対処し、固定深度のトランスフォーマーに可変の内部深度を提供し、現在の推論パラダイムに挑戦する。
記事インテリジェンス
要点
- チェーン・オブ・ソート（CoT）は真の推論ではなく、モデルが出力トークンから「深さを借りる」回避策である。
- サピエント・インテリジェンスのHRM-Textは、トークンストリームではなく潜在空間で推論を行う。
- このアプローチは、固定深度のトランスフォーマーに可変の内部深度を与えることを目指す。
- これは現在の推論パラダイムに挑戦する注目すべき小型モデルである。
重要な理由
このニュースが重要なのは、チェーン・オブ・ソート（CoT）は真の推論ではなく、モデルが出力トークンから「深さを借りる」回避策であるためです。
技術的影響
モデル選定、推論コスト、プロダクト能力、評価基準に影響する可能性があります。
現代の大規模言語モデル（LLM）の推論メカニズムには、厄介な手品が潜んでいます。トランスフォーマーの固定深度（例えば70層）では、単一の順伝搬で逐次計算を必要とする問題を解くことができません。そこで、チェーン・オブ・ソート（CoT）を使って「声に出して考える」ようにし、推論ステップを離散トークンに変換して埋め込み層から再入力します。しかし、機械的にはこれは馬鹿げた内部計算方法です——まるでCPUがすべての中間レジスタをプレーンテキストでディスクに書き出すようなものです。
サピエント・インテリジェンスの解決策は、モデルを大きくしたりCoTのトレースを増やしたりするのではなく、アーキテクチャ自体を改良することです。推論をトークンストリームではなく潜在空間で行うようにします。彼らは昨夏の階層的推論モデル（HRM）論文でこのアイデアを初めて提案し、現在はそれを言語領域に拡張したHRM-Textを発表しました。このモデルは固定深度のトランスフォーマーに可変の内部深度を提供し、推論がもはや「残差ストリームを離れる」必要をなくします。
HRM-Textはまだその優位性を完全には証明していませんが、現在の主流推論パラダイムへの大胆な挑戦です。もし成功すれば、LLMの推論を「模擬推論」から「真の深度推論」へと変える可能性があります。