AI序列第867期：潜力思考——为什么Sapient的HRM-Text是对思维链的悄然反驳
本文批评了大型语言模型中的思维链（CoT）推理方式，认为它效率低下，因为推理过程被迫离开残差流变成离散的token。Sapient Intelligence的HRM-Text模型通过在潜在空间中进行推理来解决这个问题，为固定深度的Transformer提供可变的内部深度，从而挑战当前的推理范式。
文章情报
工程师进阶
要点
- 思维链（CoT）并非真正的推理，而是一种让模型从输出token中“租用”深度的变通方法。
- Sapient Intelligence的HRM-Text将推理放在潜在空间中进行，而非token流中。
- 该方法旨在为固定深度的Transformer提供可变的内部深度。
- 这是一个重要的轻量级模型，对当前推理范式提出了挑战。
为什么重要
这条新闻值得关注，因为思维链（CoT）并非真正的推理，而是一种让模型从输出token中“租用”深度的变通方法。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
现代大型语言模型（LLM）的推理机制中存在一个令人困扰的巧妙手法：Transformer的固定深度（例如70层）使其无法在单次前向传播中解决需要顺序计算的问题。为此，我们让模型通过思维链（Chain-of-Thought, CoT）进行“出声思考”，将推理步骤转化为离散的token，再通过嵌入层重新输入。然而，从机械角度看，这是一种荒谬的内部计算方式——就像CPU必须将每个中间寄存器以明文形式转储到磁盘上。
Sapient Intelligence 的解决思路并非增大模型规模或训练更多CoT轨迹，而是从根本上改进架构：让推理发生在潜在空间（latent space）中，而非token流中。他们最初在去年夏天的层次化推理模型（HRM）论文中提出这一构想，现在将其扩展到语言领域，推出了HRM-Text。该模型为Transformer提供了可变的内部深度，使得推理不再需要“离开残差流”。
尽管HRM-Text尚未完全证明其优越性，但它代表了对当前主流推理范式的大胆挑战。如果成功，它将彻底改变我们看待LLM推理的方式，从“模拟推理”转向“真正的深度推理”。