一篇关于LLM内部“工作空间”的论文刚刚发现了我们提示词中的错误
一篇2026年7月的可解释性论文发现,语言模型在大量自动处理层之上保持一个小的、可报告的“工作空间”——这个结构并非人为设计,而是从训练中涌现的。Hamo AI创始人Chris Cheng分析了该论文的发现,指出它与Hamo自身的架构和疗法有三次相同的结构对应,并据此改进了提示词设计:将禁止性规则改为正面范围声明、进一步分离临床决策和措辞、为模型的不同意见提供记录空间等。论文还提供了一个操作定义来追踪“洞察时刻”。
2026年7月,Anthropic发表了一篇可解释性论文,题为《语言模型中的可言语化表示构成一个全局工作空间》。该论文探讨了一个机械问题:在语言模型内部,哪些内部表示可以被模型实际报告、操控和推理,而哪些则保持隐形,在黑暗中运作?答案是:在庞大的自动处理层之上,存在一个小的、特权的“工作空间”。功能上,这相当于意识科学中所谓的“通达意识”。这个结构并非由人类设计,而是从训练中自行涌现的。
Hamo AI的创始人兼CEO Chris Cheng表示,他们阅读这篇论文时,一直在寻找自己的设计是否被证实或暴露不足。结果发现,论文揭示的结构与Hamo的系统以及疗法本身有三次对应:首先,论文发现的工作空间类似于Hamo为客户端实时状态构建的可读模型;其次,疗法本身的作用正是扩大来访者的工作空间——将仅表现为行为的模式拉入视野,使其能够被命名。
论文中的一个实验特别接近治疗师问话的实验室版本。同一段文本,让模型预测下一个词时,时态等属性被使用但从未进入工作空间;直接问模型文本的时态时,该属性变得可报告。这类似于治疗师的问题:来访者总是在行为中表现出某种模式,而治疗师的提问并不创造模式,而是将模式拉入来访者自己的工作空间,使其可以被处理。
基于这些发现,Hamo AI对其系统进行了具体改进。首先,他们重写了提示词中的禁止性规则。论文中的“白熊效应”表明,告诉系统“不要做X”会使X在工作空间中存在。因此,他们改为正面范围声明,例如“本轮的任务是建立信任和确认,任何更深的内容都属于后续阶段”,从而避免提及被禁止的事物。其次,他们将临床决策与措辞进一步分离:先进行私有推理,读取状态并选择临床合适的动作,然后进行更狭窄的生成传递,从而减少模型注意力用于权衡规则的开销。第三,当固定规则覆盖模型的原始判断时,允许模型记录异议,而不是让反对声消失——这些异议被记录但并不单方面行动,作为系统自我检查的信号。最后,他们移除了生成传递中可能倾斜语调的临床标签,仅保留行为描述。
论文还提供了一个操作定义来追踪“洞察时刻”:当来访者首次用自己的话语表达出之前只表现为行为的模式时,就发生了真正的变化。这现在成为一个特定且值得追踪的信号。
Chris Cheng总结道:“外部论文最有用的地方不是给我们一个新想法,而是从一个我们无法伪造的方向告诉我们,我们之前公开承诺的想法是否正确。这篇论文做到了。它在语言模型中找到的工作空间,正是我们为客户端状态构建的形状,也是疗法一直在试图扩大的形状。这不是一个比喻,而是从三个不同房间看到的同一个机制。”