信念与现实分离存在于语言模型中对共享值槽的路由中
该论文揭示了语言模型如何区分角色的信念与现实。研究发现，这种分离基于两个可分离的机制：一个通用值槽绑定属性值，一个路由器根据查询选择读取的框架。值槽可以通过两种方式填充：直接断言和基于可见性的推导。分离位于独立的路由子空间中，而不是值槽本身。这些结果在多种架构中得到验证，且该行为在3B至7B参数规模的模型中出现。
一项最新研究深入探讨了大型语言模型如何在计算中分离角色的信念与现实。研究人员发现，这种分离依赖于两个可分离的机制，分别位于计算的不同位置。首先，一个通用的“值槽”负责绑定属性值，例如杯子的颜色。其次，一个“路由器”在查询位置决定从哪个框架——角色的信念还是现实——读取信息。
值槽的填充有两种方式：当信念被直接陈述时，值会直接绑定；而当信念需要从角色能观察到的信息推断时，则通过一个由可见性控制的回溯机制填充。有趣的是，值槽本身并不携带信念或现实的标签；对它的干预会同样影响对现实和信念的读取。真正的分离存在于一对独立的路由子空间中，这些子空间可以在不同框架间切换查询，而无需注入来源的值。
这一结果在三种不同的模型架构上得到验证，且使用的刺激排除了常见心理理论基准中的捷径。该行为在5个模型家族的3B至7B参数规模之间涌现。本论文深入探讨了单一的信念-现实轴，而配套论文则显示相同的“槽-路由器”格式也适用于句子打开的其他非现实上下文，如反事实、虚构和时间设定。
该研究的发现对于理解语言模型的内部工作机制具有重要意义，揭示了模型如何维持对角色信念和现实的多重表征。研究团队包括Oliver Steele等作者，论文细节包括21页、6张图和6张表，提交于2026年7月11日。