机械可解释性(mechanistic interpretability)领域近年来积累了大量组件级分析成果,这些研究刻画了神经网络各组件究竟编码了什么信息、以及它们之间如何相互作用。然而,论文作者指出,这些分析的产出并不容易被复用:选择性表格、电路图与特征清单往往被锁在各自的研究笔记之中,既无法组合,也不能用自然语言查询,更无法直接用于下游的审计或干预工作。
这篇于2026年6月30日提交的论文题为《Representation as a Bottleneck for Mechanistic Interpretability: The Manifestation Unit Protocol》,由Hussein Chouman等五位作者完成,属于机器学习(cs.LG)方向,全文共65页,并附有交互式演示链接。作者把介于这些分析与下游使用之间的“表示层”本身视为一个可以被独立评估的瓶颈,并据此提出了一套名为Manifestation Units的表示协议。
该协议是一种带类型的元组结构,由(E, S, R, D, G)五个字段组成,并针对Transformer架构扩展了注意力头原语(T)。它的作用是把每个组件的统计数据组织成结构化字段,这些字段由系统自动填充,并通过混合检索方式进行查询。换句话说,作者希望把原本散落在各研究中的片段化结论,转变成一种可组合、可查询的结构化基础设施。
为了验证协议的有效性,研究者在三类模型上进行了实例化:生成式视觉模型(beta-VAE)、判别式视觉模型(CNN),以及语言模型(GPT-2)。实验支持了两项主要发现。第一,带类型的结构在检索任务上显著优于非结构化基线;第二,通过该schema检索出的CNN滤波器,在预算匹配的对照条件下满足因果充分性与必要性标准。
在语言模型方面,该schema无需修改即可吸收注意力头原语,并在检索预算匹配的对照下,以集合形式找回了已知IOI电路的成员。此外,研究还揭示出一个不可再简化的双字段核心(S+R),其余字段要么冗余,要么会主动造成干扰。
作者明确说明,这项工作的定位是为机械可解释性提供schema层面的基础设施,而非前沿规模的验证。论文同时给出了DOI信息,以及2026年6月30日19:26:11 UTC的提交时间记录。