H-Probes：从语言模型潜在表征中提取层次结构

近日，一篇提交至arXiv的论文（编号arXiv:2605.00847）介绍了H-Probes——一种从大型语言模型（LLM）内部表征中提取层次结构的新方法。该论文由Cutter Dawes、Aryan Sharma、Angelos Ioannis Lagos和Shivam Raval共同撰写，于2026年4月15日提交至计算机科学领域的计算与语言（cs.CL）类别，同时也涉及人工智能（cs.AI）和机器学习（cs.LG）领域。层次性是人类推理的基本组成部分，尽管LLM在许多需要层次推理的任务中表现出色，但其内部如何几何表示这种结构的理解仍然有限。H-Probes作为一组线性探针，专门设计用于从模型的潜在空间中提取层级深度和元素之间的成对距离。在合成树遍历任务中，H-Probes能够稳健地定位包含完成任务所需层级结构的子空间。通过全面的消融实验，作者证明这些层级子空间是低维的，对高任务性能具有因果重要性，并且在领域内和领域外都能泛化。此外，研究者在数学推理痕迹等真实世界层次化场景中也发现了类似（尽管较弱）的层级结构。这些结果表明，模型不仅在句法和概念层面表征层次性，还在更深层次的抽象层面——包括推理过程本身——进行表征。该工作为理解语言模型如何内部组织复杂推理提供了新视角，并可能对模型的可解释性研究产生重要影响。论文的DOI为10.48550/arXiv.2605.00847，全文可在arXiv上获取。该研究还得到了西蒙斯基金会和成员机构的支持。