H-Probes：從語言模型潛在表徵中提取層次結構

近日，一篇提交至arXiv的論文（編號arXiv:2605.00847）介紹了H-Probes——一種從大型語言模型（LLM）內部表徵中提取層次結構的新方法。該論文由Cutter Dawes、Aryan Sharma、Angelos Ioannis Lagos和Shivam Raval共同撰寫，於2026年4月15日提交至計算機科學領域的計算與語言（cs.CL）類別，同時也涉及人工智能（cs.AI）和機器學習（cs.LG）領域。層次性是人類推理的基本組成部分，儘管LLM在許多需要層次推理的任務中表現出色，但其內部如何幾何表示這種結構的理解仍然有限。H-Probes作為一組線性探針，專門設計用於從模型的潛在空間中提取層級深度和元素之間的成對距離。在合成樹遍歷任務中，H-Probes能夠穩健地定位包含完成任務所需層級結構的子空間。通過全面的消融實驗，作者證明這些層級子空間是低維的，對高任務性能具有因果重要性，並且在領域內和領域外都能泛化。此外，研究者在數學推理痕跡等真實世界層次化場景中也發現了類似（儘管較弱）的層級結構。這些結果表明，模型不僅在句法和概念層面表徵層次性，還在更深層次的抽象層面——包括推理過程本身——進行表徵。該工作為理解語言模型如何內部組織複雜推理提供了新視角，並可能對模型的可解釋性研究產生重要影響。論文的DOI為10.48550/arXiv.2605.00847，全文可在arXiv上獲取。該研究還得到了西蒙斯基金會和成員機構的支持。