H-Probes: 言語モデルの潜在表現から階層構造を抽出する

arXivに提出された論文（番号arXiv:2605.00847）で、H-Probesと呼ばれる新しい手法が提案された。これは、大規模言語モデル（LLM）の内部表現から階層構造を抽出するための線形プローブの集合である。著者はCutter Dawes、Aryan Sharma、Angelos Ioannis Lagos、Shivam Ravalの4名で、2026年4月15日にコンピュータサイエンスの計算と言語（cs.CL）カテゴリに提出され、人工知能（cs.AI）や機械学習（cs.LG）にも関連する。階層性は推論の基本的な構成要素であるが、LLMがそのような思考に必要な潜在的な構造を幾何学的にどのように表現しているかについての分析は限られていた。H-Probesは、モデルの潜在空間から階層の深さと要素間のペアワイズ距離を抽出するように設計されている。合成木探索タスクでは、H-Probesはタスク完了に必要な階層構造を含む部分空間を頑健に特定する。包括的なアブレーション実験により、これらの階層部分空間は低次元であり、高いタスク性能に因果的に重要であり、ドメイン内外で汎化することが示された。さらに、数学的推論のトレースのような実世界の階層的コンテキストでも、類似しているが弱い階層構造が見つかった。これらの結果は、モデルが構文や概念のレベルだけでなく、推論プロセス自体を含むより深い抽象化のレベルで階層性を表現していることを示している。この研究は、言語モデルが複雑な推論を内部でどのように組織化しているかを理解する新たな視点を提供し、モデルの解釈可能性研究に重要な影響を与える可能性がある。論文のDOIは10.48550/arXiv.2605.00847であり、arXivで全文を入手できる。なお、本研究はサイモンズ財団および加盟機関からの支援を受けた。