スパースオートエンコーダ（SAE）は、言語モデルから解釈可能な特徴を抽出する有用なツールとして定着している。しかし標準的なSAEアーキテクチャは個々のトークン活性化に対して動作するため、文脈長が増えるにつれて活性特徴の数が線形に増加し、長いモデル対話記録の研究が難しくなるという問題があった。この課題に対処するため、研究者らはターン平均SAE（turn-averaged SAEs）を提案した。これは、単一の人間またはアシスタントのターンを固定数の特徴で表現するもので、ターン全体にわたる平均モデル活性化を再構成するように学習する。
具体的には、ターン平均SAEは対話の一ターン内の平均活性化を再構成することで、そのターンを固定次元の特徴ベクトルに圧縮する。これにより、文脈がどれほど長くなっても各ターンは一組の特徴に対応し、特徴数が文脈長に応じて膨張するのを防ぐ。著者らは、LLMによる判定において、ターン平均特徴がトークン単位特徴よりも単一ターンの高レベル特性をより完全に記述できることを示した。これは効率性だけでなく特徴の質の面でも利点があることを意味する。
さらに、ターン平均SAEはアトリビューショングラフなどSAEの一般的な下流用途を大幅に簡素化する。標準手法では、長文脈でのアトリビューション分析は多数のトークンレベル特徴を扱う必要があり、計算と解釈のコストが高い。ターン平均SAEは分析単位をトークンからターンへ引き上げることで、アトリビューショングラフをより簡潔で解釈しやすくする。総じて、本研究の意義は、長文脈長において解釈可能性技術を実用的に適用できるようにする点にある。
本論文はKevin Derら3名によって執筆され、2026年6月26日に投稿された。計算と言語（cs.CL）および機械学習（cs.LG）の交叉領域に属する。論文の要旨は、ターン平均SAEが固定数の特徴でターンを表現することで、特徴数が文脈に応じて線形増加する問題を緩和し、LLM評価の下でより完全なターンレベルの記述能力を示し、アトリビューショングラフなどの下流応用を簡素化することを強調している。これらの特性により、長文脈シナリオでの解釈可能性分析がより実用的になる。