稀疏自编码器（SAE）近年来已成为从语言模型中提取可解释特征的重要工具。然而，标准 SAE 架构通常作用于单个 token 的激活值，这带来一个实际难题：活跃特征的数量会随上下文长度线性增长，导致研究较长的模型对话记录变得困难。针对这一问题，Kevin Der 等三位作者在 2026 年 6 月 26 日提交至 arXiv 的论文《Turn-Averaged SAEs for Feature Discovery and Long-Context Attribution》中提出了“轮次平均 SAE”（turn-averaged SAEs）。该方法不再以单个 token 为单位，而是以一次完整的 Human 或 Assistant 轮次为单位，通过学习重建该轮次内模型激活的平均值，用固定数量的特征来表示整个轮次。
研究团队的核心发现是：当由大语言模型进行评判时，轮次平均特征比逐 token 特征更完整地描述了单个轮次的高层特征。这一点具有重要意义，因为逐 token 方法在长对话中会产生大量冗余且碎片化的特征，而轮次平均方法则把注意力集中在一次交互的整体语义与风格属性上。
论文还展示了轮次平均 SAE 在常见下游任务中的优势。作者指出，这类 SAE 能够显著简化诸如归因图（attribution graphs）等典型应用。归因图用于追踪模型输出与内部特征之间的关联，在长上下文场景下，逐 token 特征的数量膨胀会使归因分析变得复杂且计算昂贵；而轮次平均特征以固定规模的表示取代了随长度增长的特征集合，从而降低了分析的复杂度。
从更广的意义上看，作者认为轮次平均 SAE 使可解释性技术在长上下文长度下变得切实可行。随着语言模型处理越来越长的对话和文档，如何在不过度增加计算与解读负担的前提下理解模型内部表征，成为可解释性研究的关键挑战。该工作为在长对话记录上开展特征发现与归因分析提供了一条更实用的路径。
该论文发表于 arXiv，编号为 2606.28548，版本 v1，提交时间为 2026 年 6 月 26 日 19:07:34 UTC，文件大小约 1,684 KB。论文主题分类为计算与语言（cs.CL），并交叉涉及机器学习（cs.LG）。作者为 Kevin Der 及另外两位合作者，论文提供 PDF、实验性 HTML 版本以及 TeX 源码等多种获取方式，DOI 为 10.48550/arXiv.2606.28548，由 DataCite 发放（注册待完成）。