稀疏自編碼器（SAE）已成為從語言模型中提取可解釋特徵的關鍵工具。然而，標準的SAE架構對每個token的啟用單獨處理，導致活躍特徵數量隨上下文長度線性增長。當分析包含成百上千個token的對話或文件時，這種擴充套件性瓶頸使得特徵提取和後續分析變得異常困難。
來自Kevin Der等人的最新研究提出了一種創新的解決方案——輪次平均SAE（Turn-Averaged SAE）。該方法的核心思想是將一次完整的使用者或助手輪次視為一個基本單元，透過訓練模型重構該輪次內所有token啟用的平均值，從而將整個輪次編碼為一個固定維度的特徵向量。這意味著無論輪次中包含多少token，其特徵數量都保持恆定。
實驗結果表明，由語言模型評估，輪次平均特徵比逐token特徵更完整地描述了單個輪次的高層語義特徵。逐token特徵往往更關注區域性細節，而輪次平均特徵則能捕捉更宏觀的模式。此外，輪次平均SAE顯著簡化了歸因圖等常見下游應用，這些應用在長上下文場景中原本會變得非常複雜。
這項研究不僅為SAE提供了一種有價值的變體，還推動了可解釋性技術在更實際場景中的應用，例如長時間對話分析、大型文件理解等。論文已提交至計算語言學和機器學習領域，相關程式碼和資料集預計將在後續公開發布，這將為社群進一步探索和應用提供基礎。