EleutherAI Blog

EleutherAI 的研究人員提出了一種稱為推理插值的新技術，用於在訓練期間早期檢測強化學習模型中的獎勵黑客行為。該方法通過對利用性解決方案進行微調，生成高概率的推理前綴，並使用重要性採樣來估計黑客概率。雖然早期的重要性採樣估計值低了幾個數量級，但其趨勢能夠完美預測哪些利用類型最終會出現（在受控環境中）。研究表明，推理插值是有前景的監控信號，但需要在實際強化學習運行中進行驗證。

EleutherAI報告獎勵黑客研究進展，發現Qwen 3模型除非明確提示，否則學習黑客行為緩慢，而GPT-OSS模型在微調後更易泛化黑客能力。他們正在開發包含編程問題和漏洞類型的測試平台djinn，用於研究監控和緩解策略。

EleutherAI發佈《深度無知》論文，通過過濾預訓練數據中的生物風險相關知識，使模型在保持通用性能的同時，對微調攻擊具有抵抗力。實驗表明，過濾後的6.9B參數模型在WMDP-Bio基準上表現接近隨機，且即使經過大量生物風險論文微調，性能仍顯著低於基線。但過濾不阻止上下文學習，模型仍可通過提示獲取危險信息，需結合其他防禦措施。

注意力探針是一種用於分類語言模型內部狀態的新方法，通過注意力層聚合隱藏狀態，避免了對多個token進行池化。實驗表明，多頭注意力探針（特別是8頭）在多數數據集上優於均值探針，訓練代碼已開源。

EleutherAI的研究人員測試了局部體積測量在檢測模型失調和異常數據點方面的應用，發現其效果不如其他策略，並轉向數據歸因研究。

本文利用星形域體積估計研究隨機神經網絡的參數-函數映射的歸納偏差。實驗表明，局部體積度量未能復現先前研究（神經紅移）的結果，且與學習行為相關性較弱，暗示單一複雜度度量可能不足以捕捉神經網絡的歸納偏差。

EleutherAI發佈了Common Pile v0.1，一個8TB的公開許可和公共領域文本數據集，旨在促進開放科學和AI研究的透明度。該數據集由多個機構合作構建，並訓練了Comma v0.1模型，性能與未許可數據訓練的模型相當。

EleutherAI的研究團隊探索了使用產品鍵記憶（PKM）技術來改進稀疏編碼器的性能。實驗表明，PKM轉換器在訓練速度和可解釋性方面具有優勢，尤其適用於中等擴展因子。儘管在某些情況下PKM轉換器能與TopK轉換器競爭，但在極大擴展因子下基線模型表現更好。

研究表明，使用不同隨機種子但相同數據和批次順序訓練的TopK稀疏自編碼器（SAE），其學習到的潛在特徵僅有約53%是共享的。未共享的特徵中許多是可解釋的。較窄的SAE特徵重疊較高，而隨着SAE規模增大，重疊降低。這一現象與特徵分裂和吸收理論一致，表明SAE並未發現“通用”特徵集。

本文探討了使用稀疏自編碼器（SAE）潛在變量的自然語言解釋來模擬LLM中的激活。作者發現，當前解釋能正確識別不到50%的活躍潛在變量，儘管特異性很高，但由於活躍與非活躍潛在變量的極端不平衡，導致大量誤報。根據解釋預測激活值的相關性很弱。結果表明，自然語言解釋還不足以可靠地模擬模型激活。