EleutherAI Blog

一個關於構建未來人工智慧的勞動力隊伍是否會走向合作或不合作的玩具動力學模型：盆地的邊界在哪裡，當前證據表明我們處於哪一側，以及什麼跡象表明我們走在正確道路上。

EleutherAI 的研究人員提出了一種稱為推理插值的新技術，用於在訓練期間早期檢測強化學習模型中的獎勵駭客行為。該方法透過對利用性解決方案進行微調，生成高機率的推理字首，並使用重要性取樣來估計駭客機率。雖然早期的重要性取樣估計值低了幾個數量級，但其趨勢能夠完美預測哪些利用型別最終會出現（在受控環境中）。研究表明，推理插值是有前景的監控訊號，但需要在實際強化學習執行中進行驗證。

EleutherAI報告獎勵駭客研究進展，發現Qwen 3模型除非明確提示，否則學習駭客行為緩慢，而GPT-OSS模型在微調後更易泛化駭客能力。他們正在開發包含程式設計問題和漏洞型別的測試平臺djinn，用於研究監控和緩解策略。

EleutherAI釋出《深度無知》論文，透過過濾預訓練資料中的生物風險相關知識，使模型在保持通用效能的同時，對微調攻擊具有抵抗力。實驗表明，過濾後的6.9B引數模型在WMDP-Bio基準上表現接近隨機，且即使經過大量生物風險論文微調，效能仍顯著低於基線。但過濾不阻止上下文學習，模型仍可透過提示獲取危險資訊，需結合其他防禦措施。

注意力探針是一種用於分類語言模型內部狀態的新方法，透過注意力層聚合隱藏狀態，避免了對多個token進行池化。實驗表明，多頭注意力探針（特別是8頭）在多數資料集上優於均值探針，訓練程式碼已開源。

EleutherAI的研究人員測試了區域性體積測量在檢測模型失調和異常資料點方面的應用，發現其效果不如其他策略，並轉向資料歸因研究。

本文利用星形域體積估計研究隨機神經網路的引數-函式對映的歸納偏差。實驗表明，區域性體積度量未能復現先前研究（神經紅移）的結果，且與學習行為相關性較弱，暗示單一複雜度度量可能不足以捕捉神經網路的歸納偏差。

EleutherAI釋出了Common Pile v0.1，一個8TB的公開許可和公共領域文本資料集，旨在促進開放科學和AI研究的透明度。該資料集由多個機構合作構建，並訓練了Comma v0.1模型，效能與未許可資料訓練的模型相當。

EleutherAI的研究團隊探索了使用產品鍵記憶（PKM）技術來改進稀疏編碼器的效能。實驗表明，PKM轉換器在訓練速度和可解釋性方面具有優勢，尤其適用於中等擴充套件因子。儘管在某些情況下PKM轉換器能與TopK轉換器競爭，但在極大擴充套件因子下基線模型表現更好。

研究表明，使用不同隨機種子但相同資料和批次順序訓練的TopK稀疏自編碼器（SAE），其學習到的潛在特徵僅有約53%是共享的。未共享的特徵中許多是可解釋的。較窄的SAE特徵重疊較高，而隨著SAE規模增大，重疊降低。這一現象與特徵分裂和吸收理論一致，表明SAE並未發現“通用”特徵集。

本文探討了使用稀疏自編碼器（SAE）潛在變數的自然語言解釋來模擬LLM中的啟用。作者發現，當前解釋能正確識別不到50%的活躍潛在變數，儘管特異性很高，但由於活躍與非活躍潛在變數的極端不平衡，導致大量誤報。根據解釋預測啟用值的相關性很弱。結果表明，自然語言解釋還不足以可靠地模擬模型啟用。