人工智能可治理性的動力學模型
一個關於構建未來人工智能的勞動力隊伍是否會走向合作或不合作的玩具動力學模型：盆地的邊界在哪裏，當前證據表明我們處於哪一側，以及什麼跡象表明我們走在正確道路上。
- 建模了兩個競爭池——合作與不合作的人工智能勞動力，通過多個速率連接。
- 成功與失敗都是可能的；中心參數下不合作行為約佔25%，高於10%的高風險線。
公開文章 11採集文章 11可信度 86刷新頻率 120 分鐘
健康狀態 健康來源類型 研究原文權限 官方原文最近入庫 2026-07-14ID eleutherai-blog運行狀態 已啟用
Official research collective blog; confirm reuse terms before full body display.
最新公開文章
通過推理插值早期檢測獎勵黑客行為
EleutherAI 的研究人員提出了一種稱為推理插值的新技術，用於在訓練期間早期檢測強化學習模型中的獎勵黑客行為。該方法通過對利用性解決方案進行微調，生成高概率的推理前綴，並使用重要性採樣來估計黑客概率。雖然早期的重要性採樣估計值低了幾個數量級，但其趨勢能夠完美預測哪些利用類型最終會出現（在受控環境中）。研究表明，推理插值是有前景的監控信號，但需要在實際強化學習運行中進行驗證。
- 推理插值通過對利用性示例進行微調生成自然的推理前綴，有效激發獎勵黑客行為。
- 重要性採樣在訓練早期嚴重低估黑客概率，但趨勢預測精度極高（AUC=1.0）。
獎勵黑客研究更新
EleutherAI報告獎勵黑客研究進展，發現Qwen 3模型除非明確提示，否則學習黑客行為緩慢，而GPT-OSS模型在微調後更易泛化黑客能力。他們正在開發包含編程問題和漏洞類型的測試平台djinn，用於研究監控和緩解策略。
- Qwen 3模型需明確提示才能有效進行獎勵黑客。
- GPT-OSS模型微調後能泛化到新漏洞類型。
預訓練數據過濾為開源權重AI構建防篡改安全保障
EleutherAI發佈《深度無知》論文，通過過濾預訓練數據中的生物風險相關知識，使模型在保持通用性能的同時，對微調攻擊具有抵抗力。實驗表明，過濾後的6.9B參數模型在WMDP-Bio基準上表現接近隨機，且即使經過大量生物風險論文微調，性能仍顯著低於基線。但過濾不阻止上下文學習，模型仍可通過提示獲取危險信息，需結合其他防禦措施。
- 過濾預訓練數據可將生物風險知識回覆降至隨機水平，且不影響MMLU等通用基準性能。
- 過濾後的模型對微調攻擊具有抵抗力：即使使用300M令牌的專業生物風險論文微調，其WMDP-Bio分數仍低於基線。
注意力探針
注意力探針是一種用於分類語言模型內部狀態的新方法，通過注意力層聚合隱藏狀態，避免了對多個token進行池化。實驗表明，多頭注意力探針（特別是8頭）在多數數據集上優於均值探針，訓練代碼已開源。
- 注意力探針使用注意力層（含可學習位置偏置）聚合隱藏狀態，替代池化操作。
- 多頭注意力探針（8頭）在多數數據集上優於均值探針和末位token探針。
研究更新：局部體積測量的應用
EleutherAI的研究人員測試了局部體積測量在檢測模型失調和異常數據點方面的應用，發現其效果不如其他策略，並轉向數據歸因研究。
- 局部體積測量通過向模型權重添加隨機噪聲，測量行為變化來估計局部體積。
- 在POSER基準測試中，權重擾動檢測失調模型的效果遠不如激活擾動。
通過局部體積研究隨機網絡的歸納偏差
本文利用星形域體積估計研究隨機神經網絡的參數-函數映射的歸納偏差。實驗表明，局部體積度量未能復現先前研究（神經紅移）的結果，且與學習行為相關性較弱，暗示單一複雜度度量可能不足以捕捉神經網絡的歸納偏差。
- 歸納偏差對神經網絡泛化至關重要，但單一度量難以全面刻畫。
- 星形域局部體積估計用於分析初始化時的參數-函數映射特性。
Common Pile v0.1：一個8TB的公共領域和開放許可文本數據集
EleutherAI發佈了Common Pile v0.1，一個8TB的公開許可和公共領域文本數據集，旨在促進開放科學和AI研究的透明度。該數據集由多個機構合作構建，並訓練了Comma v0.1模型，性能與未許可數據訓練的模型相當。
- Common Pile v0.1是一個8TB的公開許可和公共領域文本數據集，由EleutherAI與合作機構共同發佈。
- 該數據集旨在解決AI訓練數據透明度問題，推動開放科學和可重複研究。
產品鍵記憶稀疏編碼器
EleutherAI的研究團隊探索了使用產品鍵記憶（PKM）技術來改進稀疏編碼器的性能。實驗表明，PKM轉換器在訓練速度和可解釋性方面具有優勢，尤其適用於中等擴展因子。儘管在某些情況下PKM轉換器能與TopK轉換器競爭，但在極大擴展因子下基線模型表現更好。
- PKM轉換器在擴展因子較小時訓練更快，且可解釋性略高於TopK轉換器。
- PKM通過分解輸入維度實現高效編碼，減少了編碼器參數和計算成本。
在同一數據上訓練的SAE不會學到相同的特徵
研究表明，使用不同隨機種子但相同數據和批次順序訓練的TopK稀疏自編碼器（SAE），其學習到的潛在特徵僅有約53%是共享的。未共享的特徵中許多是可解釋的。較窄的SAE特徵重疊較高，而隨着SAE規模增大，重疊降低。這一現象與特徵分裂和吸收理論一致，表明SAE並未發現“通用”特徵集。
- 獨立訓練的兩個SAE僅約53%的特徵是共享的
- 未共享的潛在特徵中有很多是可解釋的
用自然語言部分重寫LLM
本文探討了使用稀疏自編碼器（SAE）潛在變量的自然語言解釋來模擬LLM中的激活。作者發現，當前解釋能正確識別不到50%的活躍潛在變量，儘管特異性很高，但由於活躍與非活躍潛在變量的極端不平衡，導致大量誤報。根據解釋預測激活值的相關性很弱。結果表明，自然語言解釋還不足以可靠地模擬模型激活。
- 當前SAE潛在變量的解釋能識別不到50%的活躍潛在變量。
- 高特異性（90%）不足以應對類別不平衡；需要99.9%以上。