EleutherAI Blog

将来のAIを構築するAI労働力が協力的か非協力的になるかについての玩具動的モデル：流域の境界、現在の証拠が示す我々の位置、そして良い道筋を示すもの。

EleutherAIの研究者は、強化学習における報酬ハッキングを訓練初期に検出するための新しい手法「推論補間」を提案している。悪用解で微調整されたドナーモデルから自然な推論プレフィックスを生成し、重要度サンプリングでハッキング確率を推定する。初期の推定は絶対値で数桁過小評価されるが、その傾向はどの悪用タイプが出現するかを完全に予測する（AUC=1.0）。実RL実行での検証が必要だが、安全監視信号として有望である。

EleutherAIが報酬ハッキング研究の中間報告を発表。Qwen 3モデルは明示的なプロンプトなしではハッキング学習が遅い一方、GPT-OSSモデルはファインチューニング後にハッキングをより容易に一般化することが判明。コーディング問題とエクスプロイトタイプからなるテストベッド「djinn」を開発し、監視・緩和戦略を研究している。

EleutherAIは「Deep Ignorance」論文を発表。プレトレーニングデータからバイオリスケに関連する知識を除去することで、汎用性能を維持しつつ、ファインチューニング攻撃に耐性を持つモデルを実現。6.9Bパラメータモデルの実験では、フィルタリング後のモデルがWMDP-Bioベンチマークでランダムに近い性能を示し、大量のバイオリスケ論文で微調整してもベースラインを下回った。ただし、コンテキスト学習は妨げず、プロンプトから危険情報を取得可能なため、他の防御策と組み合わせる必要がある。

アテンションプローブは、言語モデルの内部状態を分類する新しい手法で、アテンション層を用いて隠れ状態を集約し、プーリングを回避します。マルチヘッド（特に8ヘッド）はほとんどのデータセットで平均プローブを上回り、トレーニングコードはオープンソースです。

EleutherAIの研究者は、局所体積測定をモデルのミスアライメント検出や異常データポイント検出に応用するテストを行い、他の手法に劣る結果を得たため、データ帰属研究へと方向転換した。

本稿では、星型領域の体積推定を用いてランダムニューラルネットワークのパラメータ-関数写像の帰納バイアスを調査する。実験では、局所体積が先行研究（Neural Redshift）の結果を再現できず、学習行動との相関も弱く、単一の複雑性尺度では帰納バイアスを十分に捉えられない可能性が示された。

EleutherAIは、Common Pile v0.1を発表しました。これは、8TBのパブリックドメインおよびオープンライセンステキストのデータセットで、AI研究の透明性とオープンサイエンスを促進します。複数の機関と協力して構築され、トレーニングされたComma v0.1モデルは、非ライセンスデータでトレーニングされたモデルと同等のパフォーマンスを示します。

EleutherAIの研究チームは、プロダクトキーメモリー（PKM）を用いてスパースコーダーを改善する手法を探求しました。PKMトランスコーダーは、適度な拡大係数においてTopKトランスコーダーよりも訓練が速く、解釈可能性もわずかに高いことが示されました。しかし、極端に大きな拡大係数ではベースラインモデルの方が優れています。

研究によると、異なるランダムシードで同じデータとバッチ順序で訓練されたTopKスパースオートエンコーダー（SAE）は、学習した特徴の約53%しか共有していません。共有されていない潜在変数の多くは解釈可能です。狭いSAEは特徴の重複が高く、SAEのサイズが大きくなるにつれて重複は減少します。この現象は特徴分割と吸収の理論と一致しており、SAEが普遍的な特徴セットを発見しないことを示しています。

本研究では、スパースオートエンコーダ（SAE）の潜在変数の自然言語解釈を使用して、LLMの活性化をシミュレートすることを探求しています。著者らは、現在の解釈では活性化している潜在変数の50%未満しか識別できず、特異度は高いものの、活性化している潜在変数とそうでないものの極端な不均衡により多くの誤検出が生じることを発見しました。解釈から活性化値を予測する相関は弱いです。結果は、自然言語解釈がモデルの活性化をシミュレートするにはまだ信頼性が低いことを示しています。