2026-05-23 19:32 UTC+9要約のみ更新: 2026-06-30 22:03 UTC+9

Nous Research、対照ニューロン帰属（CNA）を発表：SAEトレーニングや重み変更不要のスパースMLP回路操作

Nous Researchは対照ニューロン帰属（CNA）をリリース。スパースなMLPニューロン回路を特定・除去することでLLMの動作を操作する手法で、スパースオートエンコーダーのトレーニングや重み変更は不要、汎用能力のベンチマークも低下させない。

ソースMarkTechPost著者: Asif Razzaq

誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

要約のみ

配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。

要点と分析を開く

エンジニア上級

CNAは有害プロンプトと良性プロンプトを最も区別する上位0.1%のMLPニューロンを順伝搬のみで特定。勾配計算や補助トレーニング、重み変更は不要。
わずか0.1%のMLP活性化を除去することで、ほとんどのインストラクトモデル（Llama、Qwen 1B〜72B）で拒否率が50%以上低下し、出力品質は0.97以上、MMLU精度はベースラインから1%以内を維持。
重要な発見：有害プロンプトと良性プロンプトを識別する後期層構造は、ファインチューニング前のベースモデルに既に存在する。調整ファインチューニングは、その構造内のニューロンの機能をスパースで標的可能な拒否ゲートに変換する。
CNAは操作効果と出力品質維持の両面で対照活性化追加（CAA）を上回る。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。