大規模言語モデルはさまざまなタスクで成果を上げている一方、外部の手がかりがない状況や敵対的なプロンプトによって、事実に反する誤解を招く出力をすることもしばしばある。こうした挙動を監視するための手法として、モデル内部の活性化ベクトルに対して線形分類器を学習する「線形プローブ」が広く使われている。線形プローブは概念の有無を調べるための簡便な方法だが、訓練データ内の表面的な特徴に過適合しやすく、分布外(out-of-distribution, OOD)のデータに遭遇すると性能が大きく低下することが知られている。
本論文の著者Daniel Yoo氏とAdrians Skapars氏は、この失敗の本質は分類器の構造ではなく、高次元の活性化空間からどの部分空間を選んで読み取るかにあると主張する。彼らはLlama-3.1-8B-Instructを用いて欺瞞検出用の線形プローブを学習し、モデルが見ていない3種類の欺瞞検出データセットで評価した。すると、学習分布の活性化に対する主成分分析を行い、そのうち少数の主成分(PC)方向への射影だけを入力として使うことで、テスト分布で直接学習したプローブにほぼ匹敵する転移性能が得られることが分かった。これは、転移に有効な情報が低次元部分空間に集中しており、逆にそれ以外の方向はソース領域固有の表面的特徴を含んで汎化を妨げていることを示唆する。
さらに著者らは、転移可能なPCを自動で見つけるための手法も提案している。各PCについて、その方向の活性化が最も強い例と最も弱い例を集め、それらが「正直／欺瞞」の対立を示す方向であるかをLLMに審査させてスコア付けする。そして、スコアの高いPCだけでプローブを学習すると、Insider Trading Reportではベースラインとオラクル(理想的プローブ)の差を78%縮め、Sandbaggingでは25%縮められた。重みが大きな方向はデータセット特有の表層特徴を符号化しているのに対し、実際に転移に寄与する方向はより抽象的な「真実／欺瞞」という対比をとらえており、自然言語で説明可能であることも分析で示された。
本研究の意義は、モデル解釈と安全評価の両方に及ぶ。プローブがOODデータで失敗する場合、必ずしもモデルが概念を内部に保持していないのではなく、どの方向に注目すべきかを誤っているだけかもしれない。部分空間選択を主成分の意味解釈と組み合わせることで、低コストで解釈性が高く、複数データセットにまたがって使える検出器を構築できる。一方で、主成分分析に用いる活性化の収集やLLM審査によるスコアリングには追加コストがかかり、LLMの解釈能力に依存するという課題も残る。今後、人間が注釈を付けずに主成分の意味を推定する方法が整えば、安全監査やモデルアライメントの場面でより広く応用できるだろう。本論文は2026年7月1日にarXivへ投稿され、現在はarXiv:2609.02893で公開されている。