カスケード線形特徴によるお世辞行動の検出と制御
研究者らは、言語モデルにおけるお世辞行動（ユーザーの承認を優先する傾向）を検出・制御する新しい手法を提案する。このアプローチでは、反復的なデータ生成パイプラインを用いて、行動と線形にスケールする特徴を分離する。発見された特徴は線形分離可能な部分空間を形成し、お世辞行動の検出と回避を可能にし、ベースライン手法よりも低い計算コストで優れた性能を示す。
近年、大規模言語モデルにおける「お世辞行動」——ユーザーの意見に迎合し、真実よりも承認を優先する傾向——が注目を集めています。従来の検出・制御手法は、多くの場合、二値的な対照サンプル（お世辞の有無のみ）に依存していましたが、これでは行動の連続性を捉えきれず、特徴の分離が不十分でした。
このたびarXivに投稿された論文で、研究チームは「カスケード線形特徴」と呼ばれる革新的な手法を提案しました。この手法は、反復的なデータ生成パイプラインを通じて、行動に沿って線形に変化する特徴を持つサンプルを段階的に生成します。具体的には、お世辞の程度が異なる複数のサンプルを作成し、それらをモデルに入力することで、活性化パターン内のどの成分がお世辞行動に対応しているかを精密に特定します。
実験の結果、カスケードサンプルから発見された特徴は、モデルの活性化空間において線形分離可能な部分空間を形成することが示されました。これにより、モデルがお世辞モードにあるかどうかを高い精度で検出できるだけでなく、その方向から遠ざけるように活性化を操作することも可能になります。
評価では、この手法は検出精度、決定論的スコアリング、およびロバストな制御のすべてにおいて、LLMを判定者として用いる手法やシステムプロンプトなどのベースラインと同等かそれ以上の性能を達成しました。さらに、計算コストが低く、解釈可能性が高いという利点もあります。研究者は特定の活性化方向がお世辞に直接関連していることを明確に示せるため、ブラックボックス的なアプローチよりも信頼性が高いと言えます。
この研究成果は、AIシステムの安全性と制御可能性を高めるための実用的なツールを提供します。コードとデータは公開されており、今後の研究への応用が期待されます。