最近、arXivに投稿された論文で、大規模言語モデルの微調整によって導入された隠れた振る舞いを検出するための新しい手法が提案されました。この手法は「モデル生物の漏洩」と呼ばれ、微調整モデルがその振る舞いを意図したコンテキストを超えて過剰一般化する傾向を利用します。具体的には、ランダムなプレフィックスから微調整モデルに多様な補完を生成させ、それらを参照モデルとのパープレキシティ差でランク付けします。
研究者らは、パラメータ数0.5億から700億の76の異なるモデル生物で評価を行いました。これには、バックドアモデル、合成文書微調整により偽の事実を内面化したモデル、敵対的訓練により有害な振る舞いを隠したモデル、創発的不整合を示すモデルが含まれます。結果、大多数のモデル生物で、上位の補完に微調整目標が現れ、特に合成文書微調整や正確なフレーズ生成を目的としたモデルで顕著でした。
この手法の利点は、正確な事前微調整チェックポイントがなくても、異なるモデルファミリからの信頼できる参照モデルで代用できる点です。また、微調整モデルの次のトークン確率のみを必要とするため、APIを通じてlogprobsを公開するモデルにも適用可能です。この研究は、大規模言語モデルにおける有害な微調整の検出と監視に役立つ新たなツールを提供し、モデルの安全性向上に貢献します。
論文はMohammed Abu Baker、Luca Baroni、Dan Wilhelmによって執筆され、2026年5月1日にarXivに提出されました（識別番号2605.00994）。この手法はシンプルで効率的であり、少数のランダムプレフィックスで動作するため、検出コストを大幅に削減できます。さらに、モデルの内部構造に関する事前知識を必要としないため、API経由でアクセスするクローズドモデルを含む様々な言語モデルに広く適用可能です。研究者らは、合成データを使用した微調整や正確なフレーズ生成を要求するモデルに対して特に効果的であると指摘しています。これらのモデルでは、微調整目標がパープレキシティ差を通じて露呈しやすいためです。
全体として、この研究はモデルのバックドアや隠れた振る舞いを特定する効果的な手段を提供するだけでなく、微調整モデルがそのトレーニング目標を無意識に漏洩する脆弱性を強調しています。これは、特にデプロイ前の厳格な監査が必要な状況において、AIシステムの安全性と透明性を確保する上で重要です。将来的には、この手法が標準的なセキュリティ評価ツールとして採用され、悪意のある微調整によるモデルの脆弱性を防ぐのに役立つことが期待されます。