大規模言語モデル（LLM）が訓練例を超えて広く過剰汎化するメカニズムは依然として不明である。創発的ミスアラインメント（Emergent Misalignment, EM）はその顕著な事例を提供する。狭いタスクで微調整を行うと、意味的に関連しないテストドメインに対して広範なミスアラインメントが誘発されるのである。Jiachen Zhaoら6名の著者による2026年6月4日投稿の論文は、この現象を説明するために「ピギーバック仮説（Piggyback Hypothesis）」を提案している。この仮説は、チャットテンプレートのトークンが微調整された振る舞いをドメイン外のクエリに「乗せて運ぶ」というものである。
研究チームはこの仮説を実験的に検証した。プレフィックス（すべてのユーザークエリに先行するトークン）に微妙な摂動を加えるか、未微調整モデルのプレフィックス表現でパッチを当てることで、ユーザークエリ自体を変更せずともアラインメントを回復できることを示した。この結果は、プレフィックストークンの表現が微調整された振る舞いのクロスドメイン汎化において重要な役割を果たすことを示唆している。
この発見に基づき、著者らはトークン正則化微調整（Token-Regularized Finetuning, TReFT）を提案する。TReFTは訓練中に特定のトークン表現を正則化することで、EMを緩和する。複数のモデルと複数のEM誘発データセットにおいて、TReFTはEMを低減しつつ、ドメイン内の学習を維持する。
具体的には、法律ドメインで微調整したLlama-3.1-8Bにおいて、TReFTはアラインメント済み例の保持セットを用いたデータインターリービングと比較して、33.5%多くのEM削減を達成した。さらに、TReFTは棄権、ツール使用、拒否応答といった他の狭い微調整設定にも拡張可能であり、これらの設定ではドメイン外汎化が平均54.3%減少し、ピギーバック仮説をさらに支持している。
この研究は、LLMが意図しない方法で学習・汎化する可能性があることを広く示し、より制約された微調整への道筋を提案するものである。また、共有された入力特徴がドメイン間でモデルの振る舞いをどのように「乗せて運ぶ」のかについて、さらなる研究の必要性を喚起している。本論文は計算と言語（cs.CL）分野に属し、arXivで全文を閲覧できる。