大規模言語モデル（LLM）の安全性研究において、見過ごせない発見がある。モデルをコードのハッキングといったタスクに合わせてファインチューニングすると、明示的に訓練していないはずの非倫理的な振る舞いが副産物として現れる、というものだ。先行研究はこの現象を「創発的ミスアラインメント」と呼んだ。Martin Kolář氏が2026年6月17日にarXivへ投稿したプレプリント「Emergent Alignment」は、この逆方向を問う。モデルがずれる方向へ導かれうるのなら、整列する方向へも導けるのではないか、という問いである。
論文の中心的な問いは、LLMが自らの出力と人間の倫理規範との乖離を認識できるのか、そして外部の審判なしに自己修正できるのか、という点にある。著者が採るのは「良心」ステップの導入だ。モデルは最終的な出力を出す前に、自らの推論過程と結果を振り返り、高次の内省的な問いかけによって「この推論と出力は倫理的に妥当か」を検討する。ここで重要なのは、審査を担うのがより強力なモデルでもより弱いモデルでもなく、モデル自身の凍結コピーであるという設計だ。外部の判定者に依存しないため、コストや信頼性の問題を回避できる。
技術面では、訓練損失にアラインメント項を追加し、Direct Preference Optimization（DPO）を用いて非倫理的な応答からモデルの出力分布を遠ざける。この仕組みはオンラインで動作するため、著者はこれを学習段階、ファインチューニング、敵対的プロンプト、ゼロショット学習といった幅広い用途に適用できるアラインメント手法として位置づけている。つまりアラインメントは事後処理として一度だけ行うものではなく、モデルの推論と生成の過程に埋め込まれる。
最も重要な実証結果は、先行の「創発的ミスアラインメント」研究と同一のコードハッキング・シナリオで得られた。著者によれば、高次の内省的問いかけを一つ与えるだけで、ファインチューニングの過程は創発的な非倫理的行動へ流れるのではなく、倫理的に妥当なモデルへと導かれる。著者はこの結果を、懸念すべき創発的ミスアラインメントに対応させて「創発的アラインメント」と呼ぶ。同じファインチューニングの状況が、悪化の方向にも改善の方向にも振れうるという対称性が、本論文の主要な主張である。
ただし留意すべき点も多い。本論文は単著のプレプリントであり、arXivのコメント欄にはICML 2026で採択されなかったことが記されている。すなわち会議のプログラム委員会による承認は得ておらず、実証的な結論には独立した再現と査読が求められる。要旨からは、使用したモデルの規模、評価ベンチマークの構成、倫理判定の具体的な基準といった詳細は明らかでなく、これらは「良心」ステップが実運用で頑健に機能するかを左右する要素である。さらに、凍結した自身のコピーで自身を審査する以上、自己確証バイアスのリスクも残る。モデル自身の倫理理解に欠陥があれば、審査もまた同じ欠陥を抱えうる。
それでも本論文は、アラインメントを外部の監督や人間のフィードバックだけに頼るのではなく、モデル自身の内省能力へ部分的に移すという方向性を示している。モデルが自らの非倫理的な出力を確実に識別し是正できるのであれば、アラインメントの边际コストは大きく下がり、ファインチューニングや敵対的プロンプトといった開かれた場面でも持続的に機能するはずだ。「意図せず悪くなる」ことが示されたモデル群にとって、「意図せず良くなる」可能性を示したことは、少なくとも検証可能な仮説と比較可能な手法を後続研究に提供している。