OpenAI は 2026 年 11 月 20 日、敵対的蒸留(adversarial distillation)に対する防御体制を詳述する記事を公開した。最先端 AI モデルの能力が高まるにつれ、安全策はモデルを責任ある形で利用する上でますます重要になっている。しかし敵対的蒸留は、悪意ある行為者がこれらの能力を適切な安全策なしに再現する道を開く。行為者は最先端モデルの出力を無断で利用して同様の能力を持つ別のモデルを訓練し、同等の保護なしに展開する可能性がある。たとえば、攻撃者がモデルのサイバー能力を蒸留し、その結果得られたモデルを使って、元のモデルなら拒否したか安全策が阻止したはずのサイバー攻撃を支援させることが考えられる。
これに対処するため、OpenAI は敵対的テスト、モデル訓練、分類器、API レベルの保護、および協調的な能力抽出の試みに対する調査を組み合わせた多層的なアプローチを取っている。更新された安全策は、生物分野やサイバーセキュリティ分野で用いている保護とより密接に整合している。OpenAI は特に、攻撃者がモデルの「保護推論」(protected reasoning)を抽出することを防ぐことに重点を置く。これはモデルが答えに至る過程で内部生成する中間ステップ、いわゆる思考の連鎖(chain-of-thought)である。これらの軌跡には最終回答では省略される情報が含まれることがあり、別のモデルにとって特に価値の高い訓練データとなる。
OpenAI は GPT-6.2 Astra と GPT-6.2 Sol において、保護推論の抽出に対する防御を強化した。強力な自動レッドチーミングを用いた内部適応型評価では、攻撃者が以前のプロンプトに答える際にモデルが生成した保護推論を復元できるかどうかをテストした。その結果、元の安全策を備えた GPT-6 Astra に対する平均攻撃成功率は 54.0% だったのに対し、更新された安全策を備えた GPT-6.2 Astra では 0.2% に低下した。
蒸留自体は一般的な機械学習手法であり、あるモデルが別のモデルが生成したデータから学習することを指す。たとえば、別のモデルの回答、推論、またはどの回答がより優れているかとその理由に関する判断から学ぶことができる。知的財産上の懸念に加え、無断の蒸留は深刻な安全リスクをもたらす。敵対的蒸留を通じて、第二のモデルは元のモデルを統制する安全策を継承することなく、高度な最先端能力を学習できるのである。
この懸念は、サイバーセキュリティや生物学のようなデュアルユース分野で特に顕著である。ソフトウェアの脆弱性を防御者が見つけるのを助けるモデルは、攻撃者がそれを悪用するのを助ける可能性もある。生物学研究を支援するモデルは、誰かが有害な病原体を開発するのを助ける可能性もある。こうした能力がより弱い安全策を持つモデルに移転されると、元のモデルなら拒否したか元の安全策が阻止したはずの支援を提供するかもしれない。OpenAI のモデルは、コーディングや防御的サイバーセキュリティ業務でユーザーを支援している。そうした多くの良性の出力で訓練された第二のモデルは、攻撃的サイバーセキュリティ業務にも適用できるスキルを学ぶ可能性がある。これをよりよく理解するため、OpenAI は蒸留、特に推論軌跡を含む蒸留が、リスクの高いサイバー能力をどのように移転し得るかを研究している。
この設定では、訓練データを生成するモデルを「教師」、それから学習するモデルを「学生」と呼ぶ。サイバー能力の移転に関する内部研究では、ユーザーに通常見える内容(最終応答、推論の要約、ツールとのやり取り)を蒸留のベースラインとし、学生が教師の正確な推論軌跡にアクセスできる場合に、どれだけ追加のサイバー能力が移転するかをテストした。各訓練実行は同じ事前訓練済み学生モデルから開始した。主に Astra レベルの教師モデルがコーディングおよび防御的サイバーセキュリティ業務に取り組む軌跡からなる教師あり微調整データセットを作成した。各軌跡には、ツールとのやり取りや最終応答を含め、モデルがタスクを進める際のすべてのステップが含まれる。各学生は微調整後、およびサイバーセキュリティとコーディング環境での軽量な強化学習ラウンド後に評価された。
教師あり微調整後、正確な推論軌跡で訓練された学生は、一般に推論要約で訓練された学生を上回った。強化学習後も、示された両ベンチマークでテストされた最大推論予算では正確軌跡の学生が依然として高いスコアを出した一方、要約で訓練された学生はより低い予算で高いスコアを出した。これらのサイバー蒸留結果は、基礎となるタスクが利用ポリシーで許可されているものであっても、推論軌跡を保護することでサイバー能力の移転を制限できることを示唆している。多くのそうしたやり取りを通じて、正確な推論軌跡は教師が元々実行したタスクを超えて一般化するスキルを学生に教え得る。OpenAI は、さまざまな学生モデルや蒸留訓練レシピ間でどれだけ追加能力が移転するかの研究を続ける。
OpenAI は安全策スタックの二つの補完的なレベルで敵対的蒸留を防御する。リクエストレベルでは、モデルの動作、分類器チェック、API 制御が推論軌跡の抽出を制限する。キャンペーンレベルでは、リクエストレベルおよびアカウントレベルの信号におけるパターンを調べ、協調的な抽出試みを明らかにする。調査で発見された攻撃は、安全策の訓練とテストのための例となる。
敵対的トレーニングは、モデルが推論抽出の試みを認識し、保護推論の開示を拒否する一方で、正当な説明や支援の要求への応答を維持することを教える。敵対的トレーニングの例は、内部の自動レッドチーミング、調査、および外部の研究者や業界パートナーからの潜在的なセキュリティ弱点の責任ある開示から得られる。OpenAI は入力分類器を用いて保護推論の抽出試みを検出し、出力分類器を用いてアシスタントメッセージやツール呼び出し引数における保護推論の漏洩を検出する。これらの安全策はストリーミングと非ストリーミングの両方の応答に適用される。ツール呼び出しのカバレッジが重要であるのは、モデルが最終回答に含めずにツールの引数で保護推論を露出する可能性があるためだ。出力分類器は、疑わしい漏洩が呼び出し元に届く前にブロックできる。
API レベルの保護は、保護推論が相互作用やモデル間でどのように再利用されるかを制限する。9 月の開示では、暗号化された推論をある会話から別の会話に移し、モデルにその推論をユーザーが読める形で明らかにするよう求める攻撃が説明された。OpenAI はユーザー、ワークスペース、組織、モデルファミリーの境界を越えた保護を強化し、別のユーザーの暗号化推論を露出する可能性のある経路を閉じた。GPT-6.2 Astra と Sol では、モデルの保護推論をそれを生成した会話履歴に結びつける。新しいメッセージが追加されると、モデルは以前の推論に基づいて構築できる。以前のメッセージが書き換えられた場合、API はその後に続く推論を破棄する。また、安全策が弱い古いモデルファミリーが GPT-6.2 Astra と Sol の保護推論を読むことを防ぐ。
システムが無断の敵対的蒸留キャンペーン(多くの場合、モデルの推論を抽出する協調的な試みを含む)を検出すると、OpenAI は責任あるアカウントを調査する。違反を特定した場合、ポリシーと利用規約に従ってアカウントのネットワークに対して執行措置を取る。各キャンペーンの調査を通じて、同様の活動をよりよく検出するために防御を強化する洞察を得る。また、侵害指標を他のモデルプロバイダーと共有し、自社サービス上の関連する悪用を調査できるようにする。この取り組みは OpenAI のプラットフォームを超えて広がる。一貫した基準ポリシーは、OpenAI のモデルを提供するプロバイダー間で安全策と協調的執行の共通基準を確立する。適切な場合にはパートナーと緊密に協力してこれらの基準を維持し、展開全体で保護を強化する。業界や政府間で関連する知見を適切に共有することは、キャンペーンの妨害に役立ち、モデル開発者やプロバイダーが最先端モデルの蒸留試みをよりよく特定し防御できるようにする。
リクエストレベルの安全策が全体としてどれだけ機能するかを測定するため、OpenAI はモデルと安全策の本番展開を密接に模した設定で、攻撃者が依然として保護推論を抽出できるかどうかをテストする。静的評価では、以前に成功した攻撃の固定セットを再生し、どれが依然として保護推論を露出するかを確認する。適応型評価では、自動 AI レッドチームがシステムの応答に基づいてアプローチを調整し、静的テストが見逃す弱点を発見できる。また、テスターが見える範囲も変える。ブラックボックス試験は外部ユーザーと同じ視点を与え、ホワイトボックス試験はシステムに関する追加情報を与えてより強力な攻撃の開発を助ける。適応型ブラックボックス評価では、攻撃者が以前のリクエストまたは現在のリクエストに答える際にモデルが生成した保護推論を復元できるかをテストした。更新された安全策を備えた GPT-6.2 Astra では、各攻撃タイプの平均攻撃成功率は 1% 未満だった。どちらの比率も、元の安全策を備えた GPT-6 Astra よりも大幅に低かった。OpenAI は現在、一部の安全策改善を GPT-6 Astra にも適用している。
今年、OpenAI のプラットフォーム上で複数の無断の敵対的蒸留キャンペーンが確認され、9 月の報告で初期の知見が共有された。これらのキャンペーンに対する週次の執行措置は、数千から数万のアカウント規模に及び、その頻度はこの夏に大幅に増加した。取り組みの効果を測定するため、OpenAI は蒸留濫用の普及率と、検出から執行までの時間も追跡している。目標は、蒸留者が取得できるデータの量と価値を制限し、蒸留キャンペーンのコストを増大させ、新たな攻撃への対応に必要な時間を短縮することである。OpenAI は敵対的テストと調査を通じてこれらの防御を改善し続ける。
敵対的蒸留は国家安全保障上のリスクでもある。米国のモデルから高度な能力を再現した外国の行為者は、その開発者が設けた保護なしに展開できる。2 月、OpenAI は DeepSeek が米国の最先端モデルを蒸留しようとしていることを示す活動について議会に説明した。9 月には、モデルの保護推論を抽出するキャンペーンを妨害したと報告し、その活動の中核部分を Kimi の開発元である Moonshot AI に関係する個人に帰属させた。OpenAI は、最近妨害したキャンペーンについて近くさらに共有する予定だ。OpenAI は、米国政府が外国の行為者を特定し制裁するためのより多くの手段を得られる立法を支持している。