本文にスキップ
AI News HubLIVE
サイト内リライト6 分で読了

OpenAI、組み込み評価の第一フェーズを開始—4機関が安全性を独立検証

記事の要約

OpenAIはApollo Research、METR、Transluce、Goodfireと契約し、組み込み評価の第一フェーズを開始する。独立専門家がモデルの整合性、安全策、監視システムを深く検証し、公開報告を通じて透明性を高める。

ソースOpenAI News
OpenAI、組み込み評価の第一フェーズを開始—4機関が安全性を独立検証
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

OpenAIは2026年11月13日、Apollo Research、METR、Transluce、Goodfireの4つの独立評価機関と契約を締結し、組み込み評価の第一フェーズを開始すると発表した。AI能力の急速な進歩に伴い潜在的なリスクが増大する中、独立評価による公開報告は、研究機関がリスクをどのように評価し管理しているかを人々がより明確に理解する助けとなる。

組み込み評価では、独立した専門家が長期間にわたり研究室の内部モデルやシステムに深くアクセスし、モデルの整合性と安全策の有効性を評価する。特に関連する安全ケースに焦点を当てる。各評価の必要性に応じ、評価者はOpenAIの研究者が使用する内部リソースの一部にアクセスできる。これにはモデルチェックポイント、ソースコード、訓練・評価データ、監視システム、技術文書、および責任ある研究者やエンジニアとの議論が含まれる。このアクセスにより、評価者は独立した評価を進め、OpenAIが予期しなかった失敗を発見するための証拠と文脈を得ることができる。

初期評価は、訓練中および内部利用時のモデルの整合性と安全策に焦点を当て、OpenAIの安全ケースを補完する。これは、第三者評価に関するOpenAIの優先事項と原則、および長年にわたる第三者評価者との協力に基づいている。最近では、内部監視システムのパイロット評価を深い内部アクセスで実施し、Hugging Faceインシデントの調査も行った。OpenAIはこれらの経験を活かし、今後数カ月で独立専門家との協力を深める方針だ。これらの取り組みは、ホワイトハウス超知能協定の下での安全制御の独立評価へのコミットメントも支持する。こうした協力は、業界全体で独立評価と公開透明性の共通基準を強化することに貢献し得る。

具体的な評価計画として、Apollo Researchはモデルが開発者の意図に反して秘密裏に行動する可能性があるか、またOpenAIの安全策がそのような行動を検出できるかを評価する。Apolloは訓練、安全テスト、内部利用からの証拠に基づき、4つの主張を2段階で評価する。すなわち、訓練が転覆を奨励しなかったこと、強力な評価とレッドチーミングが転覆を引き起こさないこと、モデルが内部利用中に転覆を試みなかったこと、転覆の推論が検出可能であること、の4点である。第1段階では、OpenAIは選択された公開・非公開モデルと訓練チェックポイント、関連する訓練データと評価結果、訓練介入記録、監視システムとフラグ付けされた行動、文脈を提供できる研究者へのアクセスを提供し、独立したテストに必要なツールと計算資源を用意する。

Goodfireは解釈可能性研究者を組み込み、Goodfireプラットフォームを用いてモデル内部を分析する。評価の主目的は訓練実行の監視、デバッグ、整合性である。評価の主な対象はOpenAIの内部研究者であり、彼らは発見を安全性の改善に活用する。Goodfireは協力の進展に合わせて学習内容と発見を公開する予定だ。

OpenAIはMETRとの間で、モデルの整合性と監視に焦点を当てた2つの評価を実施する予定である。整合性評価では、METRはOpenAI史上最大の強化学習実行における不整合行動を評価する。これには既存のテストや監視が見逃した可能性のある失敗が含まれる。選択された実行と合意されたアクセス、リソース、安全対策の範囲内で、METRは独立して評価の優先順位を設定し、検索、分析、誘発実験を反復する。アクセスには関連するチェックポイントのサンプリング、訓練・評価ロールアウト、およびこの実行の不整合監視記録が含まれる。第1フェーズでは、最大のフロンティア強化学習実行に焦点を当てる。監視評価では、OpenAIは最近METRと協力して監視ストレステスト演習を実施した。さらに広範な監視評価についても予備的に合意しているが、評価範囲は双方の合意待ちである。

TransluceはOpenAIのポストトレーニング整合性評価の初期評価を実施し、その品質と範囲を検討する。初期評価では、OpenAIは選択された公開・非公開モデル、ポストトレーニング整合性評価と関連結果、モデル行動データと安全ケース文書、文脈を提供できる研究者へのアクセスを提供し、独立したテストに必要なツールと計算資源を用意する。OpenAIとTransluceはまた、2027年初頭に約8週間のフォローアップ評価を実施する意向を共有している。これには追加モデルへの広範なアクセス、整合性評価へのより深いアクセス、評価結果がモデルリリースの決定にどう影響するかに関する情報が含まれる。

OpenAIは、深いアクセスとセキュリティ、機密性、監視、評価の独立性と整合性のバランスを取るため、評価者からの意見を取り入れてプロトコルとプロセスを策定した。これらを公開することで、組み込み評価の透明性を高め、まだ標準化されていない組み込み評価の規範に関する議論を進める。OpenAIは、組み込み評価の初期段階では、技術的アクセスの課題、スペースの制約、進化するセキュリティプロトコル、その他の予期せぬ問題が発生すると予想している。これらは評価者と協力して解決し、教訓を共有したい考えだ。

各契約は、厳格な評価に必要な範囲、アクセス、リソース、安全対策の合意から始まる。特定の安全主張を検証する評価もあれば、定義されたシステムや訓練実行内で予期せぬ失敗モードを発見する余地を評価者に与えるものもある。いずれの場合も、評価者は証拠を追い、方法を洗練し、発見が正当化されれば追加評価を提案する自由が必要だ。OpenAIはまた、評価の発展に伴い追加のアクセスニーズに対応するプロセスも設けている。モデルの重みやアーキテクチャなど最も機密性の高いIPの直接アクセスが露出する可能性がある場合、OpenAIはOpenAI研究者と評価者をペアにして分析を実行するなどの代替案を検討する。

機密情報へのアクセスを必要とする評価者は、OpenAIのオフィスでオンサイト勤務し、OpenAIのデバイスを提供される。主な目的は、アクセスする情報のセキュリティを保護することである。オンサイト勤務はまた、評価者がアクセスをナビゲートし評価の文脈を提供できる専任スタッフと交流する機会も提供する。OpenAIはまた、組み込み評価者が実験や評価を実行する際に、少なくともOpenAI従業員と同じセキュリティ基準に従うことを期待している。場合によっては、実験の条件に応じてより厳格な基準が適用される。

OpenAI Foundationの取締役会の独立監督委員会である安全安全保障委員会(SSC)は、組み込み評価に対する可視性を持ち、評価の前、最中、終了時に監督責任を行使できる。SSCは未編集の報告書を受け取り、評価者とSSCは評価中に相互に、非公開で対話することもできる。OpenAIと評価者の間の意見の相違は、安全諮問グループとOpenAI幹部にエスカレーションされ、指定された期間内に解決される。SSCはそのような相違がエスカレーションされた際に速やかに通知される。相違が解決しない場合、問題はSSCに付託される。

従業員との議論は、評価者が内部情報と仕事の背景を理解するのに役立つ。OpenAIは評価者と話すことができるスタッフを承認し指導する。評価者は必要に応じて追加のスタッフとの対話を要求できる。オープンで率直な会話を奨励し、スタッフのプライバシーを保護するため、これらの議論はオフレコである。つまり、評価に情報を提供できるが、公開したり従業員に帰属させたりすることはできない。別の証明経路を通じて、評価者は従業員との会話で学んだことを検証、訂正、または明確化するOpenAIの証明を要求できる。これらの声明は個人に帰属せず、個人の見解を特徴づけるものではない。評価者はOpenAIが証明した声明を公開するか、OpenAIが声明の証明を拒否したことを開示できる。

個人関係、金銭的利益、その他の問題を含む利益相反を明確かつ透明に管理することは、評価の整合性と独立性にとって重要である。クールオフ期間も慎重に設計する必要があり、評価者が複数の研究室間で責任を持って業務を行い、競争情報を慎重に扱えるようにする。OpenAIは評価者と協力して、利益相反とクールオフ期間の両方について明確なプロセスを策定している。これには緩和策の柔軟性と、忌避を要請する決定の透明性が含まれる。

評価者は評価の公開において独立性を維持するが、OpenAIは以前の第三者契約と同様に、機密情報を編集する権利を留保する。また、セキュリティや安全上のリスクをもたらす可能性のある発見に対処し、残存する問題を修復する時間を確保するため、責任ある開示の遅延を要請する場合がある。

公開報告は、発見とその限界を人々が理解するのに役立つ一方、より詳細な機密報告は監督機関に行動に必要な証拠を提供する。OpenAIはこれらの評価がリスクの特定と対処の方法を改善し、一般市民が安全性の取り組みを判断するためのより明確な根拠を提供することを望んでいる。

これらの評価は、OpenAIの継続的な整合性と安全性の取り組みに独立した視点をもたらす。発見の公開報告はその取り組みをより透明にし、リスクがどのように特定され対処されているかについてより大きな保証を提供する。OpenAIはこの第一フェーズの評価が、長期的で一貫した組み込み契約につながり、最も重要な安全主張と安全ケースについて第三者の安全シグナルと改善提案を継続的に提供できるようになることを期待している。

OpenAIは引き続き複数の独立した第三者と協力し、多様な専門知識とアプローチを持つ健全な評価エコシステムの構築を支援する。一部の調査は敏感なシステムでの持続的なオンサイト作業を必要とし、他の調査は主に展開済みまたは展開間近のモデルを評価したり、公開文書をレビューしたりする。今後数カ月で、OpenAIはより広範な安全問題に関する外部評価を支援する。また、安全フレームワークの遵守状況や組織文化とプロセスを検証する将来の組み込み評価も模索している。OpenAIはこの取り組みを拡大し、それを維持するために必要な能力と共通基準の構築を支援することにコミットしている。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 4つの独立評価機関がモデルチェックポイントやソースコード、訓練データへの深いアクセスを獲得
  • 評価は訓練中および内部利用時の整合性と安全策に焦点を当て、安全ケースを補完
  • 評価結果は公開されるが、OpenAIは機密情報の redaction 権を留保
  • 安全安全保障委員会(SSC)がプロセスを監督し、意見の相違を解決

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。