本文にスキップ
AI News HubLIVE
サイト内リライト5 分で読了

コントロールルーム:研究インフラ全体でモデルワークロードを追跡・停止する中央システム

記事の要約

OpenAIは、研究インフラ全体でモデルワークロードを追跡し、安全またはセキュリティ上の懸念が生じた際に35秒以内にモデル出力を停止できる中央システム「Control Room」を導入した。システムはフェイルクローズド設計で、バグのあるワークロードコードにも耐性がある。

ソースOpenAI News
コントロールルーム:研究インフラ全体でモデルワークロードを追跡・停止する中央システム
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

OpenAIは、研究インフラ全体でモデルワークロードを追跡し、安全またはセキュリティ上の問題が発生した際に迅速に停止するための中央システム「Control Room」を構築した。モデルの能力が高まるにつれて関連するリスクも大きくなるため、潜在的な問題を検出し、必要に応じてモデルを迅速に停止できることがますます重要になっている。Control Roomは、モデルのトレーニングや評価のためのエージェントサンプリング、データ処理など、すべての研究推論ワークロードを接続する。これはミスアラインメント監視システムと連携して機能し、介入を決定してから35秒以内にモデル出力を停止する。このシステムは、他のシステムが故障しても動作し続けるように設計されており、Control Room自体がダウンした場合にもモデル出力を停止する。

Control Roomはすでに研究インフラのうち最も必要性の高い場所に展開されている。外部のモデル提供スタックはもともとより集中化されており、必要に応じてモデルデプロイを迅速に停止する運用能力が十分に開発されている。

Control Roomは、ワークロード、推論エンジン、集中型Control Roomサービスのいくつかのシステムを統合することで機能する。ワークロードとは、強化学習実験、評価、大量サンプリング、データ処理ジョブなど、実行されているジョブである。OpenAIは、エージェント推論を行うすべての研究ワークロードが承認されたセーフティケースに関連付けられることを要求している。推論エンジン(単にエンジンとも呼ぶ)はモデルそのものであり、GPU上で直接実行されるモデルの頭脳と考えることができる。ワークロードは通常、1つまたは複数のモデルを使用し、それらは1つまたは複数の異なる推論エンジン上で実行される場合がある。同じ推論エンジンが複数の異なるワークロードによって使用されることもある。Control Roomサービスはジョブを追跡し、モデル出力の生成を継続できるかどうかを制御する。エンジンはリクエストを処理する前にControl Roomサービスに確認する。ジョブが停止されている場合、サービスはリクエストを拒否し、それ以上の出力を防ぐ。

統合は次のように行われる。新しいジョブを開始するとき、ワークロードコードはControl Roomに新しいjob_idを要求する。ワークロードがモデルからトークンをサンプリングする必要があるときはいつでも、そのモデルを実行している推論エンジンにリクエストを送り、job_idを渡す。エンジンはそのリクエストを処理する許可をControl Roomに求め、job_idをControl Roomに渡す。Control Roomはそのジョブが終了されたかどうかを確認し、終了されている場合は推論リクエストを拒否する。エンジンはワークロードの推論リクエストに対して拒否を返し、そのジョブのさらなるモデル出力の生成を停止する。

プロセスは、研究者が実験や評価などのジョブを起動することから始まる。ジョブコードは研究者によって所有および実行される。推論エンジンはこのジョブの一部として起動される場合もあれば、特定のジョブに関連付けられていないスタンドアロンのエンジンがすでに実行されている場合もある。ジョブはControl Roomに登録する。ワークロードコードはjob IDを要求し、ジョブを承認されたセーフティケースに関連付ける。ジョブ自体がこの要求を行う。Control Roomはジョブを記録し、その識別子を返す。ワークロードはこの同じIDを推論リクエストに添付する。ジョブは推論エンジンにモデル出力を要求する。リクエストにはjob_idが含まれる。このリクエストはワークロードコードから直接行われ、Control Roomを経由しない。エンジンはリクエストを処理する前に、このジョブがまだ実行を許可されているかどうかをControl Roomに問い合わせる。ジョブがまだ許可されている場合、Control Roomは許可を与え、推論エンジンはリクエストを処理してモデル出力を返すことができる。

誰かまたは監視システムがControl Roomにこのジョブを停止するよう指示すると、Control RoomはそのIDを停止済みとしてマークする。ワークロードコードは実行されたままである。OpenAIは、ワークロードコードがジョブがまだ実行中かどうかのチェックを正しく実行することに依存していない。エンジンは新しい推論リクエストを処理する許可を再度Control Roomに求める。同じjob IDを渡す。次の認可が拒否されると、Control Roomは停止されたジョブを拒否する。エンジンは推論リクエストを拒否しなければならない。モデル出力は停止し、ジョブは残る。エンジンはモデル出力の代わりに拒否を返す。研究プロセスは生き続ける可能性があり、エンジンは他の許可されたジョブに利用可能なままである。

すべてのフロンティア強化学習ジョブはモニターと共に実行される。モニターは別のモデルであり、トレーニング中のモデルが行っているすべてのことを検査し、問題を検出するとアラートを発する。例えば、最近のDNS関連インシデントはモニターによって捕捉された。監視システムが潜在的な問題を検出した場合、詳細と深刻度に応じて、監視システムはジョブを停止することを決定する場合がある。この場合、監視システムはControl Roomにジョブを停止するメッセージを送信し、job_idを渡す。Control Roomはそのジョブが終了されたことを記録する。次にそのjob_idを持つジョブが、任意のエンジン上で実行されている任意のモデルからより多くのトークンをサンプリングするための推論リクエストを行うと、リクエストは拒否され、それ以上のモデル出力が停止される。

Control Roomがジョブを停止する指示を受け取った瞬間から、それ以上の進展が不可能になる瞬間までの最大時間は35秒である。この35秒の遅延は、必要なトラフィック量をサポートするための推論認可のキャッシング層に由来する。OpenAIはこの数値をゼロに近づけ、ジョブを即座に終了できるように取り組んでいる。

ワークロード(実験、評価ジョブなど)は通常、研究者または研究チームによって所有および運営されている。そのため、ワークロードコードは頻繁に変更され、重要な負荷のかかる安全保護を実装するのに理想的な場所ではない。このため、OpenAIの実装は、バグのある、または壊れたワークロードコードに対して耐性があるように設計されている。これは、停止メカニズムを推論層に実装することによって実現される。ワークロードコードは非常に多様で分散している。対照的に、OpenAIの研究全体で使用されている推論コードパスはごく少数であり、そのデプロイははるかに集中化され均一である。これは、推論層がボトルネックとして機能し、研究で実行されているすべてのモデル推論がすべての推論リクエストでControl Roomの認可チェックの対象となるという強力な保証を得ることができることを意味する。さらにOpenAIは、ユーザーが誤ってまたは悪意を持ってControl Roomが実装されていないか無効になっている不正なエンジン実装を起動していないかを確認するために、継続的なエージェントおよびプログラムによるスイープを実行している。

最後に、このシステムは「フェイルクローズド」である。つまり、エンジンにおけるControl Room統合は、システムエラーまたは他の理由(悪意のある行為者による改ざんを含む)でControl Roomサービスがダウンした場合、Control Roomが正常動作を再開するまですべての推論リクエストが拒否されるように構成されている。フェイルクローズドは現在すべてのフロンティアモデル研究ワークロードに展開されており、今後数日で残りのすべての研究ワークロードに展開が完了する予定である。

Control Roomは、安全なフロンティアモデルのトレーニングとデプロイへのOpenAIの包括的なアプローチの一部にすぎない。OpenAIは今後数ヶ月間、ミスアラインメント行動とセキュリティ侵害の監視への投資とともに、このシステムを強化・拡張し続ける。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • Control Roomはすべての研究推論ワークロードを追跡し、ミスアラインメント監視と統合して35秒以内にモデル出力を停止する。
  • 停止メカニズムはワークロードコードではなく推論層に実装され、バグや悪意ある改ざんに対する耐性を確保する。
  • システムはフェイルクローズドで、Control Roomがダウンすると再開するまですべての推論リクエストが拒否される。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。