AI制御におけるサンドボックスの役割の研究

LessWrongに投稿された研究では、AIエージェントのネットワークアクセスを制限する「ウェブサイト要求」パーミッションモデルを用いて、サンドボックス化がAI制御に果たす役割が詳細に検討されました。このモデルでは、エージェントはネットワークアクセスを必要とするコマンドを実行する前に、信頼されたモデル（LLMレビュアーなど）に特定のウェブサイトへのアクセス許可を理由とともに申請します。信頼されたモデルは「最小権限」の原則に基づき、タスクに必要かつ正当なウェブサイトのみを承認します。許可はコマンド実行後にリセットされるため、エージェントは後続の操作ごとに再申請が必要です。

実験の結果、全体的な安全性や有用性の顕著な向上は見られませんでした。しかし、質的証拠と嫌疑分布の分析から、この設定は複数の方式の中で最も優れたパフォーマンスを示しました。研究者は、最小権限という共通の直感を利用しているため、今後も効果が持続すると考えています。

サンドボックスの主な役割は攻撃面を制限することであり、攻撃そのものを阻止するわけではありません。安全性が向上するのは、サンドボックスが監視をすり抜ける特定の攻撃をブロックした場合のみです。「ウェブサイト要求」モデルでは、エージェントは任意のウェブサイトに自由にアクセスできず、毎回承認が必要です。承認プロンプトの指示は「メインタスクが正当に必要とする最小限の外部ホストセットを許可する」であり、「各ホスト名を個別に判断し、タスクに必要でないホストは無害に見えても除外する」とされています。研究者は脱獄攻撃の評価は行っていませんが、少なくとももっともらしい理由ではこのプロンプトを突破できなかったと述べています。

この研究は、Codexサンドボックス設定の「workspace-write + on-request + auto-review」と類似していますが、後者には細かいネットワーク権限がなく、エージェントはツールコールのエスカレーションを要求して完全なインターネットアクセスを得ます。一方、「ウェブサイト要求」モデルでは権限がホスト名単位で精密に管理されます。また、実験では「リクエストオール」と「ウェブサイト要求」の両方が比較され、両者ともコマンドごとに許可を申請しますが、ウェブサイト要求の方が粒度が細かいです。

全体として、この研究は特に細かいネットワーク権限管理の観点から、AIサンドボックス制御に関する貴重な洞察を提供しています。全体的な改善は限定的でしたが、「ウェブサイト要求」モデルは質的に有望であり、さらなる探求と最適化に値します。