安全なAIを構築する方法（AI自体を安全にすることなく）

エージェント型LLMがさまざまなタスクを支援するために広く展開される中、それらがボーイング747と同程度に安全であることを確保することが重要です。既存のアプローチはLLM自体に安全性を保証することに焦点を当てていますが、この課題は困難であり、おそらく不可能です。LLMをレンズと考えてください。入射光の方向、位相、波長に応じて、屈折の仕方が異なります。我々はこの投影の閉形式モデルをまだ持っていないため、与えられた入力が特定の出力を生成するかどうかを判断するには経験的テストを実行する必要があります。LLMの高次元の入力空間、出力空間、パラメータ空間は、本質的に認証を困難にしています。

代わりに、システムアプローチを提案します。LLMをより大きなシステムのコンポーネントとして扱います。LLM自体は決して安全になることはできず、実際にはまったく信頼しません。しかし、それが属するシステムは、安全性、セキュリティ、リスクに関するISO規格の実践に従うことで安全保証を持つことができます。これらの同じ実践により、空の飛行機、道路の自動車、工場のロボットが可能になっています。

方法論は単純です。システムの入出力境界に安全定格のガードレールを設置することで安全な運用を確保します。ISO 61508で規定されているように、たとえば10万分の1の故障確率に対して検証可能であるためには、これらのガードレールはLLMに比べて低次元でなければなりません。例えば、工場のロボットの安全定格非常停止ボタンは、押された場合に実際にロボットを停止する確率が10^-5であることを約束してTÜV認証を受ける必要があります。簡単な例：指定されたディレクトリ外への書き込みをシステムができないようにするチェック。次元が増えるにつれて、ガードレールは確率的になる可能性があります。例えば、確率的保証を持つ分類器がbashスクリプトを実行前に検証することができます。

最も高次元でノイズの多いチャネルは、人間とLLMの間のチャネルです。LLMに促されて、人間は文字通り何でも、かなり恐ろしいことを含めてやりかねません。したがって、人間とLLMの相互作用の周りにISOスタイルの安全保証を持つことは不可能です。より現実的な考え方は、人間とLLMの相互作用を人間同士の相互作用と比較することです。これには広いスペクトルがあります。私たちの社会はこの種のリスクを許容しています：カルトリーダー、虐待者、詐欺師が存在し、時には成功します。このリスクに対抗するために、私たちは社会構造を維持するための介入の組み合わせ（法律、医療、教育など）を使用します。今日、16歳のドライバーを運転席に座らせるときもこのアプローチを使用します。自動車自体はこれらの安全基準に従って製造・認証されています。16歳のドライバーはそうではないので、教育し、教習者を同乗させ、最終的に運転を許可します。（そして、その年齢層の主要死因として自動車事故を許容しています。）

ここで人間との類推が崩れ始めます。社会が詐欺師やカルトリーダーから許容する残留リスクは、人間の時間定数に合わせて調整されています。詐欺師が一人の犠牲者と信頼を築くには数日から数週間かかります。私たちの介入（法律、教育、社会制度）はその時計に合わせて進化してきました。LLMは同じループを数秒で、並行して、数百万のターゲットに対して実行し、人類がその構造を基盤としてきたメカニズムを利用します。正確に言うと、あるクラスのエージェントによる総社会被害を考えます：Rtotal = N × r × p × (1 - v)。ここでNは展開されたエージェントの数、rはエージェントあたりの単位時間あたりの相互作用数、pは相互作用あたりの有害な結果の確率、vはガードレールの検証カバレッジです。人間の場合、N × rは人口と生物学によって制限されます。LLMの場合、N × rは代わりに利用可能なデータセンターの推論スループット、インターネットの帯域幅、モデルに提供できるコンテキストウィンドウによって制限されます。これらの限界は急速に上昇しており、いずれも人間の生物学と上限を共有していません。たとえLLMのpが熟練した人間の詐欺師よりも低くても、Rtotalは既存の介入が吸収するように調整された能力を超える可能性があります。

ここで、問題を引き起こしているLLMの速度が、解決策も指し示しています。相互作用あたりの時間予算に応じて変化する2つの要素があります：ユーザーにとっての効用（相互作用が遅くなるにつれて低下）と検証カバレッジ（出力をチェックする時間が増えるにつれて上昇）。これらをモデル化します：U(t) = e^{-αt}、v(t) = 1 - e^{-kt}。ここでαはユーザーがレイテンシの単位増加あたりに失う量、kは検証効率です。相互作用あたりの正味価値はV(t) = U(t)v(t) = e^{-αt}(1 - e^{-kt})です。Vを最大化すると最適な時間予算t* = (1/k) * (1 + k/α) * ln(1 + k/α)が得られます。この方程式は古典的なスピードと正確さのトレードオフの形状を持っています。(1 - e^{-kt})項は1977年のWickelgren関数であり、減衰する効用に対して熟考時間を最適化することは、ドリフト拡散モデル、神経科学、経済学で解決されています。数学自体は新しいものではありません。新たな枠組みは、kが個人の証拠蓄積ではなく並列検証器の効率であり、αが個人の機会費用ではなく社会全体のレイテンシ耐性であることです。心理学で一度に一つの決定を研究したトレードオフは、データセンター規模での工学的問題として再登場します。

k/αの比率が、速度を落とす価値があるかどうかを決定します。k ≪ αの場合、検証器は遅すぎて意味がなく、システムは速度のみを最適化すべきです。k ≫ αの場合、検証器は時間予算内で実質的な作業を行うことができ、最適値はより多くの検証にシフトします。人間はこのトレードオフを利用できません。なぜなら、私たちはミリ秒のレイテンシで自分の認知に対して並行プロセスでチェックを実行する能力を持っていないからです。LLMはそれができます。あるプロセスが出力をドラフトしている間に、別のプロセスが結果をシミュレートし、ポリシーに対して検証し、別のモデルとクロスチェックします。より良い検証器（k/αが高い）はピークを上げ、それを早めます。安全性とスループットが同時に向上します。古い介入は、空きサイクルのない直列エージェントを想定していました。LLMはその種のエージェントではありません。

この数学は、システム安全のプレイブックが適用可能であり、拡張が必要であることを意味します。工場ロボットや航空機で行うように、システム境界での安全定格ガードレールは引き続き必要です。また、LLMの速度が生み出すレイテンシ予算を活用し、検証カバレッジを後付けではなく第一級の工学的目標として扱う、新しいカテゴリの介入も必要です。

LLMの場合、これらの介入を開発すると同時に、いかなる介入もLLM自体を航空機のコックピットに十分安全にすることはできないことを理解する必要があります。私のロボティクス入門コースでは、学生に2009年のハドソン川でのヘリコプターと小型飛行機の空中衝突に関するFAA事故報告書を読ませています。衝突の一因は、FAA管制官が「無関係な電話」に従事しており、パイロットのニューアーク管制塔の無線周波数の誤った復唱を訂正しなかったことでした。しかし、この種の事故が稀なのは、まさに多くのチェックポイントがあり、人間自体が信頼できず、検証の層を必要とすることを認識しているからです。

私たちは信頼できないコンポーネントの周りに安全なシステムを構築する方法を知っています。航空、医療、製造で数十年にわたって行ってきました。その教訓はAIにも適用できますが、それだけでは十分ではありません。私たちが今持っている信頼できないコンポーネントは、以前持っていたものよりも速く動作します。古い教訓を適用し、新しい教訓を構築する時です。