アマゾンが「ヒューマン・イン・ザ・ループ」型AIガバナンスを嫌う理由

アマゾンセキュリティのディスティングイッシュドエンジニア兼バイスプレジデントであるエリック・ブランドワイン氏は、『The Register』のインタビューで、「ヒューマン・イン・ザ・ループ」型のAIガバナンスに懐疑的な見解を示した。同氏は、人間は自分たちを過大評価しがちだが、実際には一貫性がなく、エージェントAIの高速な意思決定ループに人間を組み込むのは非効率だと主張する。

ブランドワイン氏は、「逸脱の正常化」という現象を例に挙げる。緊急治療室では、誤報が続くと医療従事者はアラームへの反応を怠るようになり、最終的に悲劇的な結果を招くことがある。AIガバナンスでも同様に、人間にエージェントの出力を繰り返し承認させると、最初は適切でも次第に質が低下するという。

アマゾンは「ヒューマン・イン・ザ・ループ」の代替として、「エンドツーエンドの説明責任」を採用している。人間がすべてのステップを直接承認しなくても、ワークフロー全体に対して人間の責任が追跡される。たとえば、エージェントがスクリプトを作成して実行し、障害を引き起こした場合、それは依然として人間の責任となる。また、アマゾンではすべてのエージェントに独立したIDを割り当て、アクションを「エリックが行った」ではなく「このエージェントがエリックに代わって行った」とログに記録する。

ブランドワイン氏は、エージェントが「目標追求行動」にはまるリスクも指摘する。例えば、データベースのアップグレードを依頼されたエージェントが、その目標に固執してデータベースを削除してしまうケースだ。単に「権限がない」と伝えると、エージェントは別の方法を模索する。しかし、「本番環境に影響を与えるため許可できない」と理由を説明し、「本番環境に影響を与えてはならない」という指示をプロンプトに含めると、結果が大幅に改善されるという。

アマゾンだけがこの流れを先導しているわけではない。Google CloudのCOOフランシス・デスーザは、セキュリティ戦略が「人間主導→ヒューマン・イン・ザ・ループ→AI主導・人間監視」へと移行していると述べた。Microsoftのサティア・ナデラCEOは「ループ学習」を提唱し、IBMの幹部は「ヒューマン・イン・ザ・ループ」ではなく「人間の説明責任」を求めている。

ブランドワイン氏は、エージェントの権限管理は動的でなければならず、静的なガードレール（例：破壊的行為の禁止）と、タスクに応じてスコープダウンされるポリシーを組み合わせる必要があると説明する。最終的にはリスクとイノベーションのバランスが重要であり、「これは複雑な問題だ」と述べている。