AIエージェントを熱心だが間違った判断をする人間のインターンとして扱え――制御を失う前に

AIエージェントは、単なるチャットボットから、アプリケーションやデータに対して直接行動を起こす権限を持つデジタルワーカーへと急速に進化しています。しかし、その能力には多くのセキュリティとガバナンスの懸念が伴います。最近のSnowflake Summitのパネルディスカッションでは、専門家がAIエージェントを「熱心だが間違った判断をする人間のインターン」として扱い、人間のインターンと同様の監督と指導が必要だと提案しました。

抑制、文脈、意図が重要です。Resolve AIの創業者兼CTOであるMayank Agarwal氏は、「エージェントに靴を買うように指示すると、いつの間にか車を買っている可能性がある」と警告しました。そのため、エージェントに与える権限を慎重に検討し、行動を制限する強固な制約を設ける必要があります。1PasswordのCTOであるNancy Wang氏は、エージェントが何を目的に作られたかを知るだけでなく、誰の権限で行動しているか、アクセスしたデータをどう扱うかを把握することが重要だと強調しました。

従来のソフトウェア開発とは異なり、エージェントの行動は予測不可能です。Agarwal氏は、2年前まではエンジニアがAPIの連携を正確に計画できたが、エージェントの世界ではエージェントがその場でツールを結びつけ、目標を達成するために様々な経路を試すと述べました。このアプローチは、データの不正な持ち出しなど新たな問題を引き起こします。また、「シャドーAI」の懸念も生じます。例えば、あるクライアントのフレームワーク内に12の無許可のOpenClawインスタンスが存在し、APIやソースコードにアクセスし、Telegramで請負業者と通信していた事例がありました。

これらの問題により、エージェントの背後で何が起こっているかを理解することが難しくなります。Wang氏は、「誰がシステムに対して行動を起こしたのか、人間なのかサービスアカウントなのかエージェントなのか、チームが確実に答えられないことが多い」と指摘しました。したがって、ガバナンスとアクセスのバランスを取る必要があります。過度に制限すると生産性が損なわれ、制限が緩すぎるとリスクが高まります。

専門家は、従業員が作成したCopilotやClaude Chat、Geminiなどのユーザーエージェントの設定やアクセスデータを確認し、AIの設定ミスやプロンプトの通信先を監視することを推奨しています。Wang氏は、最大のリスクは「過剰な権限と長期認証情報を持つエージェント」から生じると述べました。最終的に、エージェントには「非常に具体的な指示」が必要であり、たとえ時折望ましくない行動を取ることがあっても、最初から適切な意図を設定し、その意図をエージェントのすべてのステップと行動にわたって持続させることが重要です。