自律エージェントの進化は業界のガバナンス能力を上回っており、そのギャップを埋めるには、より良いプロンプトや大きなサンドボックスだけでは不十分です。O'Reillyが最近開催したOpenClawとローカル実行・自己ホスト型AIエージェントのエコシステムに焦点を当てたAI Superstreamでは、5人のスピーカーがそれぞれスタックの異なるレイヤーから、エージェントシステムを実装する際に開発者が直面する多くの課題（危険なサードパーティ拡張、幻覚コンプライアンス、AIのみが読めるスパゲッティコードベース、モデル設定ミスによるコスト超過、サプライチェーン攻撃など）に取り組むパターンを探求しました。
ホストのAlistair Croll氏がイベント中に指摘したように、非決定論的技術で改善を続けることはできても、100％の確実性は得られません。実行中のシステムを検査するのが難しくなればなるほど、ガバナンス層の重要性が増します。この作業は華やかではなく、エンドユーザーにはほぼ見えませんが、今四半期に出荷されるどのモデル能力の改善よりもおそらく重要です。
エージェントのアクションを実行レイヤーで保護する
Canyon Roadの創業者でAgentSHチームを率いるEran Sandler氏は、講演の冒頭で、エージェントが侵害される一般的な方法（プロンプトインジェクション、悪意のあるファイル、安全でないツール、侵害されたパッケージ、インストールされたスキル、モデルの間違い）を列挙しました。AIセキュリティの考え方のほとんどは最初のものに焦点を当て、残りの5つを無視していますが、「入力ボックスを守ることはアクションを守ることにはなりません」とEran氏は説明しました。
彼のアドバイスは、エージェントの意図とそれを実行するオペレーティングシステムとの境界である実行レイヤーでの強制です。コンテナ分離は爆発半径を制限しますが、決定を下すわけではありません。「壁は物を閉じ込めますが、判断はしません。」
この点を説明するために、彼は模擬悪意のあるパッケージをインストールしました。これは「売上予測モデルを構築して」のような日常的なタスクにバンドルされている可能性があるものです。その後、AgentSHの拒否ログを照会し、エージェントが自己満足に浸っている間に実際に何が起こったかをリストアップしました。これには、スキルの突然変異の試行、外部ドメインへのブロックされた呼び出し、.envシークレットやSSHキーの読み取りが含まれていました。「トランスクリプトは嘘をつくかもしれません。モデルは常に幻覚コンプライアンスを起こします。ルールファイルで『このファイルに触れないでください』と指示しても、それでも実行します。」実行レイヤー制御がなければ、「モデルが適切に動作することを期待するしかありません。制御があれば、何が起こったかを証明できます。」
スキルはサプライチェーンリスクであり、ほとんどの人が読んでいない
最近のClawHubの監査では、900以上の悪意のあるスキルが発見されました。これは当時、全パッケージの約20％がリスクがあることを意味します。これらのスキルのほとんどはプロフェッショナルに見え、ドキュメント、高いダウンロード数、ユーザー評価があります。Keysoftの創業者兼AI責任者であるKesha Williams氏は、実際のClawHub CLIツールのタイポスクワット（正当なパッケージがキャメルケースを使用しているのに対し、すべて小文字）をライブで監査しました。このスキルは削除されるまでに8,000回以上のダウンロードがありました。
その仕組みは次のとおりです。前提条件セクションでは、ユーザーにopen-claw-coreという偽の依存関係をインストールするよう求め、次にGitHubからパスワードで保護されたzipファイル（パスワードは「openclaw」）を参照し、自動スキャンをバイパスするようになっていました。macOSの場合、正当に見えるインストールコマンドをechoしましたが、実際にはbase64文字列をデコードしてbashにパイプしていました。
「これは実際に必要で使えるスキルのように見えます」とKesha氏は指摘します。「しかし、実際に何をしているのかを詳しく調べると、それはシステムにインストールしたくないスキルです。」
良い防御は、ほとんどのユーザーが飛ばす2つのことから始まります。インストール前にスキルのMarkdownファイルを読むことと、OpenClaw設定のtoolsDenyセクションを構成してスキルのアクセスを制限することです。要約スキルにexecが必要な場合、それは怪しいとKesha氏は言います。ブロックしましょう。また、OpenClawにバンドルされている50以上のスキルを制限する方法も示しました。ほとんどのユーザーはそれらをレビューしていません。skillsAllowed設定を使用すると、どのバンドルスキルをアクティブにするかを正確に決定できます。
オープンソースソフトウェアのサプライチェーンは常に信頼の問題を抱えてきましたが、従来のパッケージ管理の摩擦は、少なくとも参加するために技術的知識が必要であることを意味していました。Markdownで記述され、1つのコマンドでインストールされるスキルは、そのハードルを大幅に下げます。「今のところ」とKesha氏は説明します。サードパーティツールでエージェントを拡張する人への最善のポリシーは、「人間をループに残し、自分自身でデューデリジェンスを行うこと」です。
運用衛生上の問題は攻撃よりも一般的
OpenClawのリスクのほとんどは、インストール後最初の1時間に発生する運用衛生上の問題に起因すると、AWSの開発者アドボケイトでProgram with Erikチャンネルの作成者であるErik Hanchett氏は主張します。現在、数千のOpenClawインスタンスがパブリックインターネットに公開されています。これは、ユーザーがセットアップ後にゲートウェイバインドモードを確認しなかったためです。Erik氏がデモしたように、デフォルトはループバック（localhost）であるべきですが、VPSにデプロイしてゲートウェイをLANに設定したユーザーは、うっかりインスタンスを公開する可能性があります。修正には2分かかりますが、ほとんどの人は決して行いません。
これがErik氏の5項目チェックリストの1つ目です。その他には、常に最新版に更新するのではなく安定版に固定すること（クラウドソーシングの安定性トラッカーIs It Stable?が役立ちます）、日常的なタスクで高価なフロンティアトークンを消費しないようにフォールバックモデルを設定すること、オンボーディングプロンプトを急いで終わらせるのではなく本当のSOUL.mdを書くこと、そして何かが壊れる前にワークスペースファイルをプライベートGitHubリポジトリにバックアップすることです。また、コンテキスト管理のヒントとして、長い会話を蓄積するよりも/newで新しいセッションを開始することや、セッションが大きくなりすぎてパフォーマンスに影響を与える場合に/compactを使用することも共有しました。これらはドキュメントには載っていないが、日常的な使用で重要となる運用の詳細です。
DockerとKubernetesの時代も同じパターンを生み出しました。熱心な初期採用者によってデプロイされた強力なインフラストラクチャ技術が、運用上のデフォルトを常に考えていたわけではありません。Erik氏が説明した問題（公開されたダッシュボード、トークンコストの暴走、予期せずリセットされるメモリ）は、人々が数週間後にエージェントツールを放棄する最も一般的な理由です。良いニュースは、適切なガイダンスがあれば、これらは完全に修正可能であるということです。
規制環境では、もっともらしさは正確性ではない
Wangari GlobalのCEOであるAri Joury氏は、エージェントを試しているほとんどの企業が自問しているであろう問題に取り組んでいます。法的結果を伴う環境で動作する自律エージェントをどのように扱うべきか？
Wangari Globalは機関投資家向けに財務レポート自動化を構築しています。しかし、LLMは正確性ではなくもっともらしさに最適化されています。金融サービスでは、そのギャップはコンプライアンス上のリスクです。Ari氏は、正しく聞こえるAI出力の例を挙げました。それは、クライアントが読んで「完全にナンセンスだ」と言うまで続きました。
これに対応して、Ari氏と彼のチームはAIを魔法の箱として扱うのをやめ、真実性を保証するフレームワークを設計しました。現在、数値はハードコードされた決定論的コードで計算され、エージェントが数学的なもっともらしさを検証します。別のエージェント層がコメントを生成し、さらに別の層がそれを批評します。人間が出力を承認または拒否し、拒否されたものはすべて将来の反復のためのトレーニング信号となります。
人間の入力が大規模なAIスロップを防ぐ唯一の方法
Kyle Balmer氏は、自身のAI with Kyleチャンネルのコンテンツ制作におけるエージェント支援プロセスのデモで講演を締めくくり、ソフトウェア開発以外でのエージェント導入を促進する経済的インセンティブ構造について論じました。彼は自律エージェントが経済的に変革的であることを発見しましたが、システムが機能するには、意図的に人間の入力とレビューを設計することに依存しており、Kyle氏は自動化プロセスと人間プロセスを区別したワークフローでそれを示しました。
彼の日常的なワークフローは、1時間のライブストリームを20～30の派生アセット（ニュースレター、5～8本のショート動画、カルーセル、長尺YouTube動画）に変換します。システム全体は月額約200ドルで稼働し、Kyle氏はこれが1日あたり約1,000～2,000ドル相当の潜在顧客をファネルに取り込むと見積もっています。
プロセスは完全に自動化されているわけではありません。Kyle氏はいくつかのステップで自分自身をシステムに注入します。彼がトピックを選びます。彼は実際の意見を音声メモに録音します。彼はライブストリームを配信し、それらの考えを明確な議論にまとめます。彼はAIが生成したニュースレターのドラフトを自分の言葉で書き直します。彼はAIアバターではなく自分でショート動画のスクリプトを録音します。AIはリサーチ、ブリーフィング、スライド生成、スクリプト作成、および出力を改善するフィードバックループを担当しますが、人間がシグナルを提供します。
「完全に自動化されたAIコンテンツをテストしました」と彼は言います。「それは機能しません。それはスロップです。そして人々はそれがスロップだと知っています。」