エンタープライズAIのスケーリングに必要なコンテキスト層の構築

複雑な作業はコンテキストに依存しますが、AIはデフォルトではそれを備えていません。AIを規模に応じて活用し投資収益を得るためには、企業はエージェントに、人間の従業員が入社時に学ぶような組織知識、システム認識、ガードレールを装備する方法が必要です。

この問題の規模は、ほとんどの経営幹部が認識しているよりもはるかに大きいものです。MITのNANDAイニシアチブの報告によると、推定300〜400億ドルの投資にもかかわらず、エンタープライズ生成AIパイロットの95％が測定可能なビジネス価値を提供できていません。報告書は、核心的な障壁はモデルの品質や規制ではなく、アプローチ、特にほとんどのGenAIシステムがフィードバックを保持し、ワークフローのコンテキストに適応し、時間の経過とともに改善できないことにあるとしています。

ResearchGateに最近掲載された論文「Governed Memory: A Production Architecture for Multi‑Agent Workflows」は、高度なAIシステムでさえ、共有され統治された組織的コンテキストが不足している場合、長期間のマルチステップエンタープライズタスクで53〜65％の精度しか達成できず、専用のコンテキスト層を導入することで、LoCoMoベンチマークで精度が74.8％に向上し、実運用ワークフローでのタスク失敗が大幅に減少することを示しています。

この研究はさらに、同じコンテキスト層がマルチステップ実行全体でトークン消費を50.3％削減し、運用コストを直接削減するとともに、敵対的テスト下でゼロのクロスエンティティデータ漏洩を強制することを示しています。これは規制環境にとって必須の要件です。

企業は、AIエージェントに人間のエンジニアが受けるのと同じオンボーディング、組織知識、ガードレールを、統治され、オンプレミスで、コンテキスト豊富なインフラを通じて提供し、安全かつ効率的に規模に応じて運用できるようにする必要があります。

Emerjは最近、TabnineのCTO兼共同創設者であるEran Yahavとの対談を開催しました。AI in Businessポッドキャストの議論では、複雑な既存システム内で規模に応じて活用するためにエンタープライズAIエージェントに欠けているものと、リーダーが測定可能なリターンを得るために導入できるインフラストラクチャソリューションが明らかになりました。

本記事では、エージェントの成功または失敗を決定するシステムに焦点を当て、エンタープライズAIパイロットへのアプローチを再考します：

• 組織的コンテキストをインフラストラクチャとして扱う：AIエージェントを組織的コンテキストに基づかせることは、複雑なタスクでの一貫したパフォーマンスに不可欠です。
• 組織知識の事前計算：依存関係を事前にマッピングすることで、冗長なトークン使用を削減し、古い情報に基づく実行を防止します。
• 境界内展開をコンプライアンス要件として扱う：機密システムへのアクセスを集中管理することで、ファイアウォール内展開をセキュリティ要件とします。

組織的コンテキストをインフラストラクチャとして

Yahavは、AIエージェントが複雑なエンタープライズタスクで失敗する主な理由はモデルの能力ではなく、組織的コンテキストの欠如であると主張します。この課題は、チームがゼロから構築するのではなく既存システム上で作業するブラウンフィールド環境で特に顕著です。

大企業、特に銀行では、人間のエンジニアが生産的になるまでに6〜9か月かかります。なぜなら、システム、依存関係、ビジネスロジック、そして数百万行のレガシーコードにエンコードされた暗黙のルールを学ばなければならないからです。AIエージェントは同じ環境に直面しますが、この組織知識を吸収する仕組みがありません。

彼はこう説明します：「AIエージェントは、人間のエンジニアが持つ理解を持たないという重大な課題に直面しています。彼らは自分たちが操作する全体的なコンテキスト、つまり組織、既存システム、それらがどのように維持・操作されているかを理解する必要があります。」

この基盤がなければ、エージェントはしばしば古いコンポーネントを選択し、レガシーパターンを誤解し、最初に見つけたAPIを追跡します。これは、未訓練の開発者が大規模なブラウンフィールドシステムをナビゲートする状況に似ています。

この問題に対処するため、Yahavは組織的コンテキストをあらゆるAIイニシアチブの基盤として扱うことを推奨します。専用のコンテキスト層は以下を実行する必要があります：

• コード、設計文書、インシデントレポート、および本番テレメトリを集約する
• システム間の依存関係と関係をマッピングする
• 実行時にのみ関連コンテキストを提示する
• エンタープライズが実際にどのように運用されているかの統治された表現を維持する

Yahavが説明するように、この層はエージェントが操作する宇宙を定義する地図として機能します。これにより、エンタープライズAIロードマップは、より大きなモデルやより多くのパイロットから、エージェントが予測可能に行動するために必要なインフラストラクチャへとシフトします。

組織知識の事前計算

Yahavは、非常に有能なエージェントでさえ、エンタープライズのシステムの仕組みを独立して発見しなければならない場合に失敗することを強調します。共有コンテキスト層がなければ、エージェントは無関係なサービスをクロールし、依存関係を誤って識別し、古いコンポーネントに固執します。この行動はトークン消費を増大させ、実行を遅らせます。

彼は具体例を示します：エージェントに従業員データを取得する方法を尋ねると、1つの答えが返ってきます。大企業では、それを行う14の異なる方法があるかもしれません。エージェントが最初に見つける方法は、しばしば非推奨、誤り、または最もコストがかかるものです。エージェントは、どのオプションが現在の組織の現実を反映しているかを判断する仕組みがないため、誤った経路を自信を持って実行します。

これを防ぐために、コンテキストエンジンは継続的にソースコード、アーキテクチャ成果物、履歴インシデントデータ、および本番レベルのログを取り込み、依存関係を事前計算します。エージェントはタスクごとにこの知識を再構築する代わりに、統治された最新の組織マップをクエリし、関連するシステムに推論を絞り込みます。

Yahavの「フェラーリ」の比喩は、エージェントのパフォーマンスの運用上の重要性を捉えています：「エージェント自体は非常に強力な車のようなものです。フェラーリのように非常に速く走れます。しかし、どこに行くべきかの地図がなければ、非常に速く円を描いて走り回り、多くの燃料を消費してどこにもたどり着かないでしょう。」

Yahavの経験では、集中型コンテキスト層を運用するエンタープライズでは、成功率が2倍向上し、トークン消費が最大80％削減されます。

CFOに対して、Yahavは2つの指標、つまりトークン支出とチームのアウトプット速度から始めることを推奨します。両方を把握しなければ、エージェントがリターンを提供しているかどうかを測定するベースラインはありません。彼はROI測定の現状について率直に述べています：「企業はエージェントのコストと生産量の両方を可視化する必要があります。現時点では、それを測定する業界の方法はまだ十分に洗練されていません。支出、速度、実際のビジネス価値を結びつけるために、より優れた計装が必要です。」

境界内展開をコンプライアンス要件として

Yahavは、コンテキストエンジンがエンタープライズ境界外に配置できないことを強調します。なぜなら、それは組織の最も機密性の高いエンジニアリング資産（ソースコードから設計記録、本番テレメトリまで）に触れるため、実質的に組織の内部システムの忠実度の高い表現となるからです。規制産業にとって、境界ベースの展開は交渉の余地がありません。

彼は、顧客がコンテキストエンジンをファイアウォールの背後または完全にエアギャップされた環境で実行することを要求すると説明します。これはセキュリティ要件であるだけでなく、信頼要件でもあります。企業は、エージェントの動作を管理するシステムが内部ロジックを外部インフラに露出したり送信したりしないことを知っている必要があります。

Yahavは次のように述べています：「それは組織内の最も貴重な情報源の多くにアクセスします。多くの顧客は、コンテキストエンジンを自社の境界内で実行することを望んでいます。」

データ保護に加えて、コンテキスト層はエージェントの安全な動作を保証するメカニズムにもなります。組織がより多くのタスクを自律システムに委任するにつれて、リーダーはエージェントが変更しているシステムを理解しているという確信を持つ必要があります。Yahavは、コンテキストなしでは信頼は不可能であり、エージェントは人間のエンジニアと同じように組織的認識を持ってオンボーディングされるべきであり、その後で初めてプロダクション関連システムを操作することが許されると主張します。

彼は明確に述べています：AIは、コンテキスト層が安全で統治された環境内で動作する場合にのみ、規模に応じて展開できます。これこそが、データ漏洩を防ぎ、規制上の姿勢を維持し、エージェント主導の変更がレビュー可能で安全であることを保証する唯一の方法です。