构建企业AI规模化所需的上下文层

复杂工作依赖于上下文，而AI默认并不具备这一能力。为了规模化利用AI并实现投资回报，企业需要一种方法，为AI代理配备组织知识、系统意识和安全护栏——这些通常期望人类员工通过入职培训来学习。

问题的规模远超多数高管的认知。MIT的NANDA倡议报告指出，尽管累计投资约300-400亿美元，95%的企业生成式AI试点未能交付可衡量的业务价值。报告认为，核心障碍并非模型质量或法规，而是方法——特别是大多数生成式AI系统未能保留反馈、适应工作流上下文或随时间改进。

最近发表在ResearchGate上的一篇论文《 Governed Memory: A Production Architecture for Multi‑Agent Workflows》表明，即使先进的AI系统在缺乏共享、受治理的组织上下文时，在长期、多步骤的企业任务中准确率仅为53-65%；引入专用上下文层后，LoCoMo基准测试准确率提升至74.8%，显著降低了生产工作流中的任务失败率。

该研究还显示，同一上下文层在多步骤执行中减少了50.3%的令牌消耗，直接降低了运营成本，同时在对抗性测试下实现了零跨实体数据泄漏——这受监管环境的必要条件。

企业需要一种方法，为AI代理提供与人类工程师相同的入职培训、机构知识和安全护栏——通过治理、本地部署、上下文丰富的基础设施交付，使其能够安全、高效地规模化运行。

Emerj近期与Tabnine首席技术官兼联合创始人Eran Yahav进行了一次对话。AI in Business播客讨论了企业AI代理在复杂现有系统内规模化所缺乏的东西，以及领导者可以部署的基础设施解决方案，以实现可衡量的回报。

本文探讨了如何通过聚焦决定代理成败的系统，重新思考企业AI试点：

• 组织上下文作为基础设施：将AI代理锚定在组织上下文中，对复杂任务的持续表现至关重要。
• 预计算组织知识：提前映射依赖关系，减少冗余令牌使用，防止基于过时信息执行。
• 边界部署作为合规要求：集中管理对敏感系统的访问，使防火墙内部署成为安全要求而非选项。

组织上下文作为基础设施

Yahav认为，AI代理在企业复杂任务中失败的主要原因并非模型能力，而是缺乏组织上下文。这一挑战在棕地环境中尤为突出，团队在现有系统上工作而非从头构建。

在大型公司——尤其是银行——人类工程师需要六到九个月才能变得高效，因为他们必须学习系统、依赖关系、业务逻辑以及数百万行遗留代码中编码的不成文规范。AI代理面临同样的环境，却没有任何机制来吸收这些机构知识。

他指出：“AI代理面临的关键挑战是缺乏人类工程师所拥有的理解。它们需要了解所处的整个上下文，包括组织、现有系统以及这些系统如何维护和操作。”

缺乏这种基础，代理经常选择过时的组件，误解遗留模式，或跟随它们遇到的第一个API——结果就像未经培训的开发人员在大型棕地系统中导航一样。

为了应对这一挑战，Yahav建议将组织上下文作为任何AI计划的基础。专用上下文层必须：聚合代码、设计文档、事件报告和生产遥测数据；映射系统间的依赖关系和关联；在执行时仅呈现相关上下文；维护企业实际运营方式的受治理表示。

正如Yahav所解释的，该层充当代理所操作宇宙的地图。它将企业AI路线图从追求更大模型或更多试点，转向使代理行为可预测所需的基础设施。

预计算组织知识

Yahav强调，即使高度能干的代理在必须独立发现企业系统如何工作时也会失败。没有共享的上下文层，代理会爬取无关服务，错误识别依赖关系，或锁定过时组件——这种行为会推高令牌消耗并拖慢执行。

他具体描述了问题：询问代理如何检索员工数据，你会得到一个答案。但在大型企业中，可能有十四种不同方式——而代理遇到的第一个通常是弃用的、错误的或最昂贵的。代理自信地执行错误路径，因为它缺乏确定哪个选项反映当前组织现实的机制。

为防止这种情况，上下文引擎持续摄取源代码、架构工件、历史事件数据和生产级日志，并预计算依赖关系。代理无需为每个任务重建这些知识，而是查询一个受治理、最新组织地图，从而将推理范围缩小到关键系统。

Yahav的“法拉利”类比捕捉了代理性能背后的运营风险：“代理本身就像一辆非常强大的汽车——一辆法拉利，可以开得很快。但如果它没有地图，它只会非常快地绕圈，燃烧大量燃料而毫无进展。”

在Yahav的经验中，采用集中式上下文层的企业成功率提高2倍，令牌消耗减少高达80%。

对于首席财务官，Yahav建议从两个指标开始：令牌支出和团队产出速度。两者都看不见，就无法衡量代理是否带来回报。他直言目前ROI衡量方法：“企业需要同时了解代理的成本和产出。目前行业衡量这些的方法还不够成熟。需要更好的工具将支出、速度与实际业务价值联系起来。”

边界部署作为合规要求

Yahav强调上下文层不能置于企业边界之外。因为它触及组织最敏感的工程资产——从源代码到设计记录再到生产遥测——实际上成为组织内部系统的高保真表示。对于受监管行业，边界部署是不可谈判的。

他解释说，客户通常要求上下文层在防火墙后或完全气隙环境中运行，因为它触及机构知识最敏感的源头。这不仅是安全要求，也是信任要求：企业必须知道管理代理行为的系统不会将内部逻辑暴露或传输到外部基础设施。

Yahav指出：“它访问组织内许多最宝贵的信息源。许多客户希望上下文层在其内部网络内运行。”

除了数据保护，上下文层还成为确保代理安全行为的机制。随着组织将更多任务委托给自主系统，领导者需要确信代理了解他们正在修改的系统。Yahav认为，没有上下文就不可能建立信任：代理必须像人类工程师一样接受机构意识培训，才能被允许操作生产相关系统。

他明确表示，只有在上下文层运行在安全、受治理的环境中时，AI才能规模化部署。这是防止泄漏、维持监管状态、确保代理驱动更改可审查且安全的唯一途径。