構建企業AI規模化所需的上下文層

複雜工作依賴於上下文，而AI預設並不具備這一能力。為了規模化利用AI並實現投資回報，企業需要一種方法，為AI代理配備組織知識、系統意識和安全護欄——這些通常期望人類員工透過入職培訓來學習。

問題的規模遠超多數高管的認知。MIT的NANDA倡議報告指出，儘管累計投資約300-400億美元，95%的企業生成式AI試點未能交付可衡量的業務價值。報告認為，核心障礙並非模型質量或法規，而是方法——特別是大多數生成式AI系統未能保留反饋、適應工作流上下文或隨時間改進。

最近發表在ResearchGate上的一篇論文《 Governed Memory: A Production Architecture for Multi‑Agent Workflows》表明，即使先進的AI系統在缺乏共享、受治理的組織上下文時，在長期、多步驟的企業任務中準確率僅為53-65%；引入專用上下文層後，LoCoMo基準測試準確率提升至74.8%，顯著降低了生產工作流中的任務失敗率。

該研究還顯示，同一上下文層在多步驟執行中減少了50.3%的令牌消耗，直接降低了運營成本，同時在對抗性測試下實現了零跨實體資料洩漏——這受監管環境的必要條件。

企業需要一種方法，為AI代理提供與人類工程師相同的入職培訓、機構知識和安全護欄——透過治理、本地部署、上下文豐富的基礎設施交付，使其能夠安全、高效地規模化執行。

Emerj近期與Tabnine技術長兼聯合創始人Eran Yahav進行了一次對話。AI in Business播客討論了企業AI代理在複雜現有系統內規模化所缺乏的東西，以及領導者可以部署的基礎設施解決方案，以實現可衡量的回報。

本文探討了如何透過聚焦決定代理成敗的系統，重新思考企業AI試點：

• 組織上下文作為基礎設施：將AI代理錨定在組織上下文中，對複雜任務的持續表現至關重要。
• 預計算組織知識：提前對映依賴關係，減少冗餘令牌使用，防止基於過時資訊執行。
• 邊界部署作為合規要求：集中管理對敏感系統的訪問，使防火牆內部署成為安全要求而非選項。

組織上下文作為基礎設施

Yahav認為，AI代理在企業複雜任務中失敗的主要原因並非模型能力，而是缺乏組織上下文。這一挑戰在棕地環境中尤為突出，團隊在現有系統上工作而非從頭構建。

在大型公司——尤其是銀行——人類工程師需要六到九個月才能變得高效，因為他們必須學習系統、依賴關係、業務邏輯以及數百萬行遺留程式碼中編碼的不成文規範。AI代理面臨同樣的環境，卻沒有任何機制來吸收這些機構知識。

他指出：“AI代理面臨的關鍵挑戰是缺乏人類工程師所擁有的理解。它們需要了解所處的整個上下文，包括組織、現有系統以及這些系統如何維護和操作。”

缺乏這種基礎，代理經常選擇過時的元件，誤解遺留模式，或跟隨它們遇到的第一個API——結果就像未經培訓的開發人員在大型棕地系統中導航一樣。

為了應對這一挑戰，Yahav建議將組織上下文作為任何AI計劃的基礎。專用上下文層必須：聚合程式碼、設計文件、事件報告和生產遙測資料；對映系統間的依賴關係和關聯；在執行時僅呈現相關上下文；維護企業實際運營方式的受治理表示。

正如Yahav所解釋的，該層充當代理所操作宇宙的地圖。它將企業AI路線圖從追求更大模型或更多試點，轉向使代理行為可預測所需的基礎設施。

預計算組織知識

Yahav強調，即使高度能幹的代理在必須獨立發現企業系統如何工作時也會失敗。沒有共享的上下文層，代理會爬取無關服務，錯誤識別依賴關係，或鎖定過時元件——這種行為會推高令牌消耗並拖慢執行。

他具體描述了問題：詢問代理如何檢索員工資料，你會得到一個答案。但在大型企業中，可能有十四種不同方式——而代理遇到的第一個通常是棄用的、錯誤的或最昂貴的。代理自信地執行錯誤路徑，因為它缺乏確定哪個選項反映當前組織現實的機制。

為防止這種情況，上下文引擎持續攝取原始碼、架構工件、歷史事件資料和生產級日誌，並預計算依賴關係。代理無需為每個任務重建這些知識，而是查詢一個受治理、最新組織地圖，從而將推理範圍縮小到關鍵系統。

Yahav的“法拉利”類比捕捉了代理效能背後的運營風險：“代理本身就像一輛非常強大的汽車——一輛法拉利，可以開得很快。但如果它沒有地圖，它只會非常快地繞圈，燃燒大量燃料而毫無進展。”

在Yahav的經驗中，採用集中式上下文層的企業成功率提高2倍，令牌消耗減少高達80%。

對於首席財務官，Yahav建議從兩個指標開始：令牌支出和團隊產出速度。兩者都看不見，就無法衡量代理是否帶來回報。他直言目前ROI衡量方法：“企業需要同時瞭解代理的成本和產出。目前行業衡量這些的方法還不夠成熟。需要更好的工具將支出、速度與實際業務價值聯絡起來。”

邊界部署作為合規要求

Yahav強調上下文層不能置於企業邊界之外。因為它觸及組織最敏感的工程資產——從原始碼到設計記錄再到生產遙測——實際上成為組織內部系統的高保真表示。對於受監管行業，邊界部署是不可談判的。

他解釋說，客戶通常要求上下文層在防火牆後或完全氣隙環境中執行，因為它觸及機構知識最敏感的源頭。這不僅是安全要求，也是信任要求：企業必須知道管理代理行為的系統不會將內部邏輯暴露或傳輸到外部基礎設施。

Yahav指出：“它訪問組織內許多最寶貴的資訊源。許多客戶希望上下文層在其內部網路內執行。”

除了資料保護，上下文層還成為確保代理安全行為的機制。隨著組織將更多工委託給自主系統，領導者需要確信代理瞭解他們正在修改的系統。Yahav認為，沒有上下文就不可能建立信任：代理必須像人類工程師一樣接受機構意識培訓，才能被允許操作生產相關係統。

他明確表示，只有在上下文層執行在安全、受治理的環境中時，AI才能規模化部署。這是防止洩漏、維持監管狀態、確保代理驅動更改可審查且安全的唯一途徑。