我們內部構建的AI工程棧——基於我們交付的平台

Cloudflare 近日詳細介紹了其內部 AI 工程棧的構建過程，該棧完全基於公司自身發貨的平台產品。過去三十天內，93% 的研發部門使用了由內部基礎設施支持的 AI 編碼工具。這一項目始於十一個月前，由名為 iMARS 的特別團隊負責，旨在將 AI 深度集成到工程棧中。目前，已有 3,683 名內部用户（佔全公司 60%）積極使用 AI 編碼工具，研發部門採用率達 93%。數據方面，過去一個月 AI Gateway 處理了 2018 萬次請求和 2413.7 億 tokens，Workers AI 處理了 515 億輸入 tokens 和 3.61 億輸出 tokens。開發者速度顯著提升，合併請求的季度環比增長前所未有。

架構分為三層：平台層、知識層和執行層。平台層包括 Cloudflare Access 的零信任認證、AI Gateway 的集中式 LLM 路由和成本跟蹤、以及 Workers AI 的同網絡推理。MCP 服務器門户通過單次 OAuth 聚合了 13 個生產 MCP 服務器，暴露 182 多個工具，並支持 Code Mode 以減少上下文窗口的 token 開銷。知識層基於 Backstage 服務目錄，跟蹤 2,055 個服務、228 個 API 和依賴關係圖。團隊還開發了 AGENTS.md 系統，為每個倉庫生成結構化上下文文件，幫助編碼代理理解代碼庫的約定和邊界。執行層包括 AI 代碼審查器，集成到 GitLab CI 中對每個合併請求進行自動審查，並引用工程規範（Codex）中的具體規則。

所有這些組件都是 Cloudflare 已發貨的產品，並在 Agents Week 期間得到重大更新。例如，Workers AI 上運行的 Kimi K2.5 模型以極低成本處理安全代理每天 70 億 tokens 的任務。未來，團隊正開發背景代理，利用 Durable Objects 和 Agents SDK 實現雲端長時間運行會話，執行克隆倉庫、運行測試和開啓合併請求等任務。Sandbox SDK 已在 Agents Week 期間正式發佈。Cloudflare 強調，內部棧的成功在於各層緊密集成，從路由代理 Worker 到發現端點再到配置即代碼。用户只需一個命令即可完成全部設置，無需手動配置 API 密鑰或 MCP 服務器連接。這種架構使得為 3,000 多名工程師更新工具像一次 wrangler deploy 一樣簡單。

在平台層，代理 Worker 使用 Hono 框架處理認證、路由和模型目錄更新。它每小時從 models.dev 獲取最新模型列表並緩存到 Workers KV，自動對每個模型應用零數據保留。用户通過 cloudflared 登錄獲取 JWT，Worker 將用户郵箱映射為匿名 UUID 以便成本跟蹤，而 AI Gateway 僅見 UUID。MCP 門户中的每個服務器基於 McpAgent 和 workers-oauth-provider，通過單一 monorepo 管理，添加新服務器只需複製現有框架並修改封裝的 API。Code Mode 將 GitLab MCP 服務器的 34 個工具簡化為兩個門户級工具 portal_codemode_search 和 portal_codemode_execute，將每請求 token 開銷從 15,000 大幅降低。

知識層中，Backstage 包含 2,055 個服務、228 個 API、1,302 個數據庫等實體，通過 13 個工具供 MCP 代理查詢服務所有權和依賴關係。AGENTS.md 生成器處理了約 3,900 個倉庫，它從 Backstage 提取元數據，分析倉庫結構（語言、構建系統、測試框架、目錄佈局），然後映射到工程規範標準，由模型生成結構化文檔並通過合併請求供團隊審查。AI 代碼審查器可檢測倉庫變化並提示更新 AGENTS.md。

執行層的 AI 代碼審查器覆蓋所有倉庫，使用多智能體協調器將 MR 分為 trivial、lite 或 full 風險等級，並委託給代碼質量、安全、規範合規、文檔、性能等專門智能體。每個智能體通過 AI Gateway 訪問模型，從中心倉庫拉取 Codex 規則，並讀取倉庫的 AGENTS.md 獲取上下文。審查輸出按安全、代碼質量、性能等分類，每個發現標註嚴重級別（關鍵、重要、建議或可選瑕疵），並引用具體 Codex 規則 ID。Workers AI 處理約 15% 的審查流量，主要用於文檔審查，Kimi K2.5 在此類任務中性價比極高。前沿模型如 Opus 4.6 和 GPT 5.4 負責安全敏感和架構複雜的審查。過去三十天，所有標準 CI 倉庫均實現 100% AI 代碼審查覆蓋，AI Gateway 處理了 5.47M 請求和 24.77B tokens。

工程規範系統（Codex）通過多階段 AI 蒸餾輸出規則集和智能體技能，技能採用漸進式披露和嵌套層次結構。工程師可在本地使用，如詢問 Rust 錯誤處理或 TypeScript 合規性。網絡防火牆團隊已使用多智能體共識流程審計 rampartd，每個要求獲評 COMPLIANT、PARTIAL 或 NON-COMPLIANT 並附具體違規細節和修復步驟，將原來數週的人工工作簡化為結構化可重複過程。

背景代理是下一步演進，使用 Durable Objects 和 Agents SDK 實現雲端長時間運行會話，無需擔心超時。Sandbox SDK 提供隔離環境用於克隆、構建和測試。整個努力代表十一個月來對代碼編寫、審查、標準執行和安全變更交付方式的重新思考，每一層都運行在客户使用的同一產品上。