我們內部構建的AI工程棧——基於我們交付的平臺

Cloudflare 近日詳細介紹了其內部 AI 工程棧的構建過程，該棧完全基於公司自身發貨的平臺產品。過去三十天內，93% 的研發部門使用了由內部基礎設施支援的 AI 編碼工具。這一專案始於十一個月前，由名為 iMARS 的特別團隊負責，旨在將 AI 深度整合到工程棧中。目前，已有 3,683 名內部使用者（佔全公司 60%）積極使用 AI 編碼工具，研發部門採用率達 93%。資料方面，過去一個月 AI Gateway 處理了 2018 萬次請求和 2413.7 億 tokens，Workers AI 處理了 515 億輸入 tokens 和 3.61 億輸出 tokens。開發者速度顯著提升，合併請求的季度環比增長前所未有。

架構分為三層：平臺層、知識層和執行層。平臺層包括 Cloudflare Access 的零信任認證、AI Gateway 的集中式 LLM 路由和成本跟蹤、以及 Workers AI 的同網路推理。MCP 伺服器門戶透過單次 OAuth 聚合了 13 個生產 MCP 伺服器，暴露 182 多個工具，並支援 Code Mode 以減少上下文視窗的 token 開銷。知識層基於 Backstage 服務目錄，跟蹤 2,055 個服務、228 個 API 和依賴關係圖。團隊還開發了 AGENTS.md 系統，為每個倉庫生成結構化上下文檔案，幫助編碼代理理解程式碼庫的約定和邊界。執行層包括 AI 程式碼審查器，整合到 GitLab CI 中對每個合併請求進行自動審查，並引用工程規範（Codex）中的具體規則。

所有這些元件都是 Cloudflare 已發貨的產品，並在 Agents Week 期間得到重大更新。例如，Workers AI 上執行的 Kimi K2.5 模型以極低成本處理安全代理每天 70 億 tokens 的任務。未來，團隊正開發背景代理，利用 Durable Objects 和 Agents SDK 實現雲端長時間執行會話，執行克隆倉庫、執行測試和開啟合併請求等任務。Sandbox SDK 已在 Agents Week 期間正式釋出。Cloudflare 強調，內部棧的成功在於各層緊密整合，從路由代理 Worker 到發現端點再到配置即程式碼。使用者只需一個命令即可完成全部設定，無需手動配置 API 金鑰或 MCP 伺服器連線。這種架構使得為 3,000 多名工程師更新工具像一次 wrangler deploy 一樣簡單。

在平臺層，代理 Worker 使用 Hono 框架處理認證、路由和模型目錄更新。它每小時從 models.dev 獲取最新模型列表並快取到 Workers KV，自動對每個模型應用零資料保留。使用者透過 cloudflared 登入獲取 JWT，Worker 將使用者郵箱對映為匿名 UUID 以便成本跟蹤，而 AI Gateway 僅見 UUID。MCP 門戶中的每個伺服器基於 McpAgent 和 workers-oauth-provider，透過單一 monorepo 管理，新增新伺服器只需複製現有框架並修改封裝的 API。Code Mode 將 GitLab MCP 伺服器的 34 個工具簡化為兩個門戶級工具 portal_codemode_search 和 portal_codemode_execute，將每請求 token 開銷從 15,000 大幅降低。

知識層中，Backstage 包含 2,055 個服務、228 個 API、1,302 個資料庫等實體，透過 13 個工具供 MCP 代理查詢服務所有權和依賴關係。AGENTS.md 生成器處理了約 3,900 個倉庫，它從 Backstage 提取後設資料，分析倉庫結構（語言、構建系統、測試框架、目錄佈局），然後對映到工程規範標準，由模型生成結構化文件並透過合併請求供團隊審查。AI 程式碼審查器可檢測倉庫變化並提示更新 AGENTS.md。

執行層的 AI 程式碼審查器覆蓋所有倉庫，使用多智慧體協調器將 MR 分為 trivial、lite 或 full 風險等級，並委託給程式碼質量、安全、規範合規、文件、效能等專門智慧體。每個智慧體透過 AI Gateway 訪問模型，從中心倉庫拉取 Codex 規則，並讀取倉庫的 AGENTS.md 獲取上下文。審查輸出按安全、程式碼質量、效能等分類，每個發現標註嚴重級別（關鍵、重要、建議或可選瑕疵），並引用具體 Codex 規則 ID。Workers AI 處理約 15% 的審查流量，主要用於文件審查，Kimi K2.5 在此類任務中價效比極高。前沿模型如 Opus 4.6 和 GPT 5.4 負責安全敏感和架構複雜的審查。過去三十天，所有標準 CI 倉庫均實現 100% AI 程式碼審查覆蓋，AI Gateway 處理了 5.47M 請求和 24.77B tokens。

工程規範系統（Codex）透過多階段 AI 蒸餾輸出規則集和智慧體技能，技能採用漸進式披露和巢狀層次結構。工程師可在本地使用，如詢問 Rust 錯誤處理或 TypeScript 合規性。網路防火牆團隊已使用多智慧體共識流程審計 rampartd，每個要求獲評 COMPLIANT、PARTIAL 或 NON-COMPLIANT 並附具體違規細節和修復步驟，將原來數週的人工工作簡化為結構化可重複過程。

背景代理是下一步演進，使用 Durable Objects 和 Agents SDK 實現雲端長時間執行會話，無需擔心超時。Sandbox SDK 提供隔離環境用於克隆、構建和測試。整個努力代表十一個月來對程式碼編寫、審查、標準執行和安全變更交付方式的重新思考，每一層都執行在客戶使用的同一產品上。