Anthropic 保護其AI原生軟體開發生命週期

Anthropic 的副首席資訊安全官 Jason Clinton 近日發表文章，詳細闡述了該公司如何保護其 AI 原生的軟體開發生命週期。在 Anthropic，AI 模型 Claude 目前負責編寫約 80% 的合併程式碼，工程師每季度交付的程式碼量是 2021 至 2025 年期間的 8 倍。這種指數級的增長對安全團隊提出了新的挑戰：必須在不顯著拖慢開發速度的前提下，應對不斷擴大的攻擊面，並加固一個以非確定性、持續演進的代理為核心的生命週期。

Clinton 指出，他們主要針對三類威脅設計了防禦：被入侵或提示注入的代理引入惡意更改；供應鏈和依賴項投毒；以及更高頻率出現的傳統應用漏洞。為此，Anthropic 部署了多項總體策略，包括：將安全左移並完全整合到程式碼開發階段；使用嚴格的訪問和身份邊界來限制爆炸半徑；在生產和生產前結合自動化確定性審查和代理審查；以及在最高槓杆點引入人工監督。

在計劃階段，Anthropic 最早的安全自動化之一是使用 Claude Opus 驅動的專案安全審查（PSR）應用，該應用能根據 MITRE ATT&CK 框架分析設計文件並提出緩解措施。他們隨後將其連線到內部知識索引，從而提供更深的組織上下文，並允許 Claude 認為風險較低的專案自動獲批。Clinton 強調，隨著計劃週期壓縮，將安全代理連線到上下文所在的位置（如聊天執行緒、過往審查、程式碼庫）比強制在不再需要的階段編寫詳細文件更有效。

在程式碼階段，安全指南被編碼到 CLAUDE.md 檔案和全域性技能中，確保程式碼生成時即遵循最佳實踐。團隊還實現了閉環：一旦代理發現新的漏洞類別，相關檔案會立即更新以防止復發。此外，Anthropic 使用 /security-review 命令（現已產品化）在程式碼生成過程中進行安全審查，並設定硬邊界，例如讓開發者在遠端虛擬機器上編碼，對代理流量進行出站白名單控制，以限制提示注入的潛在危害。

測試/CI 階段往往是轉型中最痛苦的瓶頸。Anthropic 透過結合自動化代理審查和確定性審查來加速審查過程，同時保留對監管或關鍵程式碼的人工審查。多個專注的審查代理各自負責狹窄領域，利用 RAG 獲取上下文，避免單一超級代理的偏見和盲點。目前，獲得實質性審查意見的 PR 比例已從 16% 增長到 54%。此外，Anthropic 還按風險對程式碼庫進行分級，對關鍵程式碼嚴格保留人工批准流程，並對每次審批進行日誌記錄和風險加權抽樣複查。

Clinton 總結了幾條持久原則：將安全代理連線到組織上下文；左移安全意味著在漏洞發現和更新程式碼生成指令之間形成閉環；透過硬邊界限制爆炸半徑和代理許可權；在 CI 階段結合多種審查方式，但始終保持人類問責的核心地位。這些原則將隨著模型能力的演進持續指導安全團隊重新審視和重塑流程。