Anthropic 保护其AI原生软件开发生命周期

Anthropic 的副首席信息安全官 Jason Clinton 近日发表文章，详细阐述了该公司如何保护其 AI 原生的软件开发生命周期。在 Anthropic，AI 模型 Claude 目前负责编写约 80% 的合并代码，工程师每季度交付的代码量是 2021 至 2025 年期间的 8 倍。这种指数级的增长对安全团队提出了新的挑战：必须在不显著拖慢开发速度的前提下，应对不断扩大的攻击面，并加固一个以非确定性、持续演进的代理为核心的生命周期。

Clinton 指出，他们主要针对三类威胁设计了防御：被入侵或提示注入的代理引入恶意更改；供应链和依赖项投毒；以及更高频率出现的传统应用漏洞。为此，Anthropic 部署了多项总体策略，包括：将安全左移并完全集成到代码开发阶段；使用严格的访问和身份边界来限制爆炸半径；在生产和生产前结合自动化确定性审查和代理审查；以及在最高杠杆点引入人工监督。

在计划阶段，Anthropic 最早的安全自动化之一是使用 Claude Opus 驱动的项目安全审查（PSR）应用，该应用能根据 MITRE ATT&CK 框架分析设计文档并提出缓解措施。他们随后将其连接到内部知识索引，从而提供更深的组织上下文，并允许 Claude 认为风险较低的项目自动获批。Clinton 强调，随着计划周期压缩，将安全代理连接到上下文所在的位置（如聊天线程、过往审查、代码库）比强制在不再需要的阶段编写详细文档更有效。

在代码阶段，安全指南被编码到 CLAUDE.md 文件和全局技能中，确保代码生成时即遵循最佳实践。团队还实现了闭环：一旦代理发现新的漏洞类别，相关文件会立即更新以防止复发。此外，Anthropic 使用 /security-review 命令（现已产品化）在代码生成过程中进行安全审查，并设置硬边界，例如让开发者在远程虚拟机上编码，对代理流量进行出站白名单控制，以限制提示注入的潜在危害。

测试/CI 阶段往往是转型中最痛苦的瓶颈。Anthropic 通过结合自动化代理审查和确定性审查来加速审查过程，同时保留对监管或关键代码的人工审查。多个专注的审查代理各自负责狭窄领域，利用 RAG 获取上下文，避免单一超级代理的偏见和盲点。目前，获得实质性审查意见的 PR 比例已从 16% 增长到 54%。此外，Anthropic 还按风险对代码库进行分级，对关键代码严格保留人工批准流程，并对每次审批进行日志记录和风险加权抽样复查。

Clinton 总结了几条持久原则：将安全代理连接到组织上下文；左移安全意味着在漏洞发现和更新代码生成指令之间形成闭环；通过硬边界限制爆炸半径和代理权限；在 CI 阶段结合多种审查方式，但始终保持人类问责的核心地位。这些原则将随着模型能力的演进持续指导安全团队重新审视和重塑流程。