企业AI采用纵向研究:AI编码速度超人类审查
一项针对中型AI前沿企业的纵向研究发现,强制使用AI编码工具后,每位工程师的合并请求吞吐量翻倍,达到基准的2.09倍。研究指出,这一增长与AI的采用和使用强度相关,而非强制本身。此外,代码审查流程被重构,自动化审查超越人类审查,审查者负载翻倍。
近日,一篇题为《AI Writes Faster Than Humans Can Review: A Longitudinal Study of an Enterprise 2x Mandate》的论文在arXiv上预印本发布,由Hao He等六位作者共同完成。该研究对一家中型AI前沿企业进行了长期定量案例研究,分析了2024年1月至2026年4月期间802名开发者和196,212个拉取请求的数据。结果显示,自2025年中期实施“2倍”强制令以来,每位工程师的合并请求吞吐量最终翻倍,达到强制前基准的2.09倍。这一增益是迄今为止已知的AI编码工具实际部署中报告的最大增益之一。
研究采用交错双重差分设计,将生产力提升与AI的实际采用和累积使用强度联系起来,而非强制令本身。研究者强调,强制令起到了催化剂作用,促进了AI工具的采用和深度使用,从而带来生产率提升。但由于采用和使用强度并非随机分配,结果被视为强烈暗示而非严格因果归因。
值得注意的是,生产力增益在各级别工程师中广泛分布,但主要集中在较新的代码上,且无法按模型代际分离。研究还发现,AI采用显著重构了代码审查流程:每位审查者的负载大约翻倍,自动化审查取代了人类审查的主导地位。然而,合并率和回滚率保持稳定,表明代码质量未受显著影响。
这项研究为AI在软件开发中的实际影响提供了宝贵的纵向证据,尽管存在非随机分配和单一企业背景等局限性。未来研究可探索不同规模和行业的企业,以及长期效果。论文PDF可在arXiv上获取,DOI为10.48550/arXiv.2607.01904。