AI生成代码在真实仓库中的大规模实证研究

大型语言模型（LLM）正在彻底改变软件工程领域，使开发者能够生成从简单代码片段到完整项目的内容。随着AI辅助代码越来越多地集成到真实世界的系统中，了解其特性和影响变得至关重要。然而，现有的研究大多局限于实验室环境，使用合成基准和简单任务，且覆盖的指标有限。AI辅助代码在真实代码库中的实际表现以及它与人类编写代码之间的差异仍然不清楚。

为了填补这一空白，研究人员进行了一项大规模测量研究，首次在真实仓库中对比了AI辅助代码与人类编写的代码。他们研究了一套全面的指标集，包括代码级方面（如结构和图复杂度、编码风格、安全质量等）和提交级特征（如提交大小、频率、提交后稳定性等）。研究结果提供了新的发现：一些结果与实验室环境中的观察相反——例如，在真实世界中，AI与人类在代码级指标上的差异很小，而不是更显著；另一些结果以更细致的观察扩展了先前的研究，如不同编程语言之间安全质量的差异；还有更多结果是首次提出的，例如代码重复率、提交大小和稳定性等。

基于这些全面的真实世界结果，研究还讨论了AI辅助编程的实际意义。例如，AI生成的代码在整体上与人类代码表现相似，但在代码重复率等具体指标上可能更高，这提示开发者需要关注代码复用带来的维护问题。此外，AI辅助的提交通常规模更大，但后续稳定性与人类提交相当。这些发现为AI编程工具的优化和最佳实践提供了重要参考，同时也强调了在评估AI代码时考虑真实环境差异的必要性。