実世界リポジトリにおけるAI生成コードの大規模実証研究

大規模言語モデル（LLM）はソフトウェア工学を急速に変革しており、開発者は小さなスニペットからプロジェクト全体に至るコードを生成できるようになっている。AI支援コードが実世界システムにますます統合されるにつれ、その特性と影響を理解することが重要になっている。しかし、既存の研究は通常、合成ベンチマークと小規模なコーディングタスクを用いた実験室環境に限られ、限られた指標しかカバーしていない。実世界のコードベースにおけるAI支援コードの実際の姿と、人間が書いたコードとの違いは依然として不明である。

このギャップを埋めるため、研究者らは実世界リポジトリにおいてAI支援コードと人間記述コードを比較する大規模測定研究を実施した。コードレベルの側面（構造的・グラフ的複雑性、コーディングスタイル、セキュリティ品質など）とコミットレベルの特徴（コミットサイズ、頻度、コミット後安定性など）を含む包括的な指標セットを調査した。結果は新たな発見と洞察を提供している：一部は実験室環境での以前の観察と対照的であり（例えば、実世界ではAIと人間のコードレベルの指標の差はむしろ小さく、顕著ではない）、一部はより詳細な観察で先行結果を拡張し（例えば、プログラミング言語間のセキュリティ品質のばらつき）、さらに多くはこれまでカバーされていなかった側面（コード重複率、コミットサイズと安定性など）で初めて提示される。

これらの包括的な実世界結果に基づき、研究はAI支援プログラミングの実践的意義についても議論している。例えば、AI生成コードは全体的に人間のコードと類似した性能を示すが、コード重複率などの特定の指標では高くなる可能性があり、開発者はコード再利用によるメンテナンス問題に注意する必要がある。また、AI支援のコミットは一般にサイズが大きいが、その後の安定性は人間のコミットと同等である。これらの発見は、AIプログラミングツールの最適化とベストプラクティスに重要な指針を提供し、AIコードを評価する際に実際の環境の違いを考慮する必要性も強調している。