ソフトウェアエンジニアリングにおけるAIに対する私の考えを変える5つの研究

先日、Brian Houckが『Engineering Enablement』ニュースレターで、ソフトウェアエンジニアリングにおけるAIに関する彼の見方を変えた5つの最近の研究を紹介しました。これらの研究は異なる研究グループから異なる手法で行われていますが、共通して一つの核心的な結論を示しています：AIはソフトウェアエンジニアリングの上流作業を圧縮しているが、下流のボトルネックと新たな負債が加速的に蓄積しているということです。

最初の研究はHeilmanらによるもので、16,223人の開発者を43週間にわたって追跡し、アクティブコーディング時間を制御した上でGitHub Copilotの使用とPR完了数の関係を分析しました。その結果、Copilotの使用量とPRスループットの間に用量反応関係が見られ、高使用週にはコーディング時間あたりの完了PRが約40%増加しました。この効果は大規模PR（7ファイル以上）でより強く、開発者が単に作業を細分化しているわけではないことが示されました。

2番目の研究は米国国家経済研究所（NBER）から発表され、10万人以上のGitHub開発者におけるAI導入を分析しました。研究では、AIによる生産性向上がソフトウェア開発の階層（コード行→ファイル→コミット→PR→プロジェクト→リリース）を通じてどのように伝播するかを調査しました。その結果、AIはコード生成段階で明確な効果をもたらし、自動補完でコミット数+40%、対話型エージェントで+140%、自律エージェントで+180%に達しました。しかし、これらの効果はデリバリープロセスを進むにつれて大幅に減衰し、最終的なリリース数に対する影響は+30%程度にとどまりました。研究ではまた、AIと人間の労働の代替弾力性を約0.25と推定し、両者が依然として補完関係にあることを示唆しています。

3番目の研究はVellaとBlincoeによるもので、95人のプロフェッショナルソフトウェアエンジニアを対象に6ヶ月間の縦断調査を実施しました。結果、生産性認識は両時点で84%が改善を報告し、AIによるスループット向上が持続していることが確認されました。しかし、開発者体験（DevEx）は複数の側面で悪化しており、少なくとも1つの側面で悪化を報告したエンジニアの割合が6ヶ月で14%から27%に倍増しました。特に「フロー状態」が最も影響を受け、認知負荷は緩やかに増加しました。さらに、生産性と開発者体験の変化スコア間に相関は見られず、AI支援ワークフローにおいて両者が乖離しつつあることが示されました。

4番目の研究は、860人のマイクロソフト開発者への調査に基づき、開発者が望む22のAIツールを提案し、「制限付き委任」の概念を導入しました。開発者は、AIによるコード生成の加速が検証作業のボトルネックを生み出していると指摘し、AIに求めるのはさらなるコード生成アシスタントではなく、検証タスクへの組み込み——例えば、オンコールインシデントのためのログ・トレースケースファイルの自動収集、複雑なビジネスロジックの欠陥を人間のレビュー前に検出するPRレビュアー、変更を認識したテスト生成——であると述べています。また、開発者はAIに「組み立て作業」を任せる一方で、中核ロジック、アーキテクチャ、重要な意思決定には決して触れさせないという明確な境界線を引いています。さらに、将来のAIツールに求められる4つの不可避のガードレールとして、明示的な権限範囲、データ出所の明示、不確実性のシグナリング、最小権限セキュリティを挙げています。

5番目の研究はMargaret-Anne Storeyによるもので、彼女は従来の「技術的負債」という概念がもはや十分ではないと主張します。AIはリファクタリングやテスト生成による技術的負債の削減に貢献する一方で、新たな2種類の負債を静かに加速させています。認知的負債は、チームのシステムに対する共通理解がAI生成コードの受け入れによって侵食されることによって生じます。意図的負債は、システムの目標、制約、根拠が不明確または文書化されないままになることから生じます。これら3つの負債は相互に強化し合い、ソフトウェアの健全性を管理するには、技術的負債だけでなく、認知的負債と意図的負債にも注意を払う必要があります。

総合すると、これらの研究は、私たちがコードを安全に理解し、検証し、デリバリーするためのシステムを構築するよりもはるかに速いペースでコードを生成しているという厳しい現実を浮き彫りにしています。今後の課題はコーディング効率だけでなく、下流のボトルネックと新たな負債をどのように管理するかにあります。