エージェント型AIにはより優れた専門家が必要

先日、ソフトウェア開発の専門家であるDiomidis Spinellis氏が、OpenAI Codex（AIコーディングエージェント）を使用してuutilsプロジェクトのsedプログラムに大規模な修正を加えた経験をブログで公開しました。この修正は13ファイルにわたり、1,740行の追加と609行の削除を含み、内部データ処理を文字から生バイトに変更することでGNU sedとの互換性とパフォーマンスを向上させるものです。Spinellis氏は、この実践を通じてAIコーディングエージェントの能力と限界を深く理解したと述べています。

一方で、Codexは初期プロンプトとその後の改良においてタスクを正しく誘導し、多くの面倒な作業を処理して時間と労力を節約しました。修正されたコードはすべての段階でコンパイルと実行に成功しました（包括的な単体テスト、統合テスト、CIチェックがエージェントを導くのに役立ちました）。

他方で、本番品質のコードを得るには、Codexの作業を注意深くレビューし、専門家による広範な指導が必要であるとSpinellis氏は指摘します。彼が発行した合計78のプロンプトとサブプロンプトのうち、61（78%）が改善を求めるものでした。これらには、コメントの追加、単体テスト、アーキテクチャの調整（不要なUTF-8変換の回避など）、エラー処理の最適化が含まれます。Spinellis氏は、AIエージェントが進歩しても、割り当てられるタスクはより困難になり、必要なレビューと専門家の指導も増えると強調します。

Spinellis氏はAIコーディングのコストについて具体的なデータを提示しました。1回のセッションで使用されたトークン数は約430万で、当時の価格で約80ドルに相当します。サブスクリプションを通じて実際に使用したコストは補助されている可能性がありますが、持続的な使用では開発者の給与に匹敵するでしょう。環境面では、このセッションで約326kgのCO₂と12,871リットルの水が消費されました。これは、効率的なディーゼル/ガソリン車での2,500km走行、または短中距離旅客往復便に相当します。これらの外部コストは、EU ETS炭素価格で約26ユーロ、米国EPA社会的炭素コストで42〜117ドルになります。水のコストはアテネの家庭用水道料金で約4.50〜41ユーロです。これらのコストは天文学的なものではありませんが、無視できるものでもありません。

Spinellis氏は異なる役割へのアドバイスも提供しています。

• プログラミングを学んでいる人：AIコードの問題を認識し、修正を促すために必要な知識と経験をどのように得るかを考えること。
• ソフトウェア開発や人事を管理している人：新入社員がこれらのスキルを習得する方法を計画すること。
• コーディングを完全にAIエージェントにアウトソーシングすると決めた人：コードが徐々に劣化し、技術的負債を蓄積することを受け入れるかどうかを考慮すること。

記事の最後には、セッションで使用された78のプロンプトすべてがリストされており、改善を要求したものは太字で表示されています。Spinellis氏は、コメントや単体テストなど、多くの改善はより高性能なエージェントや適切な初期設定で容易に処理できた可能性があることを認めていますが、コーディングエージェントが向上するにつれて、与えるタスクもより要求が厳しくなり、必要なレビューと専門家の指導も増えると述べています。また、彼は時間と無駄を節約するためにいくつかの変更を自分で行ったことも触れています。