grepを超えて：コンテキストリッチなAIコーディングハーネスの必要性
議論の中で、PernetiとWuはAIモデルの指数関数的な改善が続くことに同意する一方、コーディングツールにおけるコンテキストの組み立て方について意見が分かれている。コスト上昇に伴い、より小型のモデルへの移行の可能性が指摘されている。
最近のポッドキャストで、Ars TechnicaはAIコーディングツールの未来について、Anthropicの研究科学者Wu氏とAugment Codeの創業者Perneti氏を招き、深い議論を行いました。両者は多くの点で合意しましたが、重要な点で興味深い意見の相違も見られました。
まず、両者はフロンティアモデルが少なくとも今後1年間は指数関数的に改善を続けるとの見解で一致しました。この進歩は、多くの組織におけるソフトウェア開発の方法を根本的に変えつつあります。具体的には、推論能力の向上により、AIは単なるコード補完を超えて、より複雑なコーディングタスクを処理できるようになっています。
しかし、これらのモデルに必要なコンテキスト情報をどのように提供するかについては、両者は異なる立場をとっています。Wu氏は、タスクを開始する前にコンテキストを注意深く組み立てるべきだと主張します。これには、関連するコードベースの構造、依存関係、変更履歴などが含まれます。彼女は、Anthropicの実験では、少数のLSP（言語サーバープロトコル）情報を提供しても、測定可能なパフォーマンス向上は見られなかったと述べています。これに対し、Perneti氏は、Augment Codeのツールが捉えるコンテキストはLSPよりもはるかに広範で、完全なコードグラフ、ビルドシステム分析、ランタイムの動的情報を含むと反論しました。したがって、Wu氏の結論はより包括的なコンテキストアセンブリ手法には当てはまらない可能性があります。
この違いは、ツールの評価方法の違いにも反映されています。両者が従来のgrepを超えるコーディングツールやシステムを説明するとき、必ずしも同じものを指しているわけではありません。Wu氏はLSPベースの単純なコンテキスト注入を評価しているのに対し、Perneti氏はコードベース全体の深い理解とインテリジェントな検索を評価しています。これが、彼らが異なる結論に至る理由の一つかもしれません。
さらに、Perneti氏はWu氏が詳しく話さなかった経済学のポイントを提起しました。計算リソースの逼迫により、Claude OpusやFableのようなフロンティアモデルは、開発ワークフローでの唯一のモデルとして使用するには高価になりすぎる可能性があります。彼は、将来は階層的なモデル戦略が採用されると予測しています。最も困難で曖昧な問題は依然として強力なフロンティアモデルが処理しますが、よりルーチン化され明確に定義されたコーディングタスクは、より小さく、高速で、安価なオープンウェイトモデルに割り当てられます。これらのモデルは開発者のローカルハードウェアで直接実行することも可能です。この傾向により、全体的な推論コストが削減され、高い生産性を維持できるようになります。
最後に、両専門家はエンジニアリング判断の代替不可能性を強調しました。AIがより自律的になったとしても、エンジニアは問題の定義、戦略の選択、出力結果のレビューなど、重要な意思決定を行う必要があります。生産速度と規模が増大するにつれて、誤った決定のコストは高くなるため、エンジニアリング判断の価値は低下するどころか、むしろ高まります。1年後にどのコンテキストアセンブリ手法が主流になるかにかかわらず、エンジニアの深い関与が成功の鍵となるでしょう。