あなたのAIには「傷跡組織」が必要

最も高くつくAIの間違いは、コーディングエージェントが何かを間違えることではなく、明日また同じ間違いをすることです。開発者の忍耐をすり減らすのは、一度の失敗ではありません。それは起こり得ます。苛立たしいのは、すでに修正したのに、また同じことが起きることです。リポジトリのパターンを説明し、マイグレーションがなぜ壊れたかを伝え、奇妙なCIの問題を指摘し、すでに失敗した依存関係を示した。エージェントはタスクを修正し、セッションは終了しました。しかし二日後、新しいセッションが何もなかったかのように同じ悪いアイデアを提案します。これが私が最近考えている問題です。AIコーディングエージェントに必要なのは、より大きなコンテキストウィンドウだけではありません。彼らには「傷跡組織」が必要なのです。

私が「傷跡組織」と呼ぶものは、記憶された失敗です。一般的なドキュメントではありません。巨大なチャットのトランスクリプトでもありません。関連性に関わらず毎回プロンプトに詰め込まれる、肥大化したAGENTS.mdファイルでもありません。傷跡組織とは、何が間違っていたか、なぜ間違ったか、そして何を繰り返すべきでないかについての永続的な記憶です。例：このリポジトリではこのマイグレーションパターンを使わない。ローカルでは通るがXの理由でステージングを壊す。このミドルウェアを置き換えない。冗長に見えるが管理ルートを保護している。このパッケージを再び使わない。試したがネイティブ依存関係のためにVercelで失敗した。Stripeのwebhookハンドラーは生のボディを保持しなければならない。通常のJSON解析は署名検証を壊す。このテストの失敗は通常、モックユーザーにロールがないことを意味する。認証フローを最初に書き換えない。そのような知識は非常に貴重ですが、ほとんどの場合消えてしまいます。誰かの頭の中、Slackの奥深く、昨日のAIセッションの中、あるいは二度と読まれないプルリクエストのコメントに埋もれてしまいます。

多くのAIコーディングワークフローは依然としてコンテキストを万能薬のように扱います。より多くのファイル、より多くの指示、より多くのドキュメント、より多くの例、より多くのプロジェクト履歴を追加します。やがてプロンプトはがらくた引き出しになり、エージェントはより多くのテキストを持っていても、必ずしもより良い判断力を持っているわけではありません。これが私が気にしている違いです。コンテキストはエージェントに近くにあるものを伝えます。傷跡組織はエージェントに苦労して学んだことを伝えます。これらは同じではありません。

古いパターンは次のようなものです：セッション1でエージェントが悪いアプローチを提案し、開発者が修正、エージェントが問題を修正、セッション終了。セッション2でエージェントは修正を記憶しておらず、同じ悪いアプローチを提案、開発者は信頼を失います。モデルは技術的に「忘れた」わけではありません。そもそも永続的な記憶を持っていなかったのです。一時的な作業スペースしかなく、セッションが終われば教訓は消えました。

私が望むより良いパターンはこれです：セッション1でエージェントが悪いアプローチを提案、開発者が修正、教訓が永続的なプロジェクト記憶として保存されます。セッション2でエージェントが類似タスクを開始、関連する傷跡が検索され、エージェントは古い間違いを避けます。これは別の種類のAIコーディングワークフローです。単に速く、安く、トークンが少ないだけでなく、より経験豊かです。

コーディングエージェントが優れればなるほど、これは重要になります。エージェントが小さなスニペットだけを書いていたときは、忘れることは迷惑でした。今では実際のアーキテクチャに触れることができます。ファイルをリファクタリングし、マイグレーションを生成し、テストを書き、プロダクションに近いコードを修正できます。そのため、繰り返しの間違いはより高くつきます。AIエージェントが実際のコードベース内で動作するなら、指示以上のものが必要です。結果の記憶、つまり痛みを伴ったことを覚えておく必要があります。

ここでEmpiricalが登場します。EmpiricalはAIツールのためのメモリレイヤーです。すべての教訓、決定、好み、警告を巨大なプロンプトに詰め込む代わりに、Empiricalはエージェントが必要なときに特定の記憶を検索できるようにします。コーディングエージェントの場合、メモリレイヤーはプロジェクトの決定、リポジトリの慣習、失敗したアプローチ、バグ履歴、CI/CDの癖、セキュリティの落とし穴、依存関係の警告、「二度とするな」という教訓などを保持できます。これらは通常セッション間で失われるものであり、同時に開発者を時間とともにより有用にするものです。AIコーディングエージェントが違うべき理由はありません。

次なる飛躍は、よりスマートなモデルだけから来るとは思いません。その一部はより良い記憶から来るでしょう。トランスクリプトのダンプとしての記憶ではなく、「リポジトリ全体をコンテキストに読み込む」としての記憶でもなく、蓄積された判断力、運用履歴、傷跡組織としての記憶です。なぜなら、本当の勝利はコードを書けるエージェントではなく、前回の修正がなぜ失敗したかを覚えているエージェントだからです。