AIエージェントは専門家から愚か者へと退化する

人間に新しいプロジェクトを任せた場合、最初はほとんど役に立ちません。しかし時間が経つにつれて、経験、理解、直感が発達します。問題を推論し、深い質問に答え、意味のある作業を行う能力は、専門家になるまで成長し続けます（やる気があれば）。

AIエージェントはその正反対です。これは初心者から専門家へのタイムラインのベンジャミン・バトン版と言えるでしょう。プロジェクトが小さいうちは、エージェントは専門家のように振る舞い、素早く分析し、質問に答え、実際の作業を行います。しかしプロジェクトが成長するにつれて、コンテキストウィンドウの根本的な限界が現れます。エージェントはますますハッキング的な手段に依存するようになります。抽象化を破り、コードを複製し、ガイドラインから逸脱し、影響を理解せずに変更を加えるようになります。

このプロジェクトに取り組む人間への信頼は時間とともに高まりますが、エージェントへの信頼は低下します。

私が繰り返し目にする（そして自分も犯す）過ちは、AIを人間の上に位置づけることです。AIはかなり良いアドバイザーですが、リーダーとしては最悪です。「よし、エージェント、君の好きなようにやっていいよ」という気持ちが湧き始めたら、それは電源を切るべき時です。良い判断には理解が必要であり、その理解を失うことは危険です。AmazonがAI支援によるコード変更すべてをシニアエンジニアがレビューすることを要求しているのは、作業が全体像を把握できる専門家と結びついていなければならない証拠です。

興味深いことに、AIは両方の道を同時に舗装しているようです。思考を機械に委ねることが容易になると同時に、より深い理解を追求することも容易になります。情報を素早く収集・統合し、曖昧に感じる概念の部分を掘り下げられるのは本当に素晴らしいことです。その一方で、キーストローク一つで「物事を成し遂げる」ことも可能であり、今のところはおそらくうまく機能します。

私たちはまだ形成期にあると思います。「エージェンティックコーディング」が（それを売り込む人以外に）有用だと認識されるようになってからまだ約6ヶ月です。私は自分のメンタルモデルを正しく形成し、可能な限り健康的で人間中心の習慣と意思決定を身につけるよう努めています。AI支援コーディングにおいて「支援」という側面を強調することが極めて重要だと私は考えます。