ほとんどのチームはプロンプトを最適化するが、エージェントシステムにはもっと多くの可動部品がある

先週LinkedInで、私の知るAI実践者が興味深い観察をしていました：評価指標へのヒルクライミングは、システムを改善するのではなく、その評価指標に特有の情報を漏洩する傾向がある、と。彼のフォローアップ質問：「エージェントAIの一部として使用している可能性のあるメトリック定義やビジネスロジックなどの他のサポートシステムにヒルクライムを適用したらどうなるだろうか？」それは正しい問いです。コメントよりも長い回答に値します。 ほとんどのチームは最適化を「プロンプトの改善」と考えています。プロンプトを書き、いくつかの例を実行し、うまくいかなければ微調整する。十分に良くなるまで繰り返す。これは低ボリュームで単純なタスクには機能します。 エージェントシステムはこのモデルを即座に破ります。 あなたは一つのプロンプトを孤立して最適化しているわけではありません。検索レイヤー（知識ベース上のベクトル検索などで関連コンテキストを取得するステップ）、推論ステップ、ツール定義、判定またはスコアリングメカニズム、「正しい」とは何かを決定するビジネスルールがあります。他のすべてを固定したままプロンプトを調整すると、途中まで進みます。しかし、正しい答えは「他のすべても最適化する」ではありません。「他のすべてを十分に認識した上でプロンプトを最適化し、サポートシステム自体には意図的にヒルクライムしない」ことです。この記事は、なぜそれが正しい範囲であるか、そしてReflexのパイプラインモードがどのようにそれを実装するかを説明します。