エンタープライズAIのROIにおけるボトルネックはフィードバックループ
本記事は、エンタープライズAIのROIにおける主なボトルネックが、専門エージェントを改善するためのフィードバックループにあると論じています。現在、チームはスプレッドシートやチケットなどのアドホックなプロセスを使用しており、非効率が生じています。著者は、重み更新なしで専門家の修正をエージェントの行動に変換し、クローズドループを実現するソリューション「Kinesthetic」を紹介しています。
プロダクションで動作する専門エージェントを構築するチームで、私たちは常に同じプロセスを目にします。可観測性プラットフォームからエクスポートされたトレースをスプレッドシートに保存し、それをドメイン専門家が注釈付けし、LinearやJiraのチケットに変換し、最終的に、その会話に一切参加していないエンジニアがほとんどテストせずにプロンプトを編集する、という流れです。これが現在、ほとんどの垂直AIエージェントの改善が実際に行われている方法であり、ソフトウェア開発では機能するアドホックなプロセスを機械学習モデルに無理やり適用したものです。
AIは誇張ではありません。コーディングエージェント（Claude Code、Codex、Cursorなど）が実際に価値を生み出していることは明らかです。しかし、監査、法律、金融、引受などのホワイトカラー業務では状況が異なります。これらの領域には既製のオープンテストスイートやベンチマークはなく、正しさは論理的な実行や観察ではなく、主観と専門的判断に依存します。そのため、検証可能な報酬が存在しないドメインでは、トレーニングシグナルはどこから来るのかという疑問が生じます。
ほとんどのチームで、そのシグナルは人間から来ます。エージェンティックジャッジが標準になりつつありますが、私たちが話を聞いた多くのチームは、唯一信頼できる正解のソースは、エージェントの作業をレビューし、何が間違っていたかを注釈する専門家（多くの場合社内）であると述べています。これらの検証不可能な垂直領域では、専門家が勾配に相当します。
したがって、修正ループが問題全体の中核です。専門家の注釈が学習シグナル（勾配）であるなら、そのエクスポートから改善されたエージェントに至る経路が学習率です。現在、その経路はドメイン専門家、プロダクトマネージャー、エンジニア間の伝言ゲームであり、損失の多い修正を生み出し、不安定または不完全な改善をもたらし、さらなる注釈、トリアージ、開発のサイクルを強制します。
私たちは数十のエージェント構築チームと話し、運用上の非効率が構造的であり、文化的なものではないことを認識しました。エンジニアはPMにプロンプトを更新させたがりません。なぜならプロンプトや知識がどのように検索・使用されるかを理解していないからです。PMはエンジニアがドメイン知識について恣意的な決定を下した場合、専門家に確認したいと考えます。専門家は膨大なフィードバックを生成しますが、エンジニアチームはそれをどのように優先順位付けすればよいかわかりません。修正はスプレッドシートにエクスポートされ、チケットに再コード化され、本来必要な3か所のうち1か所にのみ半実装され、2週間後に出荷され、意図した動作変更が実際に起こったかどうかの確認はありません。
フィードバックループには閉じる手段がなく、それを閉じるためのインフラも存在しません。既存のツール（エージェントSDKや可観測性プラットフォーム）はエージェントを素早く立ち上げたりトレースを確認したりするのに役立ちますが、トレースを見ることが難しいのではありません。難しいのはエージェントを教えることであり、専門家の修正から検証済みの行動変更に至る完全な経路を所有するインフラは現時点ではありません。
私たちは、この問題の解決策は専門家をより技術的にするかエンジニアをより専門的にすることではないと考えています。どちらもコンテキストスイッチの負担であり、個々の専門知識を最適に活用できません。専門家は自身のドメインの語彙で直接エージェントを教えられるべきであり、エンジニアはそれらの修正を行動に変換するシステムを所有すべきです。ループは、誰かの記憶ではなく評価によって閉じられるべきです。
研究面では、ポストトレーニングが明白な答えに見えますが、ほとんどのチームにとっては最初の正しい手順ではありません。RL環境の構築、データ要件、トレーニング費用、ガバナンスの問題など、多くの課題があります。また、基礎的な手法はオンライン継続学習を解決していません。重み空間アプローチはエントロピー崩壊と壊滅的忘却に対処する必要があり、最近の研究では知識保持、含意ギャップ、KLダイバージェンスによるベース能力の損傷など、より微妙な失敗が明らかになっています。同様に、トークンスペース（コンテキスト内学習）では、プロンプトベースの学習に過学習や将来のタスクへの劣化、メモリ管理とアクセスの問題があります。
私たちは、これら2つのソリューションの中間点が存在し、それらの間に相乗効果があると信じています。Kinestheticは、重み更新なしで専門家の修正をエージェントの行動に変換するレイヤーを構築しています。具体的には、解決済みの修正済み軌跡を取得し、それらに含まれる汎用手順ガイダンス（メタ勾配）をトークンスペースに蒸留し、テスト時に検索します。これにより、改善はドメイン専門家が読んで議論し承認できるテキストアーティファクトとなり、エンジニアはバージョン管理と評価を行えます。私たちはHarvey LABとSierra τ³-Bankingベンチマークで有意な改善を示しています。
私たちのソリューションには2つの譲れない特性があります。すべての改善は可読かつ解釈可能であり、行動を変えたアーティファクトを明示できます。また、ループはデータがすでに存在する場所で動作し、軌跡と修正はパートナーの環境を離れる必要がありません。私たちの根底にある賭けは、エージェントを教えることは最終的に新入社員をオンボーディングするように感じられるべきだということです。つまり、作業を示し、判断を修正し、エージェントが仕事を上達するということです。まだ遠い道のりですが、次のモデルを待っていてもギャップは埋まらないと考えています。