すべてのAIエージェント機能はキャッシュ無効化面である

OpenClacky（Rubyで書かれたオープンソースAIエージェント）の創業者Yafei Lee氏は、スキル、メモリ、サブエージェント、ブラウザ自動化、動的モデル切り替え、長時間実行セッションなどの機能を構築する際に、プロンプトキャッシュが深刻な問題を引き起こすことを共有しています。2年間と3世代のアーキテクチャ（最初の2世代は失敗）を経て、90%以上のキャッシュヒット率を達成する7つのエンジニアリング上の決定に収束しました。この記事では、RAGとマルチエージェントオーケストレーションの失敗と、最初の3つの決定（ダブルキャッシュマーカー、固定システムプロンプト、単一メタツール）について詳しく説明しています。