コーディングエージェントのトラフィックパターンは独特だ。エージェントが一歩進むたびに、ハーネスはシステムプロンプト、すべてのツール定義、ユーザーの依頼、エージェントが読んだすべてのファイル、実行したすべてのコマンドという、それまでの会話全体をモデルに再送する。返ってくるのは通常、数十トークン程度のツール呼び出しだ。そして次のターンには前回のすべてに少しだけ加えた内容が再び送られる。この巨大な入力系列長(ISL)と小さな出力系列長(OSL)がエージェントワークロードの特徴である。GPUが毎ターンその記録全体をゼロから処理しなければ、長いセッションは一歩ごとに遅く高価になる。プレフィックスキャッシュはその作業の大部分を節約するが、注意しないとキャッシュは簡単に壊れる。
リクエストは二つのフェーズを通る。第一はプリフィルで、エンジンがプロンプト全体を一度に並列で読み、最初のトークンを生成する。GPUが得意な大量の計算を一度に行うため、算術強度が最大化され、最初のトークンが出るまでの待ち時間が決まる。第二はデコードで、モデルが残りの回答を一トークンずつ書き、新しいトークンごとにそれ以前のすべてを読み返して注意を向ける。デコードは計算よりもメモリ帯域に律速され、テキストが流れる速さを決める。通常のチャットは両フェーズに時間を使うが、エージェントのターンはほぼプリフィルだ。入力はセッション全体で、出力は通常短いツール呼び出しだからである。推論モデルは思考トークンを上乗せし、時に大量になるが、セッションが数万トークンに育つと入力が依然として支配的だ。ターンごとに入力は長くなり、出力はほぼ同じ大きさのままである。したがってエージェントにとって「このモデルはどれくらい速いか」は、ほぼ「長い履歴をどれだけ速く読み切れるか」を意味する。
KVキャッシュは読書にたとえられる。新しい単語を読むたびにページの先頭から読み直さなければならず、下へ進むほど既読部分を繰り返すため遅くなる。キャッシュはこれをリクエスト内で解決し、エンジンは以前のトークンについて行った計算を中間のキー・バリュー対として保持し、新しいトークンだけを計算する。プレフィックスキャッシュは同じことをリクエスト間で行う。エージェントセッションの第7ターンは第6ターンに少し加えたものなので、エンジンが第6ターンの計算を保持していれば新しい部分だけを処理すればよい。算術は単純で、各ターンの増分が同じなら、キャッシュなしの10ターンは1+2+…+10で55単位、キャッシュありなら10単位。100ターンでは5050対100になる。コーディング作業では100ターンも珍しくない。実際のターンは大きさが異なり、これは理想化した数字であり、キャッシュも完全に無料ではない。新しいトークンは依然としてキャッシュ済みのすべてに注意を向ける必要がある。しかし傾向は成り立つ。キャッシュがなければ、やり直す作業量はセッション長の二乗で増える。
肝心なのは、プレフィックスキャッシュがプロンプトの先頭から最初に異なるトークンまでしか一致せず、そこで止まることだ。末尾への追加は追加コストがかからないが、それより前を一文字でも変えればその後すべてを再処理する。変更が先頭付近なら事実上セッション全体を捨ててキャッシュを再構築することになる。この記事の残りのほとんどはこの一つの規則から導かれる。ハーネスは最初の差異がどこに現れるかを決め、エンジンは次のリクエストが来たときにキャッシュがまだそこにあるかを決める。
Ollama側では、ollama launchコマンドで好みのハーネスを接続できるようにした。Claude Code、Codex、PiなどをDeepSeek-V4.1-FlashやGLM-5.3といったオープンモデルと組み合わせ、既存のワークフローを維持できる。ハーネスをAPIに接続するのは簡単に見えるが、実際には多くの翻訳層とハーネスとモデルの期待の違いがあり、それがキャッシュ破壊、説明のつかないエージェント挙動、ハーネスのエラーのよくある原因になる。
ツールが増えたため、すべての定義をプロンプト先頭に置くと、使わないツールにコンテキストを費やし、モデルの選択精度も下がる。新しいハーネスはツール検索を導入し、エージェントが検索してからツールを読み込み使用できる。個人アシスタントのエージェントで、お気に入りのイベントをカレンダーに書き出すよう頼むと、「calendar」を検索してsave_calendar定義を読み込み呼び出す。キャッシュの観点では定義をどこに置くかが問題だ。明白な方法はツール一覧に加えることだが、ツール一覧はプロンプト上部の会話より前にあり、プレフィックスが変わればその後すべてを再処理することになり、長いセッションでは数十万トークンになりうる。より良い方法は、新しい内容が本来追加される末尾に定義を置くことだ。ただしすべてのモデルが対応しているわけではなく、会話の途中のツール定義を想定しないチャットテンプレートでは呼び出しがエラーになる。したがってツールを遅延ロードしてコストを払わずに済むかはモデル次第である。利用者が知る必要はないが、ハーネスを作る人には重要だ。
キャッシュを壊す最も簡単な方法は、現在のタイムスタンプ、git status、エージェントが移動し続ける作業ディレクトリなど、ターンごとに変わるものをシステムプロンプトに入れることだ。ハーネスが毎ターン新しい値でシステムプロンプトを再描画すれば、毎ターン完全な再読み込みになる。セッション内では固定だがセッション間で異なる情報、たとえばユーザー名やセッション開始日は、そのセッションを害さないが、新しいセッションが既にキャッシュされた設定を再利用できなくする。いずれにせよ修正は同じで、その情報をタスクメッセージに一度だけ入れ、システムプロンプトはどこでも同一に保つことだ。
推論強度はOllama側で実際に踏んだ問題だ。GLM-5.3-Flashでは推論強度はエンジンが横で扱う別設定ではなく、チャットテンプレートがツールや会話より前の最初のシステムブロックに書き込む。長いタスクの途中で調子が悪く、強度を低から高へ上げるのは合理的だが、次のリクエストはほぼ最初のトークンから前回と異なり、セッション全体が再処理される。長い実行では設定を一つ変えるのに数十万トークンを費やしかねない。助言は開始時に強度を選び、そのまま維持することだ。もっと考える必要があるなら、古いセッションを続けるより高い設定で新しいセッションを始める方が安く、きれいなコンテキストも得られる。推論値を変える前にコンパクションしてプロンプトトークンを減らす方法もある。
ツールの出力は次のリクエストの一部となり、その後のすべてのリクエストの一部になる。40行必要だったのに3000行のファイルを読めば、一度ではなく残りの毎ターン支払うことになり、キャッシュされてもコンテキストウィンドウを失う。ハーネスはよくツール出力を切り詰める。方向は正しいが切り詰め方が重要だ。カレンダー書き出しのタイムゾーンバグを直すタスクで、エージェントがcalendar.pyを読み、ツールが640行のうち最初の100行を切り詰めたと告げずに返すと、重要なconvert_timezoneは420行目にあり、モデルは何かが欠けていることに気づかない。修正は出力に一行加えるだけで、1〜100行目(全640行)を取得したこと、ファイルを検索したり別の範囲を要求できることを伝える。これでモデルは「timezone」を検索し、420行目を見つけ、410〜450行目を読む。切り詰めはコストを下げるが、告げずに切り詰めれば、モデルは見ていないコードを自信を持って編集する。
Kimi K3、GLM-5.3、GLM-5.3-Flashのようなオープンモデルは、大きなタスクを分割してサブエージェントに渡すのがかなり得意になってきた。ハーネスが各サブエージェントをどう起動するかが、親のキャッシュをどれだけ再利用できるかを決める。一つの方法はサブエージェントがすべてを継承することだ。同じシステムプロンプト、ツール、会話に自分の割り当てを加える。サイドチャットはこの方式で、親セッションから分岐するためプレフィックス全体が既にキャッシュされている。もう一つはブリーフを送る方法で、同じシステムプロンプトとツールに、サブエージェントが必要とするファイルと指示だけを加える。この場合キャッシュは設定部分だけを覆う。継承は一見優れているがそうとは限らない。キャッシュされたプレフィックスは処理が安いが無料ではなく、サブエージェントが生成する各トークンはそれを読み通す必要があり、その間GPUメモリを占有する。2つのファイルとチェックリストが必要なレビュアーに300ターンの履歴は要らないだろう。サブエージェントに独自のシステムプロンプトを与えると、親とは設定すら共有しない。
エンジン側では、上記を完璧に行っても利益がないことがある。キャッシュがまだ存在し、次のリクエストがそれを保持するマシンに届かなければならない。Together AIは推論エンジンをGPUを忙しく保つ機械と考える。単一GPUの年間レンタルは約5万ドルで、理想的には遊休させず、常に数百人のユーザーを異なるリクエスト段階で処理している。エージェントのトラフィックはこの制約をいくつかの特定の方向から押す。
セッションのキャッシュは特定のデータセンターの特定のノードに存在する。次のターンが別の場所に着けば、そのノードは以前のすべてのターンをゼロから処理し、二つのノードが同じプレフィックスを保持することになる。正しくルーティングするには、まずモデルを動かすデータセンターを選び、プレフィックス一致に基づいてセッションのキャッシュを保持するノードへリクエストを導く必要がある。ハーネスがプロンプトのプレフィックスを安定に保ち、エンジンが正しくルーティングすれば、長いエージェントセッションはターンが増えるほど遅く高価になるのではなく、各ステップで高速かつ予測可能なままになる。