本文にスキップ
AI News HubLIVE
サイト内リライト5 分で読了

分散KVキャッシュAgent SkillでセルフホストLLMのコストとレイテンシを削減

記事の要約

AWSはAgent Toolkit for AWSに分散KVキャッシュスキルを追加した。コーディングエージェントからAmazon ElastiCacheを使った共有KVキャッシュを評価・構築でき、推論コストを最大40%、最初のトークンまでの時間を最大80%削減できる。

ソースAWS Machine Learning Blog著者: Ravi Yadav
分散KVキャッシュAgent SkillでセルフホストLLMのコストとレイテンシを削減
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

大規模言語モデル(LLM)をGPU上でセルフホストすると、コスト、精度、レイテンシを制御できる一方で、冗長なGPU作業にコストを払うことになります。各サーバー上の小さく孤立したKVキャッシュは、AIエージェントやチャットアプリケーションが繰り返し送信する増大するコンテキストを保持したり共有したりできません。たとえば、法律AIアシスタントが1回の会話で数十万トークンの案件履歴を蓄積することがあります。弁護士が昼休み後にスレッドに戻ると、LLMの応答に数分かかることがあります。リクエストを処理するGPUサーバーにはその履歴がメモリにないため、すべてのトークンのキー・バリュー(KV)アテンション状態を再計算する必要があります。このステップはプリフィルと呼ばれます。同じ問題は、再開されたコーディングエージェント、エージェント型AIアシスタント、文書Q&Aアシスタントの速度も低下させます。

AWSのブログによると、Amazon ElastiCacheを使った分散KVキャッシュは、セルフホストLLMの推論コストを最大40%、最初のトークンまでの時間(TTFT)を最大80%削減できます。分散KVキャッシュはGPUローカルキャッシュをGPUフリート隣の共有層で拡張し、どのサーバーでも数日間にわたり、セッション、ルーティングの変化、サーバー障害をまたいでKV状態を再利用できるようにします。

Agent Toolkit for AWSの分散KVキャッシュスキルは、コーディングエージェント内で数回のプロンプトにより評価とセットアップを可能にします。このスキルはKiro、Claude Code、OpenAI Codex、その他のAgent Skills対応コーディングエージェントで動作します。ワークロードが分散KVキャッシュの恩恵を受けるかどうかの確認、テストまたは本番ワークロード用のキャッシュクラスタの構築、LLM推論キャッシュのトラブルシューティングへとエージェントを導きます。

このスキルは、変更を加える前にベストプラクティスに従うことを重視しています。まず適合性チェックです。エージェントは読み取り専用のdescribe-instances呼び出しでGPUフリートを読み取り、Elastic Fabric Adapter(EFA)インターフェースの数を数えます。そして、確認できない情報だけを尋ねます。エンジン、モデル、テンソル並列(TP)サイズ、KVデータ型、サーバー価格、プロンプトの繰り返し頻度です。適合しない場合は停止して理由を説明します。

次に、実際のワークロードからの数値です。短いプロンプトでは、KV状態の読み込みが再計算より時間がかかることがあります。特定のプロンプト長(切り替え点)を超えると、読み込みが有利になります。この切り替え点とプロンプトの繰り返し頻度が、キャッシュが価格に見合うかどうかを決めます。エージェントはKVTraceで実際のトラフィックから節約額を無料で見積もり、キャッシュのコストをカバーできなければ停止します。すべての数値は出典を示します。

第三に、既存のスタックで推論サーバー間の設定を管理します。エージェントはLMCacheコネクタを既存のvLLMまたはSGLangエンジンに追加します。llm-dやRay Serveなどのサービングフレームワーク下のvLLMワーカーも含まれます。ルーティングとエンジン設定を維持し、推論フリート内のサーバーを単一のKV IDメカニズム(ハッシュとシード)と明示的なKVデータ型に設定します。設定を一致させることで、各サーバーが他のサーバーから見つけられないKV状態を書き込むキーの不一致を防ぎます。

第四に、ベストプラクティスを実装します。本番トラフィックの前に、エージェントはローカル層を空にし、キャッシュロードされた2回の実行が同じ出力を返すことを確認します。レイアウトの不一致は、ヒットカウンターが正常でも誤った回答を生む可能性があるためです。スキルは、リソースの作成、変更、削除などの影響の大きい操作について、明示的な承認を求めるようエージェントを導きます。

これらのフローには次の前提条件があります。Agent Skills対応のコーディングエージェント(KiroやClaude Codeなど)。EFA RDMA書き込みをサポートするGPUインスタンス(p5など)。LMCache 0.5.8rc1以降とvLLM 0.11.1以降(SGLang 0.5.13以降)。キャッシュを設定する場合は、cache.i8ge.48xlargeノード上のElastiCache for Valkey 9.1以降。

ブログでは4つの会話でスキルの動作を紹介しています。最初のフローは最初のトークンの遅さを診断します。エージェントはコールドプリフィルがレイテンシの原因であると特定し、新しいインフラを必要としない修正を確認します。たとえば、プレフィックスキャッシュを無効にしていた場合は再度有効にすると連続したターンが速くなります。GPUプレフィックスキャッシュのヒット率がセッションアフィニティで既に90%を超えている場合、共有KVキャッシュは不要かもしれません。また、法律AIアシスタント固有の制約も特定します。共有KVキャッシュでは、あるテナントが応答時間から別のテナントが同じテキストを送信したかどうかを判断できる可能性があります。分離が必要なケースは別々のキャッシュを使用し、共有キャッシュのテナントはKVハッシュに独自のIDを追加します。エージェントはサイズを推測せず、モデルとTPサイズ、KVデータ型、レプリカ数とルーティング、ユーザーのターン間隔を尋ねます。

2番目のフローは節約額の見積もりです。エージェントは8台のp5インスタンスで64,000トークンのプロンプトを処理するマルチターンRAGアシスタントの例で、GPUとキャッシュノードの価格を調べ、ベンチマークからプリフィルレートとKVサイズを導出し、最終的に2台のcache.i8ge.48xlargeノードを推奨しました。キャッシュヒット率が提供されなかったため、エージェントは複数のシナリオを示し、KVTraceの実行を推奨します。KVTraceはvLLMまたはSGLangからのKVキャッシュイベントを記録し、各候補サイズの共有KVキャッシュに対してオフラインで再生します。レコーダーはトークンIDやプロンプトテキストを書き込みません。トレースにはブロックハッシュとトークン数が含まれます。ブロックハッシュはトークン内容から生成されるため、機密プロンプトには--anonymize-key-fileを使用します。代理は解放されたGPU時間が実際の金額になるのは、サーバーを減らすか同じサーバーでより多くのトラフィックを処理する場合だけだと指摘します。

3番目のフローはゼロからの共有L2 KVキャッシュのセットアップです。何かを作成する前に、エージェントは提案されたキャッシュノード数を可用性ゾーンに推定価格で設定することの確認を求めます。確認後、EFA権限を持つセキュリティグループと、カスタムパラメータグループとキャッシュエビクションポリシーを使用するValkey 9.1クラスタを作成します。LMCacheは独自のキャッシュユーザーを持ち、パスワードはAWS Secrets Managerに保存されます。エージェントはGPUサーバーを準備し、各GPUサーバーに1つのLMCacheサーバーを起動します。次に小さなテストオブジェクトでクラスタを確認し、繰り返しプロンプトがRDMA経由でキャッシュからKV状態をロードすることを確認します。GPUフリートでは、スキルは測定されたL2共有率をKVTraceの予測と比較します。

4番目のフローはトラブルシューティングです。LMCacheサーバーがElastiCacheクラスタに接続し、BLOB.RDMA_HELLOは成功するが、実際のデータ転送が失敗し、INFO largeobjでrdma_write_errorsが増加しているという報告に対して、エージェントは症状パターンから、セキュリティグループが自身のメンバー間のEFAトラフィックをブロックしている可能性が高いと推論し、ルールを確認・修正するコマンドを提供します。

開始するには、Agent Toolkit for AWSから分散KVキャッシュスキルまたはAWS MCP Serverを入手し、問題を説明するか、AIエージェントにGPUフリートのコストとレイテンシ削減を依頼します。詳細と性能ベンチマークはAWSブログ、入門ガイドはAmazon ElastiCacheドキュメント、KVTraceの詳細はGitHubリポジトリを参照してください。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 分散KVキャッシュはGPUフリート横に共有層を追加し、KV状態を再利用してコストを最大40%、TTFTを最大80%削減する。
  • Agent Skillが適合性チェック、KVTraceによる削減効果の見積もり、キャッシュクラスタの構築、トラブルシューティングを導く。
  • Agent Skills対応のコーディングエージェント、EFA RDMA対応GPUインスタンス、LMCache 0.5.8rc1以降、ElastiCache for Valkey 9.1以降が必要。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。