推論コストを節約する：プロンプトキャッシングでAI対話のオーバーヘッドを削減

本記事では、AI対話、特にMerrilinのような読書アシスタントにおける繰り返しコンテキストによる推論コストの問題を考察します。プロンプトキャッシングにより、計算オーバーヘッドを大幅に削減し、マルチターン対話のコストを約2.8～3.3倍削減できます。KVキャッシングの仕組みを詳しく説明し、実際の会話と価格モデルでコスト削減を示します。