小型LLMにRAGコンテキストの68%を破棄させる方法

要点

• RAGパイプラインに小型LLMによるプルーナーを追加し、不要なチャンクを評価・破棄。
• 5段階スコアリングで全チャンクを同時評価し、ポイントワイズ評価では捉えられないセットの関連性を解決。
• 約68%のコンテキストを破棄、96%の再現率を維持、コストを正味約34%削減。
• プルーナーのレイテンシは約0.7秒で、エージェント内では問題にならず、Product Agent SDKでデフォルト有効化。