RTKフックはコーディングエージェントをより高価にする

JetBrains AIチームは、「Rust Token Killer」（rtk）の厳格なA/Bベンチマークを実施し、この広く注目されているエージェントトークン圧縮ツールがコストを節約するどころか、低推論負荷でコスト中央値を7.6%増加させることを発見しました。rtkはCLIプロキシであり、git statusなどのコマンドをインターセプトして冗長な出力を短い形式に圧縮し、60-90%のトークン消費削減を謳っています。しかし、JetBrainsのテストではいくつかの重要な問題が明らかになりました。

まず、rtkはエージェントセッションのごく一部のデータにしか影響を与えません。Claude Codeは主に内蔵のReadおよびGrepツールを使用し、これらはBashフックを完全にバイパスします。さらに、python3などの多くのシェルコマンドはrtkの対象外です。結果として、rtkはツール出力文字の約20%にしか触れることができず、さらに圧縮しても入力トークンの3%未満にしか影響しません。

完全なSkillsBenchベンチマーク（86タスク）では、rtkを有効にしたエージェントは低推論負荷でコストが7.6%増加（p=0.004）、ターン数が13.8%増加、キャッシュ読み取りが14.3%増加しました。高推論負荷ではコスト差は消失しました（中央値差+0.1%、p=0.99）。品質に関しては、両群に統計的な差はありませんでした。

rtkの内蔵分析パネルは9620万トークンの節約を報告しましたが、実際の請求額は増加しました。この乖離は3つの要因によるものです：第一に、rtkは完全な生出力を反事実としてカウントするが、Claude Codeは切り詰めポイントに達する前に停止するため、実際には数千トークンしか節約されません。第二に、rtkは実行時に文字数を4で割ってトークンを推定するが、セッションの入力コストの大部分はキャッシュ再読み取りであり、これは10分の1の価格で課金される。第三に、フックはコンテキストの大部分を決して見ない。rtkのスコアボードは自分の宿題を採点しているに過ぎません。

JetBrainsの結論：rtkは誠実なエンジニアリングだが、誤った反事実を使用している。ツールの自己報告節約額は自身のカウンターに対するものであり、実際の請求額に対するものではない。コンテキスト圧縮ツールを評価する際は、ツールの差分ではなく、ペアの請求額を測定すべきである。この教訓はrtkを超えて一般化できる。rtkのスコアボードは9600万トークンの節約を主張したが、請求書は増加した。どのコンテキスト圧縮ツールを評価する場合でも、ツールの独自の差ではなく、ペアの請求書を測定すべきである。