テキストからSQLへのベンチマークを打破：通常のClaudeにセマンティックレイヤーを追加するとどれだけ向上するか？

Motleyチームは、Claude SDKとオープンソースのセマンティックレイヤーSLayerを活用し、BIRD-INTERACTテキストからSQLへのベンチマークで顕著な成果を上げました。a-interact mini-interactバージョンにおいて、エージェントは75.3%の合格率を達成し、公式最高の36.33%を大きく上回りました。しかし、チームはこの成果の鍵がSLayer自体ではなく、Claude SDKエージェントフレームワークの導入にあると指摘しています。

BIRD-INTERACTベンチマークは、エージェントがユーザーシミュレーターとのマルチターン対話、データベースの探索、および最終回答の提出を自律的に行う、現実の作業環境を模倣するように設計されています。チームは、SQLiteベースで実行コストが低いmini-interactバージョンを選択しました。実験の公平性を確保するため、SLayerを使用するバージョンと直接SQLを使用するバージョンの2つのエージェント変種を構築しました。結果、Claude SDKを使用したエージェントはPydanticAIベースのものよりも大幅に優れており、SLayerはその上でさらなる微増をもたらしました。

しかし、チームはベンチマークのゴールドアンサーに多数の誤りがあることを発見し、それが偽陰性評価につながる可能性があると指摘しました。そこで、各タスクの正しさを判断するアノテーションエージェントを開発しました。修正後のアンサーに基づくと、SLayerエージェントの合格率は83.7%、純粋なSQLエージェントは79.0%に向上しました。

SLayerの自動取り込みプロセスは完全に自律的に実行され、知識ベースアイテムがメモリとして注入されました。チームは、実際の使用では人間が知識ベースをキュレーションすることでさらに大きな利益が得られると強調しています。また、ベンチマークはSLayerのいくつかのエッジケースを露呈し、ツール設計とエラー修正メカニズムの改善につながりました。例えば、エージェントはSQLスタイルの集約（count(*)など）をSLayerのネイティブ構文（*:count）と書くことが多くありましたが、現在SLayerはこれらのパターンを自動修正します。

全体として、この研究はテキストからSQLタスクにおけるエージェントフレームワークとセマンティックレイヤーの可能性を示しています。チームは、実際のアプリケーションでは改善がより顕著になる可能性があると述べています。なぜなら、今回の実行は完全に自動化されたプロセスに依存しており、人間によるキュレーションがさらに性能を最適化できるからです。