テキストからSQLへのベンチマークを打破：通常のClaudeにセマンティックレイヤーを追加するとどれだけ向上するか？

Motleyチームは、Claude SDKとオープンソースのセマンティックレイヤーSLayerを組み合わせ、BIRD-INTERACTベンチマークで75.3%の合格率を達成し、公式最高の36.33%を大幅に上回りました。最大の改善はエージェントハーネス（Claude SDK）によるもので、SLayerはさらなる微増をもたらしました。ベンチマークの多くのゴールドアンサーに誤りがあることが判明し、チームが構築したアノテーションエージェントにより、修正後の合格率はさらに向上しました。