擊敗文本到SQL基準測試：普通Claude加上語義層能獲得多大提升？

Motley團隊在最新博客中詳細介紹了他們如何通過結合Claude SDK和開源語義層SLayer，在BIRD-INTERACT文本到SQL基準測試中取得了顯著成果。他們的代理在a-interact mini-interact版本上達到了75.3%的通過率，而官方最佳成績僅為36.33%。然而，團隊指出，這一成就的關鍵並非SLayer本身，而是Claude SDK代理框架的引入。

BIRD-INTERACT基準測試旨在模擬真實工作環境，允許代理通過用户模擬器進行多輪交互、探索數據庫並自主決定何時提交答案。團隊選擇了基於SQLite的mini-interact版本，以降低運行成本。為了分離代理框架和語義層的影響，他們構建了兩種代理變體：一種使用SLayer，另一種直接使用原始SQL。結果顯示，使用Claude SDK的代理顯著優於基於PydanticAI的代理，而SLayer在此基礎上帶來了邊際提升。

然而，團隊發現基準測試中大量黃金答案存在錯誤，這可能導致假陰性評估。為此，他們開發了一個註釋代理，對每個任務進行判斷，決定黃金答案是否正確、是否與任務兼容，以及是否存在其他有效答案。基於修正後的答案，SLayer代理的通過率提升至83.7%，而純SQL代理為79.0%。

SLayer的自動攝取流程完全自主運行，將知識庫項作為記憶注入。團隊強調，在真實使用中，人工介入編碼知識庫將帶來更大收益。此外，基準測試還暴露了SLayer的一些邊緣情況，促使團隊改進了工具設計和錯誤糾正機制。例如，代理常將SQL風格的聚合語法（如count(*)）寫成SLayer原生語法（*:count），現在SLayer會自動糾正這些模式。

總之，這項研究展示了代理框架和語義層在文本到SQL任務中的潛力。團隊提醒，實際應用中的提升可能更為顯著，因為本次運行完全依賴自動化流程，而人工策展可進一步優化性能。