Databricks近期釋出了一篇部落格，詳細介紹了其資料智慧體Genie Code在與通用編碼智慧體的對比評估中的出色表現。Genie Code是Databricks為資料工作全流程設計的智慧體，涵蓋基礎資料分析、工作區級資料探索以及資料工程任務，如構建管道、除錯故障和交付儀表板。在此次評估中，研究團隊從實際內部使用中提煉了401個自包含任務，包括日常問題、資產發現、程式碼編寫與修改、除錯、解釋現有程式碼以及精確資料查詢等場景。所有任務均以20分鐘的實際時間預算執行，並由獨立評審員根據回答的正確性和有用性進行評分。
結果顯示，Genie Code不僅準確率最高（76.6%），而且成本最低，平均每次任務僅需0.55美元。相比之下，三個通用編碼智慧體（稱為Agent X、Agent Y和Agent Z）的準確率分別為72.1%、55.9%和56.1%，平均每次任務成本分別為1.09美元、0.91美元和1.16美元。Genie Code的正確回答成本不到Agent X的一半，而Agent Y和Z的準確率被長時執行掃描的牆鍾超時嚴重拖累，這些超時往往源於對大型低效表的無上限查詢。
這種優勢的關鍵在於Genie Code對Databricks工作區上下文的深度語義理解。通用編碼智慧體在面對複雜任務時，往往陷入盲目的全表掃描或隨機探索，導致高令牌消耗和低準確率。而Genie Code利用語義搜尋和持久記憶，能夠直接定位正確的資產，平均每次任務僅需8.3次工具呼叫，遠低於其他智慧體。例如，在某次任務中，Genie Code透過語義搜尋和後設資料快速找到正確的表，編寫一條SQL查詢，僅用五次工具呼叫就得到正確答案，而三個通用智慧體均未能從探索中恢復。
研究團隊原本預期準確率和成本之間存在權衡，但Genie Code打破了這一假設。透過減少不必要的令牌消耗和呼叫次數，它在提升準確性的同時降低了成本。部落格還指出，通用基準測試無法完全反映使用者的日常體驗，Databricks將持續基於真實任務擴充套件評估，並分享更多發現。Genie Code的Ontology功能雖然尚未全球可用，但未來有望進一步強化其優勢。總之，Genie Code作為前沿資料智慧體，專為Databricks工作區這類高度動態和模糊的環境最佳化，能夠同時提升準確性、速度和成本效率，而無需在通用能力上做出妥協。