Databricks近期發佈了一篇博客，詳細介紹了其數據智能體Genie Code在與通用編碼智能體的對比評估中的出色表現。Genie Code是Databricks為數據工作全流程設計的智能體，涵蓋基礎數據分析、工作區級數據探索以及數據工程任務，如構建管道、調試故障和交付儀表板。在此次評估中，研究團隊從實際內部使用中提煉了401個自包含任務，包括日常問題、資產發現、代碼編寫與修改、調試、解釋現有代碼以及精確數據查找等場景。所有任務均以20分鐘的實際時間預算運行，並由獨立評審員根據回答的正確性和有用性進行評分。
結果顯示，Genie Code不僅準確率最高（76.6%），而且成本最低，平均每次任務僅需0.55美元。相比之下，三個通用編碼智能體（稱為Agent X、Agent Y和Agent Z）的準確率分別為72.1%、55.9%和56.1%，平均每次任務成本分別為1.09美元、0.91美元和1.16美元。Genie Code的正確回答成本不到Agent X的一半，而Agent Y和Z的準確率被長時運行掃描的牆鍾超時嚴重拖累，這些超時往往源於對大型低效表的無上限查詢。
這種優勢的關鍵在於Genie Code對Databricks工作區上下文的深度語義理解。通用編碼智能體在面對複雜任務時，往往陷入盲目的全表掃描或隨機探索，導致高令牌消耗和低準確率。而Genie Code利用語義搜索和持久記憶，能夠直接定位正確的資產，平均每次任務僅需8.3次工具調用，遠低於其他智能體。例如，在某次任務中，Genie Code通過語義搜索和元數據快速找到正確的表，編寫一條SQL查詢，僅用五次工具調用就得到正確答案，而三個通用智能體均未能從探索中恢復。
研究團隊原本預期準確率和成本之間存在權衡，但Genie Code打破了這一假設。通過減少不必要的令牌消耗和調用次數，它在提升準確性的同時降低了成本。博客還指出，通用基準測試無法完全反映用户的日常體驗，Databricks將持續基於真實任務擴展評估，並分享更多發現。Genie Code的Ontology功能雖然尚未全球可用，但未來有望進一步強化其優勢。總之，Genie Code作為前沿數據智能體，專為Databricks工作區這類高度動態和模糊的環境優化，能夠同時提升準確性、速度和成本效率，而無需在通用能力上做出妥協。