使用 Genie Code 將專有程式碼轉換為開放 ANSI SQL
Databricks 推出 Genie Code 的智慧代理轉換器(Beta 版),將專有 SQL 方言(如 T-SQL、Snowflake 等)轉換為開放的 ANSI SQL。透過並行代理迭代轉換、驗證語法和語義,簡化資料倉儲遷移。支援遷移專案管理、複雜度評分和血緣分析,並提供自定義技能自動應用轉換規則。
Databricks 宣佈推出 Genie Code 的智慧代理轉換器(Beta 版),旨在將專有 SQL 方言轉換為開放的 ANSI SQL,從而大幅簡化從傳統資料倉儲向 Lakehouse 的遷移過程。該轉換器目前支援 T-SQL、Snowflake、Redshift、Oracle、BigQuery 和 Teradata 等主流方言,並將遷移專案從需要團隊全程管理的複雜任務轉變為可配置、啟動和監控的自動化流程。
智慧代理轉換器的工作流程包括自動遷移規劃和全代理程式碼轉換。使用者首先在 Databricks 工作區中建立遷移專案,上傳源 SQL 檔案。Genie Code 會分析每個檔案的複雜度並生成評分,幫助團隊優先處理簡單檔案。同時,它會自動構建血緣關係圖,對映表、檢視和儲存過程之間的依賴關係,從而確定哪些物件需要一起遷移。例如,在概念驗證中,一個名為 mixed_5cats_sp_string_agg.sql 的檔案因僅包含能直接對映到 ANSI SQL 的特性而被評為低複雜度,而其他檔案則可能需要更多關注。
在實際轉換階段,Genie Code 會為每個指令碼啟動多個子代理並行工作,迭代修復錯誤並驗證語法和語義正確性,確保轉換後的程式碼保留原始業務邏輯並能成功解析。轉換完成後,檔案按狀態顏色編碼,未透過的檔案會顯示待辦事項列表。使用者可以在原生 SQL 編輯器中檢視並排差異,手動修復或透過建立自定義技能自動應用轉換規則。例如,可以為儲存過程統一新增 Unity Catalog 的三部分名稱。自定義技能還適用於更廣泛的定製,例如符合批准的 ETL 模式或遵循內部命名約定。
對於希望直接遷移的團隊,Databricks 提供了完整的企業級 SQL 功能,包括多語句事務、臨時表和儲存過程,這些在傳統資料倉儲中常用,且無需重新設計業務邏輯即可直接使用。該轉換器基於 Lakebridge 的成功經驗,自 2025 年資料與 AI 峰會上推出以來,已有超過一千家客戶透過 Lakebridge 的轉換工具遷移到 Databricks。一位客戶表示:“Lakebridge 使我們的遷移更加可預測和高效,它將我們的遺留儲存過程轉換為 Spark 宣告式管道,減少了許多手動工作。”
未來,代理轉換器將擴充套件支援更多傳統 ETL 源和新的目標方言,並計劃透過原生 Lakeflow Connect 整合資料遷移,以及提供自動驗證工具確保遷移後的資料與源資料一致。團隊可以聯絡 Databricks 賬戶團隊評估遺留環境並嘗試代理轉換器。