大金應用美洲公司如何藉助Genie Code大規模構建一致的數據管道

大金應用美洲公司（Daikin Applied Americas，簡稱DAA）是北美商用暖通空調系統的領先製造商和服務商，管理着來自設備遙測、供應鏈和現場服務記錄等海量運營、製造和服務數據。隨着企業分析和人工智能用例的不斷增加，數據團隊面臨着前所未有的壓力。為了應對這一挑戰，DAA團隊徹底重新定義了數據管道的設計、構建和治理方式，並利用Databricks的Genie Code來加速執行。

團隊首先引入了一個MECE（相互獨立，完全窮盡）技能框架。每個技能定義了數據工程生命週期中的一個特定能力，包括勳章架構設計、源就緒性、轉換模式、規範對齊和治理標準。這些技能相互獨立且覆蓋了完整的工作流程。與早期依賴長提示的做法不同，團隊將環境結構化，使得Genie Code在運行時加載適當的技能，並在規劃和執行過程中應用它們。這從根本上改變了行為模式：從解讀臨時指令轉變為在定義好的執行模型內操作。

同時，團隊強化了勳章架構（Bronze、Silver、Gold）的作用，將其作為明確的決策邊界，而不僅僅是存儲層。Bronze層代表原始數據，Silver層是清洗和規範化後的數據，Gold層則是業務就緒的分析數據。為了將這一結構付諸實踐，團隊在層之間引入了檢查點，例如源粒度定義、連接驗證和數據穩定性檢查。這些檢查點直接嵌入開發工作流中，而不是作為下游審查步驟，從而確保團隊間的一致性，並減少快速開發期間出現架構捷徑的風險。

為了彌合技術模型與業務語言之間的差距，團隊將管道設計錨定在穩定的業務實體上，如設備、客户、服務事件和合同，而不是技術表結構。工程師首先識別數據代表什麼以及它如何隨時間變化，這提高了下游工作的效率，並減少了數據集跨域複用時的歧義。

實施新運營模型後，團隊看到了顯著變化：管道開發加速，特別是在早期探索和迭代階段；團隊間輸出更加一致；對AI生成內容的信任度提高。關鍵決策被標準化，包括Bronze、Silver、Gold數據的定義、源粒度的定義、可複用的轉換模式以及業務實體的表示方式。這確保了AI在一致的框架內運行，即使用例不斷演變。

DAA數據與分析高級總監Trent Lezer表示：“Genie Code最好被當作一個工作速度很快，但必須像其他人一樣遵守相同架構約束的初級工程師來對待，沒有‘因為是AI’的特殊豁免。”他強調，目標不是讓AI遵守更多規則，而是讓正確的規則無法忽視。

最終，這種結構化運營模型與AI輔助開發的結合，使得DAA數據團隊能夠在保持一致性、清晰度和控制力的同時，更快地實現規模化。團隊創建了一個速度和治理相互促進的系統，而不是相互競爭。