作為全球領先的媒體和娛樂公司，NBCUniversal 依賴資料為其全球廣播、有線電視和流媒體網路提供無與倫比的娛樂體驗。隨著內容交付需要即時分析、複雜資料管道和先進機器學習，公司的資料基礎設施成為支援整個業務決策的關鍵資產。
NBCUniversal 已有百年創新歷史，它認識到需要現代化其資料基礎設施，以支援不斷增長的內容生態系統，同時控制運營成本。隨著資料量的增長和分析需求的變化，公司尋求更可擴充套件和整合的解決方案。現有基礎設施支援核心分析需求，但也暴露出在靈活性、高階工作負載效能以及最佳化計算支出以提升運營效率方面的改進機會。
“NBCUniversal 一直在致力於使資料可操作化並擴大對公司各部門的訪問，這需要一個讓我們能更快工作的新解決方案，”NBCUniversal 資料技術與產品高階副總裁 Kevin Hill 表示。“Databricks 讓我們能夠減少構建時間，更多時間用於分析資料。”
當 NBCUniversal 著手現代化其資料平臺時，目標是解鎖敏捷性，以便在重大內容釋出、頒獎典禮和直播活動期間進行擴充套件，而無需過度配置。與 EXL 和 Databricks 合作，NBCUniversal 遷移到 Databricks 的作業特定計算，將分析和機器學習統一到一個平臺上，並帶動了 300 名分析師。
成果一覽
- 透過作業特定計算減少 30% 的資料基礎設施成本
- 300 多名分析師順利遷移到 Databricks SQL
- 高流量事件彈性擴充套件，無需預先保留槽位造成浪費
- 透過 MLflow 和 Lakeflow Jobs 統一 ML 和分析
挑戰：平衡成本與效能 隨著 NBCUniversal 不斷創新，資料對營銷、產品和內容等團隊的決策變得更加關鍵。現有架構無法充分管理快速增長的資料量或查詢需求。基於槽的預留模型允許組織預留大量槽位以支援並行工作負載，但導致了高昂的計算成本和資源爭用。
“隨著當今內容生態系統的快速演變，我們公司的合作伙伴需要更快地做出明智決策，”NBCUniversal 資料工程副總裁 Louie Kuznia 說。“Databricks 提供了一個解決方案，可以在不犧牲敏捷性或速度的情況下支援我們現代化資料基礎設施。”
不斷變化的成本考慮，以及對機器學習等高階用例的更大靈活性和增強資料血緣治理的渴望，促使 NBCUniversal 探索替代平臺。
解決方案：Databricks Lakehouse 架構 NBCUniversal 與 Databricks 和全球諮詢公司 EXL 合作，執行戰略遷移到 Databricks 資料智慧平臺。這一合作結合了 EXL 深厚的遷移專長和 Databricks 領先的資料解決方案，建立了支援資料工程、機器學習和高階分析的現代化資料基礎設施。
選擇 Databricks 提供了多項優勢，包括增強的靈活性和資料工作負載的整體效率：
- 統一分析平臺：Databricks 為資料工程、資料科學、機器學習和商業智慧工作負載提供單一平臺，消除了維護多個專門工具的需求。
- 靈活的 Lakehouse 架構：Databricks 利用 Delta Lake 和 Apache Iceberg™，結合開源 Apache Spark™ 和 Lakehouse（Databricks SQL），能夠靈活處理跨多種格式的結構化和非結構化資料。
- 高階分析能力：Databricks 在支援複雜分析（包括機器學習工作負載）方面表現出色，原生整合 MLflow 用於實驗跟蹤和模型版本管理。
- 細粒度計算控制：Databricks 的架構能夠更精細地控制計算資源，每個資料管道在專用計算上執行，而不是競爭共享槽位。
遷移策略：分階段、合作伙伴主導的方法 遷移到 Databricks 需要對資料結構進行轉換、修改程式碼、調整資料格式，並仔細協調上下游依賴關係。EXL 和 Databricks 共同制定了全面的分階段方法，在加速過渡的同時最小化運營中斷。
第一階段：評估現有環境 團隊從全面發現開始，建立現有工作負載、表和程式碼庫的清單，並徹底分析其依賴關係。此評估階段識別了需要遷移的工件，按優先順序排序，並建立了成功標準。
第二階段：設計目標狀態架構 設計階段側重於將現有構造對映到 Databricks 的等效項，同時最佳化成本和效能。 關鍵設計決策包括：
- 工作區架構：根據 Databricks 良好架構框架構建工作區，將其最佳實踐支柱對映到 NBCUniversal 的組織結構和安全要求，確保可擴充套件、安全和麵向未來的環境。
- 資料治理策略：實施 Unity Catalog 作為中央治理層。
- 計算策略：根據每個工作負載的需求定義作業叢集配置、例項型別和自動擴充套件策略。
- 儲存佈局：設計 Delta Lake 表結構，採用適當的分割槽、聚簇和預測最佳化，以自動維護高效的檔案佈局、統計資訊和儲存，實現大規模持續效能。
第三階段：用自定義遷移工具驗證概念 在承諾全面遷移之前，EXL 使用 NBCUniversal 工作負載的代表性子集執行了有針對性的 MVP。該試點階段有兩個目的：驗證遷移方法，並開發自定義自動化工具以加速大規模遷移。
在 MVP 期間，EXL 專門為 NBCUniversal 環境構建了四個專有加速器：
- SQL 翻譯引擎：一個智慧程式碼轉換器，分析 SQL 語法並自動將其轉換為最佳化的 Spark SQL，處理方言差異、函式對映和效能調優。
- 編排遷移器：一個工具，解析現有 DAG 並重新生成 Lakeflow Jobs，保留依賴關係和排程邏輯。
- 資料傳輸協調器：自動化管道，將資料遷移到 Delta Lake，根據表大小和更新頻率選擇最佳傳輸方法。
- 驗證框架：全面的測試套件，比較源系統和目標系統之間的查詢結果、行計數和聚合統計資訊。
這些加速器將原本數月的 manual 工作轉變為自動化、可重複的過程，並內建質量檢查。
第四階段：按戰略波浪遷移 在加速器驗證透過且目標架構確定後，團隊按精心排序的波浪執行遷移。他們沒有同時遷移所有工作負載，而是採用基於風險的方法，優先遷移高價值、低複雜度的管道。
每個遷移波浪遵循一致的模式：
- 工作負載選擇：確定一組相關的表和管道進行遷移。
- 自動程式碼生成：使用 SQL 翻譯引擎轉換查詢，使用編排遷移器重建工作流。
- 資料同步：傳輸歷史資料，同時保持現有基礎設施的增量更新。
- 質量保證：執行驗證框架確保資料準確性和完整性。
這種迭代方法使團隊能夠保持業務連續性，並在每個波浪中最佳化流程，將經驗教訓應用於後續遷移。
第五階段：透過雙執行驗證 在切換到 Databricks 之前，最終階段涉及並行執行兩個平臺進行擴充套件驗證期。在數週內，NBCUniversal 執行雙管道，在現有平臺和 Databricks 上執行相同的轉換，並比較輸出。
這種並行執行起到了多個關鍵作用：
- 生產驗證：確保 Databricks 生成的輸出在實際條件下與生產資料量一致。
- 效能基準測試：測量 Databricks 環境中的實際執行時間和成本，與歷史效能進行比較。
- 利益相關者信心：為業務使用者和下游消費者提供經驗證據，證明遷移保留了資料質量和可用性。
- 切換規劃：在完全停用舊平臺之前，識別需要額外關注的邊緣情況。
只有在所有驗證指標上獲得一致結果後，NBCUniversal 才進行最終切換，逐個管道地退役現有工作負載，對新平臺充滿信心。
業務影響：30% 成本降低和戰略收益 NBCUniversal 遷移的結果是顯著且可衡量的：
- 計算成本降低：“透過過渡到 Databricks 的作業特定計算，NBCUniversal 實現了整體資料基礎設施成本降低 30%。每個管道現在在其專用計算資源上執行，能夠在高峰工作負載期間獨立擴充套件，並在低需求期間自動縮減。”——NBCUniversal 資料工程副總裁 Ludwig Kuznia
- 改進的運營靈活性：並行執行模型在響應業務需求方面提供了更大的敏捷性。在已知的高流量事件（例如重大內容釋出或頒獎典禮）期間，NBCUniversal 可以動態擴充套件作業叢集容量，而不影響其他工作負載，也不會浪費預先預留但利用不足的槽位。
- 統一分析能力：除了成本，遷移還解鎖了新能力。NBCUniversal 的資料工程團隊透過 MLflow 獲得了統一的 ML 操作，實現：
- 實驗跟蹤和模型版本管理 - 從訓練到生產的簡化 ML 生命週期 - 透過 Lakeflow Jobs 實現自動化工作流標準化
- 增強的資料文化：遷移催化了更廣泛的組織變革。透過簡化基礎設施管理和減少運營開銷，NBCUniversal 為資料工程和分析團隊之間創造了更敏捷、協作和資料驅動的文化。團隊可以專注於業務問題，而不是基礎設施限制。
- 分析師輕鬆入職：超過 300 名分析師順利遷移到 Databricks SQL，享受熟悉的 SQL 介面和現代 lakehouse 的強大功能，無需大量再培訓。