別再構建資料產品,開始構建資料服務
隨著企業透過收購快速擴張以及AI代理消費模式的興起,傳統的資料產品模式變得笨重。Howden集團首席資料官Barry Panayi主張轉向資料服務層,將資料治理和質量檢查左移,減少洞察延遲,並採用統一的資料模型和會話式分析,以應對更快的業務節奏。
傳統企業資料策略假設了一個穩定的節奏:設計策略、構建平臺、按序接入資料來源、為每個主要用例構建產品。然而,這種策略在快速收購、構建基於代理的工作流以及高速吸收新資料來源的公司中正面臨嚴峻考驗。Howden集團首席資料官Barry Panayi指出,為較慢時代設計的架構、分類法和運營模式會積極阻礙更快的業務節奏。
Howden是一家全球保險經紀、承保和再保險公司,業務覆蓋50多個國家,擁有25,000名員工。五年前,公司只有10,000人;去年,它每週收購超過一家企業。Howden在Databricks上執行其企業資料平臺,將超過100個記錄源整合到統一架構中,支援從監管報告到透過Databricks Genie進行的會話式分析。
Panayi認為,產品模式變得笨重,而服務層能夠擴充套件。他解釋說:“如果你將資料層視為一組開放、受治理的服務,它會更能適應AI未來的需求。我們將向代理提供資料,代理在業務中傳輸資料,這需要不同的設計思維。你無法預先定義每個用例,因為消費者不再只是儀表盤和分析師。代理會以你未預期的方式組合資料。服務層假設了這種靈活性,而產品目錄則不能。”
收購的快速步伐迫使Howden進行了架構變革。Panayi加入時,公司大約有80個資料來源,每次收購後的資料整合需要約六個月。為了加速,他們將資料治理和質量檢查左移到儘可能接近攝入階段,使資料更快可用。Panayi強調,僅需讓資料可視,甚至不需要完全攝入和治理,就能解鎖許多業務機會。
為了應對多個正確版本的資料點,Howden構建了標準資料模型(Accord資料模型),將邏輯編碼,確保對賬是內建的,而不是依賴人工捕捉。Panayi指出:“如果分類法沒有編碼,你的團隊就會成為對賬引擎。每次報告週期都要付出代價,且成本會隨業務增長而不利地擴大。”
在AI方面,Howden從探索階段轉向標準化管道、共享程式碼和可複用資料資產,使得跨領域分析成為可能。Panayi坦承,將模型生產化為一致服務的差距仍然存在,但向可擴充套件能力的過渡是真實的。
Panayi強調的關鍵指標是“洞察延遲”——資料在公司中存在到某人實際可用之間的差距。對於Howden的經紀業務,這意味著在經紀人與客戶會面前提供最新洞察。以前,報告是緩慢的批處理驅動,資料雖然正確但已過時。現在,經紀人可以基於當前資料提供基準和公司觀點,將資料轉化為智慧財產權。
會話式分析(如Databricks Genie)的引入進一步加速了洞察獲取。Panayi指出,Genie不僅提供即時的問答,還釋放了分析師的時間——避免構建那些只使用一次就被遺忘的儀表盤。Howden的“Howden Intelligence Layer”概念將問題分類到正確的服務,使用者無需關心資料來源。
最後,Panayi建議C級領導者在擴充套件資料和AI時“先慢後快”,從一開始就設計好架構,儘早引入流程和代理工作負責人,並開始思考資料服務而非僅資料產品。他總結道:“設計服務於你將朝向的節奏,而非你目前的節奏。”