别再构建数据产品,开始构建数据服务
随着企业通过收购快速扩张以及AI代理消费模式的兴起,传统的数据产品模式变得笨重。Howden集团首席数据官Barry Panayi主张转向数据服务层,将数据治理和质量检查左移,减少洞察延迟,并采用统一的数据模型和会话式分析,以应对更快的业务节奏。
传统企业数据策略假设了一个稳定的节奏:设计策略、构建平台、按序接入数据源、为每个主要用例构建产品。然而,这种策略在快速收购、构建基于代理的工作流以及高速吸收新数据源的公司中正面临严峻考验。Howden集团首席数据官Barry Panayi指出,为较慢时代设计的架构、分类法和运营模式会积极阻碍更快的业务节奏。
Howden是一家全球保险经纪、承保和再保险公司,业务覆盖50多个国家,拥有25,000名员工。五年前,公司只有10,000人;去年,它每周收购超过一家企业。Howden在Databricks上运行其企业数据平台,将超过100个记录源整合到统一架构中,支持从监管报告到通过Databricks Genie进行的会话式分析。
Panayi认为,产品模式变得笨重,而服务层能够扩展。他解释说:“如果你将数据层视为一组开放、受治理的服务,它会更能适应AI未来的需求。我们将向代理提供数据,代理在业务中传输数据,这需要不同的设计思维。你无法预先定义每个用例,因为消费者不再只是仪表盘和分析师。代理会以你未预期的方式组合数据。服务层假设了这种灵活性,而产品目录则不能。”
收购的快速步伐迫使Howden进行了架构变革。Panayi加入时,公司大约有80个数据源,每次收购后的数据集成需要约六个月。为了加速,他们将数据治理和质量检查左移到尽可能接近摄入阶段,使数据更快可用。Panayi强调,仅需让数据可视,甚至不需要完全摄入和治理,就能解锁许多业务机会。
为了应对多个正确版本的数据点,Howden构建了标准数据模型(Accord数据模型),将逻辑编码,确保对账是内置的,而不是依赖人工捕捉。Panayi指出:“如果分类法没有编码,你的团队就会成为对账引擎。每次报告周期都要付出代价,且成本会随业务增长而不利地扩大。”
在AI方面,Howden从探索阶段转向标准化管道、共享代码和可复用数据资产,使得跨领域分析成为可能。Panayi坦承,将模型生产化为一致服务的差距仍然存在,但向可扩展能力的过渡是真实的。
Panayi强调的关键指标是“洞察延迟”——数据在公司中存在到某人实际可用之间的差距。对于Howden的经纪业务,这意味着在经纪人与客户会面前提供最新洞察。以前,报告是缓慢的批处理驱动,数据虽然正确但已过时。现在,经纪人可以基于当前数据提供基准和公司观点,将数据转化为知识产权。
会话式分析(如Databricks Genie)的引入进一步加速了洞察获取。Panayi指出,Genie不仅提供即时的问答,还释放了分析师的时间——避免构建那些只使用一次就被遗忘的仪表盘。Howden的“Howden Intelligence Layer”概念将问题分类到正确的服务,用户无需关心数据来源。
最后,Panayi建议C级领导者在扩展数据和AI时“先慢后快”,从一开始就设计好架构,尽早引入流程和代理工作负责人,并开始思考数据服务而非仅数据产品。他总结道:“设计服务于你将朝向的节奏,而非你目前的节奏。”