使用Spark实时模式与Lakebase构建实时欺诈检测

传统的欺诈检测系统面临着滞后的检测问题，它们要么依赖缓慢的批量处理，要么依赖繁琐且生搬硬套的流式处理引擎，无法实时阻止威胁。为了应对这一挑战，Databricks推出了Spark实时模式（Real-Time Mode，简称RTM）和Lakebase，使数据团队能够轻松构建并自动化端到端的欺诈检测工作流：处理高吞吐量数据流、执行低延迟的机器学习模型，并提供可解释的欺诈评分——所有这些都在一个统一的平台上完成，无需外部基础设施。组织可以实现对欺诈交易的亚秒级干预，减少运营复杂性，同时保护收入和维护客户信任。

信用卡欺诈在几秒钟内就能发生。一张被盗的信用卡号可以在几分钟内被用于数十笔购买，一旦交易结算，追回资金就变得极其困难。根据Nilson Report的数据，金融机构每年因欺诈性信用卡交易损失约330亿美元，而且随着数字交易量的加速增长，这一数字只会继续上升。挑战不在于检测欺诈——大多数组织已经拥有有效的欺诈模型和精心调整的规则——而在于足够快速地检测，以在交易结算之前（在授权与结算之间的亚秒级窗口内）阻止可疑交易，且无需增加一个独立的、专门化的流式引擎，以免增加运营复杂性。

在这篇博客中，我们介绍了一个新的解决方案加速器：一个开源的参考实现，您可以克隆并直接部署到您的Databricks环境中。它演示了如何构建一个完整的端到端欺诈检测系统，从原始交易摄入和实时机器学习评分，到使用Databricks Apps构建的实时监控仪表板，全部在Databricks平台上完成。其核心是两项技术：用于Apache Spark结构化流处理的实时模式（RTM），可在Databricks上实现低于300毫秒的流处理；以及Lakebase，一个完全托管、无服务器的Postgres数据库，内置于Databricks平台。

速度与简洁性：实时欺诈检测的权衡

欺诈检测处于两个相互冲突的需求之间。一方面，速度至关重要：一笔欺诈交易必须在数百毫秒内被识别并阻止。另一方面，简洁性也不可或缺：数据团队希望在一个单一平台上构建、训练和部署欺诈模型，拥有统一治理、共享数据和一套工具，而不希望为了“最后一英里”的实时评分而维护一个独立的流式栈。直到现在，团队不得不做出选择。使用RTM，这种权衡不再必要。

RTM：亚秒级处理，无需多系统运维负担

RTM是Spark结构化流处理引擎的演进，可为延迟敏感的运营应用（如特征工程）提供亚秒级数据处理。在速度方面，RTM在毫秒级处理事件，在无状态转换、基于连接的增强和聚合工作负载上比Apache Flink快92%。Coinbase等客户已使用RTM计算超过250个机器学习特征，并实现了低于100毫秒的P99处理延迟。在简洁性方面，RTM存在于您已经运行的Spark引擎内部，而非其旁边。因此，您立即受益于：无逻辑漂移（相同代码用于离线训练和实时评分）、单一运营面（Spark UI、监控、告警等工具统一适用）、以及在成本与数据新鲜度之间的灵活切换。

构建实时欺诈检测的四个步骤

该加速器包含四个渐进阶段，每个阶段建立在前一个基础上。

第一步：即刻体验实时模式 快速入门笔记本让您的团队在不到五分钟内体验实时模式，验证核心延迟基准测试和平台适配性。它使用Spark内置的rate source生成合成交易，应用欺诈评分逻辑，并实时显示结果。

第二步：构建欺诈检测管道 生产级欺诈检测管道从Kafka接收交易，经过解析、速度跟踪（使用transformWithState维护每卡状态）、特征增强（从商户风险档案和持卡人数据中查找）、评分（结合五个加权欺诈信号：速度、地理异常、金额偏差、商户类别风险和国别风险）和路由（最终决策：批准、标记审核或阻止）五个阶段。端到端延迟测试显示P50低于40毫秒，P99在215-392毫秒之间。

第三步：升级到机器学习 高级笔记本将逻辑升级为有监督的机器学习模型，引入Lakebase作为在线服务层（将特征持续流式写入Lakebase表，提供亚毫秒级读取）和MLflow用于模型训练与实验跟踪。随机森林分类器学习信号之间的非线性关系，并随时间改进。

第四步：实时监控一切 加速器包括一个基于Streamlit的Databricks Apps，直接从Lakebase读取数据，提供实时欺诈监控仪表板，显示总评分交易数、决策分布、最新欺诈评分及概率分布，每10秒自动刷新。