従来の不正検知システムは、検知の遅れに悩まされていました。バッチ処理の遅さや、複雑で無理やり導入されたストリーミングエンジンに依存しており、リアルタイムでの脅威阻止ができませんでした。この課題に対処するため、DatabricksはSparkリアルタイムモード（RTM）とLakebaseを導入しました。これにより、データチームは高スループットのデータストリーム処理、低レイテンシのMLモデル実行、説明可能な不正スコアの提供を、すべて単一のプラットフォーム上で簡単に自動化できるようになり、外部インフラは不要です。組織は不正取引に対するサブ秒での介入を実現し、運用の複雑さを軽減しながら収益を保護し、顧客の信頼を維持できます。
クレジットカード詐欺は数秒で発生します。盗まれたカード番号は数分で数十件の購入に悪用され、取引が決済されると資金回収は飛躍的に困難になります。Nilson Reportによると、金融機関は不正なカード取引により年間約330億ドルの損失を被っており、デジタル取引量の加速に伴い、この数字はさらに増加すると予想されています。課題は不正を検出することではなく、取引が決済される前の認証と決済の間のサブ秒のウィンドウ内で十分に迅速に検出し、かつ別の専用ストリーミングエンジンを追加して運用の複雑さを倍増させないことです。
このブログでは、新しいソリューションアクセラレーターを紹介します。これはオープンソースのリファレンス実装であり、Databricks環境にクローンして直接デプロイできます。生のトランザクション取り込み、リアルタイムMLスコアリング、Databricks Appsで構築されたライブ監視ダッシュボードまで、完全なエンドツーエンドの不正検知システムをDatabricksプラットフォーム上に構築する方法を示しています。中核となるのは2つのテクノロジーです。Sparkストラクチャードストリーミング用のリアルタイムモード（RTM）は300ms未満のストリーム処理を実現し、LakebaseはDatabricksプラットフォームに組み込まれたフルマネージドのサーバーレスPostgresデータベースです。
スピードとシンプルさ：リアルタイム不正検知のトレードオフ
不正検知は、相反する2つの要求の交差点にあります。一方にはスピードがあります。不正取引は決済前に数百ミリ秒以内に識別してブロックする必要があります。もう一方にはシンプルさがあります。データチームは単一のプラットフォーム上で不正モデルを構築、トレーニング、デプロイしたいと考えています。これまではチームは選択を強いられていましたが、RTMの導入によりそのトレードオフは不要になりました。
RTM：複数システムの運用オーバーヘッドなしのサブ秒処理
RTMはSparkストラクチャードストリーミングエンジンの進化版であり、特徴量エンジニアリングなどのレイテンシに敏感な運用アプリケーション向けにサブ秒のデータ処理を可能にします。スピード面では、RTMはイベントをミリ秒単位で処理し、ステートレス変換、結合ベースのエンリッチメント、集計ワークロードでApache Flinkより最大92%高速です。Coinbaseなどのお客様は、RTMを使用して250以上のML特徴量を計算し、P99処理レイテンシ100ms未満を達成しています。シンプルさの面では、RTMは既存のSparkエンジンの内部で動作するため、ロジックのずれがなく、単一の運用サーフェスを提供し、コストと鮮度の柔軟なトレードオフが可能です。
4つのステップでリアルタイム不正検知を構築
アクセラレーターは4つの段階を経ます。ステップ1：クイックスタートでRTMを体験。5分以内にコアレイテンシベンチマークを検証。ステップ2：本番グレードの不正検知パイプラインを構築。Kafkaからの取引を解析、速度追跡、エンリッチメント、スコアリング、ルーティングの5段階で処理。エンドツーエンドのレイテンシはP50で40ms未満、P99で215～392ms。ステップ3：機械学習にアップグレード。Lakebaseをオンラインサービング層として使用し、MLflowでモデルを管理。ランダムフォレスト分類器が非線形関係を学習。ステップ4：リアルタイム監視。StreamlitベースのDatabricks AppsがLakebaseから読み取り、10秒ごとに自動更新されるダッシュボードを提供します。