世界銀行グループがDatabricksを使用して知識共有を通じて貧困撲滅を実現する方法

世界銀行グループの使命は、地球上の共有繁栄を向上させることです。その使命の達成は、膨大なデータを実用的な洞察に変えることに依存しています。数千万の文書が知識リポジトリにあり、毎月300万の出版物ダウンロードがある中で、知識を大規模に見つけやすく、使いやすくすることが課題であり、チームがより大きなグローバルインパクトを生み出すために不可欠です。

この課題を解決するため、世界銀行グループはDatabricks上に統一されたデータとAIプラットフォームを構築し、構造化された運用データと非構造化文書リポジトリを初めて統合し、手動調査の大幅な削減を実現しました。

以前は、世界銀行グループは構造化と非構造化の二つのデータストリームを運用しており、それらは統合されていませんでした。構造化面では、従来のオンプレミスデータベースが進化する報告要件に対応するのを難しくしていました。非構造化面では、研究者やアナリストは基本的な質問に答えるために膨大な文書ライブラリを手動で検索する必要がありました。この知識のボトルネックは意思決定を遅らせ、組織がグローバルポートフォリオ全体から学んだ教訓を引き出す能力を制限していました。

世界銀行グループのデータおよびAIリーダーであるスレッシュ・カウディ氏は、「Unity Catalogは私たちにとってゲームチェンジャーでした。それは単一の統一インターフェースであり、データをガバナンスできるようになりました」と述べています。そこから、Databricks Volumesは非構造化文書コンテンツを構造化データと一緒に管理するためのスケーラブルなパスを提供し、GenieはビジネスユーザーがSQLを書いたり技術チームに依存したりすることなく構造化データに対して自然言語で質問できるようにしました。AI Gatewayは、システムが複雑になるにつれてエージェントアクセス、コスト管理、セキュリティを集中制御しました。

実装は段階的に進みました。チームはまず運用データをDatabricksに移行し、Unity Catalogを使用して構造化コンテンツ全体にガバナンスを確立しました。これにより、組織のコーポレートスコアカードの基盤が築かれました。初期のGenie展開で構造化クエリの結果に一貫性がない場合、チームは決定論的な回答を保証するためのメトリクスレイヤーを実装しました。その後、チームはDatabricks Volumesとベクトル検索を使用してプロジェクト文書をインデックス化し、自然言語クエリに応答できる検索拡張生成機能を作成しました。

複数のドメインにまたがる質問を処理するために、世界銀行グループはインテント分類器、ドメイン分類器、クエリ分解器を備えたエージェント層を構築しました。ユーザーは単一のインターフェースを見ますが、その背後では複数のドメイン固有のGenieエージェント、文書検索用のRAGエージェント、結果の表示を制御するビジュアライゼーションエージェントが動作します。

システムを広く展開する前に、チームはアフリカや東アジア太平洋地域のNGO、公務員、政府代表を含む外部ステークホルダーとの構造化フィードバックセッションを実施し、ユーザーが実際にどのような質問をしているかを理解しました。

このプラットフォームは現在、AIを活用した検索と合成レイヤーを通じて毎月300万の文書ダウンロードをサポートしており、そのトラフィックの半分は低・中所得国からのものです。ユーザーフィードバックプロトタイプは約2.5日で構築およびデプロイされました。コーポレートスコアカードはDatabricksプラットフォーム上で提供され、アナリストは単一のクエリで価値あるデータとコンテキストを取得できるようになりました。世界銀行グループは、これらの取り組みを旗艦プロジェクトであるKnowledge 360とData 360に統合し、世界銀行グループ、IFC、IDA、MIGAの知識を、生成元の機関に関係なくすべてのステークホルダーがアクセスできるようにすることを目指しています。長期的な意義は運用効率を超え、データを活用した貧困撲滅の推進にあります。