世界银行集团如何利用Databricks通过共享知识消除贫困

世界银行集团的使命是提升全球共享繁荣，这依赖于将海量数据转化为可操作的洞察。其知识库中拥有数千万份文档，每月有300万次出版物下载，挑战在于大规模地让这些知识可查找、可用，以赋能团队产生更大的全球影响。

为了解决这一挑战，世界银行集团在Databricks上构建了一个统一的数据与人工智能平台，首次将结构化运营数据与非结构化文档库结合在一起，大大减少了手动研究工作，使决策更加明智。

过去，世界银行集团运营着结构化和非结构化两套数据流，从未整合。在结构化方面，传统的本地数据库难以跟上不断变化的报告要求；在非结构化方面，研究人员和分析师不得不手动搜索庞大的文档库来回答基本问题。这种知识瓶颈拖慢了决策速度，限制了组织从其全球项目组合中汲取经验教训的能力。

世界银行集团的数据与AI负责人苏雷什·考迪表示，Unity Catalog是他们团队的转折点：“Unity Catalog是我们游戏规则的改变者，它是一个统一的界面，我们可以对数据进行治理。”在此基础上，Databricks Volumes为管理非结构化文档内容提供了可扩展的路径，Genie使业务用户能够通过自然语言查询结构化数据而无需编写SQL或依赖技术团队，AI Gateway则集中控制代理访问、成本管理和安全性。

实施过程分阶段进行：团队首先将运营数据迁移到Databricks，并使用Unity Catalog建立治理，这为组织的企业记分卡奠定了基础。当早期Genie部署对结构化查询返回不一致结果时，团队实施了指标层以确保确定性答案。随后，团队利用Databricks Volumes和向量搜索索引项目文档，创建了检索增强生成能力，能够响应自然语言查询。

跨领域的问题需要查询多个Genie实例，因此世界银行集团构建了一个基于意图分类器、领域分类器和查询分解器的代理层。用户看到一个界面，但背后运行着多个领域特定的Genie代理、文档检索的RAG代理以及控制结果展示的可视化代理。

在广泛推广前，团队与包括非洲和东亚太平洋地区的非政府组织、公务员和政府代表在内的外部利益相关者进行了结构化反馈会议，了解他们的实际需求和问题。

该平台现在通过AI驱动的搜索和合成层每月支持300万次文档下载，其中一半流量来自低收入和中等收入国家。用户反馈原型在约两天半内构建并部署。企业记分卡已在Databricks平台上交付，分析师现在可以通过一次查询获取有价值的数据和上下文。世界银行集团正通过其旗舰项目Knowledge 360和Data 360整合这些能力，目标是让任何利益相关者都能获取世界银行集团、国际金融公司、国际开发协会和多边投资担保机构的知识。长期意义超越运营效率，旨在推动全球减贫。