世界銀行集團如何利用Databricks透過共享知識消除貧困

世界銀行集團的使命是提升全球共享繁榮，這依賴於將海量資料轉化為可操作的洞察。其知識庫中擁有數千萬份文件，每月有300萬次出版物下載，挑戰在於大規模地讓這些知識可查詢、可用，以賦能團隊產生更大的全球影響。

為了解決這一挑戰，世界銀行集團在Databricks上構建了一個統一的資料與人工智慧平臺，首次將結構化運營資料與非結構化文件庫結合在一起，大大減少了手動研究工作，使決策更加明智。

過去，世界銀行集團運營著結構化和非結構化兩套資料流，從未整合。在結構化方面，傳統的本地資料庫難以跟上不斷變化的報告要求；在非結構化方面，研究人員和分析師不得不手動搜尋龐大的文件庫來回答基本問題。這種知識瓶頸拖慢了決策速度，限制了組織從其全球專案組合中汲取經驗教訓的能力。

世界銀行集團的資料與AI負責人蘇雷什·考迪表示，Unity Catalog是他們團隊的轉折點：“Unity Catalog是我們遊戲規則的改變者，它是一個統一的介面，我們可以對資料進行治理。”在此基礎上，Databricks Volumes為管理非結構化文件內容提供了可擴充套件的路徑，Genie使業務使用者能夠透過自然語言查詢結構化資料而無需編寫SQL或依賴技術團隊，AI Gateway則集中控制代理訪問、成本管理和安全性。

實施過程分階段進行：團隊首先將運營資料遷移到Databricks，並使用Unity Catalog建立治理，這為組織的企業記分卡奠定了基礎。當早期Genie部署對結構化查詢返回不一致結果時，團隊實施了指標層以確保確定性答案。隨後，團隊利用Databricks Volumes和向量搜尋索引專案文件，建立了檢索增強生成能力，能夠響應自然語言查詢。

跨領域的問題需要查詢多個Genie例項，因此世界銀行集團構建了一個基於意圖分類器、領域分類器和查詢分解器的代理層。使用者看到一個介面，但背後執行著多個領域特定的Genie代理、文件檢索的RAG代理以及控制結果展示的視覺化代理。

在廣泛推廣前，團隊與包括非洲和東亞太平洋地區的非政府組織、公務員和政府代表在內的外部利益相關者進行了結構化反饋會議，瞭解他們的實際需求和問題。

該平臺現在透過AI驅動的搜尋和合成層每月支援300萬次文件下載，其中一半流量來自低收入和中等收入國家。使用者反饋原型在約兩天半內構建並部署。企業記分卡已在Databricks平臺上交付，分析師現在可以透過一次查詢獲取有價值的資料和上下文。世界銀行集團正透過其旗艦專案Knowledge 360和Data 360整合這些能力，目標是讓任何利益相關者都能獲取世界銀行集團、國際金融公司、國際開發協會和多邊投資擔保機構的知識。長期意義超越運營效率，旨在推動全球減貧。