跳到主要內容
AI News HubLIVE
站內改寫3 分鐘閱讀

解鎖檔案館:將非結構化文件轉化為可搜尋的地下水發現資料庫

文章摘要

MapAid與Databricks for Good合作,利用多模態AI對近700份蘇丹水文地質掃描文件進行分類和編目,構建了一個可搜尋的資料庫,使研究人員能快速定位歷史資料,支撐地下水預測模型,提高鑽井成功率。

解鎖檔案館:將非結構化文件轉化為可搜尋的地下水發現資料庫
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

在蘇丹,社群依賴地下水進行飲用、灌溉和生存,但鑽井的成功率並不高。複雜的地質條件、多變的含水層以及昂貴的鑽井費用使得獲取地下水成為一項挑戰。數十年的地質調查和現場報告中包含改善鑽井結果所需的資料,但這些資訊分散在檔案館中,從未被系統化整理,導致需要這些資料的人無法有效獲取。

MapAid是一家由斯坦福大學創立的非營利組織,其使命是透過AI增強的地圖技術,幫助人道主義和發展機構(主要在非洲)做出資料驅動的決策。他們的旗艦工具WellMapr應用利用AI和地理空間資料識別淺層地下水區域,指導低成本鑽井,為小農戶提供飲用水和灌溉水源。該模型的關鍵輸入是歷史井、鑽孔和含水層地質資料。

蘇丹知識檔案協會(SUDAAK)擁有最豐富的資料集之一:近700份掃描的PDF、TIFF和JPG檔案,總計超過5000頁的地質調查、鑽井報告和實地研究,可在wossac.com上公開獲取。然而,可獲取並不等同於可訪問。研究人員若需查詢蘇丹特定區域的鑽孔資料,必須手動翻閱數百份文件。資料雖已數字化,但因缺乏檢索系統,仍然未被充分利用。

Databricks與MapAid合作,構建了一個AI驅動的管道,對檔案中的每份文件進行分類、新增地理和主題後設資料,並從水相關文件中提取結構化的井和鑽孔記錄。該系統完全在Databricks上執行,並打包為單命令部署。技術方法的核心是將問題重構為視覺理解:將掃描頁面影像直接傳送給多模態AI模型,由其直觀地解讀內容。

管道的智慧取樣策略降低了處理成本:較短的文件全部分析,較長的文件則從最資訊豐富的部分(標題頁、引言和結論)取樣。這使AI處理量減少了70%以上,同時保持了分類質量。每個取樣頁面透過Databricks AI Functions(ai_query)進行分析,該函式原生支援多模態輸入和結構化JSON輸出。模型檢查每個頁面影像並返回杜威十進位制分類程式碼、引用的蘇丹地理位置以及指示頁面是否包含井、鑽孔或含水層資料的水相關標誌。

對於每個水相關文件,管道處理所有頁面,使用透過Foundation Model API提供的多模態模型逐頁執行OCR,該模型處理英語、阿拉伯語以及複雜佈局,包括手寫現場筆記、表格資料和混合格式頁面。OCR期間,系統還應用實體識別方法,將井和鑽孔識別符號作為錨點實體,使得跨頁面的記錄可以連結回單個站點。所有頁面的提取文本合併成一個統一的文件表示,然後進行第二次處理,提取結構化記錄,包括站點名稱、GPS座標、鑽井深度、靜水位和抽水測試產量。

自動質量評估作為管道的一流階段,使用單獨的AI模型對每個分類進行評分,評分標準涵蓋準確性、完整性和一致性。評估結果提供分類評級(優秀、良好、一般或差)和書面理由,為管道的每個決策建立可審計的追蹤。評分低於置信閾值的文件標記為人工稽核,僅有一小部分分類需要人工關注。

該專案利用Databricks的統一平臺:原始檔案檔案儲存在Unity Catalog Volumes中,所有管道輸出寫入具有ACID可靠性、模式演化和完整資料譜系的Delta Lake表。管道作為Lakeflow Job在無伺服器計算上編排,MapAid只需按執行消耗付費。整個系統打包為Databricks Asset Bundle,可透過單一命令部署、更新和執行。由於管道邏輯與處理的具體檔案解耦,同一系統可適應其他水檔案、地區或需要分類和檢索大量掃描文件的領域。

在首次完整執行中,管道對654份文件和5570頁進行了分類,耗時不到三小時,95%的分類被評為“優秀”或“良好”,約50%的檔案被識別為包含水相關資料,並提取了299條結構化的井和鑽孔記錄,包括位置名稱、深度和產量測量值。管道將原本需要領域專家數週或數月的工作縮短為幾小時。現在,檔案可按分類、地理位置或水資料的存在進行搜尋。提取的每條記錄直接輸入MapAid的地下水預測,支援更高的鑽井成功率和更快地向社群供水。

隨著SUDAAK繼續數字化新文件,管道可透過單一命令處理每批新資料,確保目錄隨檔案增長而保持最新。MapAid的工作範圍覆蓋東非,包括衣索比亞和馬拉維,類似未分類的檔案遍佈非洲大陸。該方法和基礎設施已準備好擴充套件。MapAid執行長Rupert Douglas-Bate表示,與Databricks for Good的合作極大地加速了他們的使命,將雜亂的歷史資料轉化為結構化系統,助力WellMapr演算法的發展。

展開要點與分析

文章情報

工程師進階

要點

  • 透過多模態AI和Databricks平臺,將700份掃描文件(超過5000頁)分類並提取水相關資料。
  • 智慧取樣策略減少70%以上處理成本,自動質量評估確保95%分類達到優秀或良好。
  • 提取299條結構化井和鑽孔記錄,直接輸入MapAid的WellMapr模型,提升鑽井成功率。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。