スーダンのコミュニティは飲料水、灌漑、生存のために地下水に依存していますが、生産的な井戸を掘ることは決して簡単ではありません。地質は複雑で、帯水層は多様であり、失敗したボーリング孔は数千ドルのコストがかかります。数十年にわたる地質調査や現場報告書には成果を改善するためのデータが含まれていますが、この情報はアーカイブに散在し、体系的に整理されたことがないため、最も必要とする人々には見えていません。
MapAidはスタンフォード大学で設立された非営利団体で、主にアフリカにおける人道支援と開発関係者がAI強化マッピングを通じてデータ駆動型の意思決定を行えるようにすることを使命としています。主力ツールであるWellMaprアプリは、AIと地理空間データを使用して浅い地下水ゾーンを特定し、小規模農家の飲料水と灌漑のための低コスト掘削をガイドします。これらのモデルへの重要な入力は、井戸、ボーリング孔、帯水層の地質に関する歴史的データです。
スーダン知識アーカイブ協会（SUDAAK）は、このデータの最も豊富なコレクションの1つを維持しています。約700点のスキャンPDF、TIFF、JPGファイルで、合計5,000ページ以上の地質調査、井戸掘削報告書、現地調査がwossac.comで公開されています。しかし、利用可能であることとアクセス可能であることは同じではありません。スーダンの特定の地域のボーリングデータを探している研究者は、数百もの文書を手動で調べる必要があります。データはデジタル化されていましたが、検索システムがないため、未活用のままでした。
DatabricksはMapAidと協力して、AI駆動のパイプラインを構築しました。このパイプラインはアーカイブ内のすべての文書を分類し、地理的および主題のメタデータをタグ付けし、水関連文書から構造化された井戸およびボーリング記録を抽出します。システムは完全にDatabricks上で動作し、単一コマンドでデプロイできるようにパッケージ化されています。技術的なアプローチの核心は、問題を視覚的理解として再構成することです。スキャンされたページ画像をマルチモーダルAIモデルに直接送信し、内容を視覚的に解釈させます。
パイプラインのインテリジェントなサンプリング戦略により、処理コストが削減されます。短い文書は全文分析され、長い文書は最も情報量の多いセクション（タイトルページ、序論、結論）からサンプリングされます。これにより、AI処理量が70％以上削減され、分類品質が維持されました。各サンプルページはDatabricks AI Functions（ai_query）を使用して分析されます。この関数はマルチモーダル入力と構造化JSON出力をネイティブにサポートしています。モデルは各ページ画像を調べ、デューイ十進分類コード、引用されたスーダンの地理、およびページに井戸、ボーリング孔、または帯水層データが含まれているかどうかを示す水関連フラグを返します。
水関連文書ごとに、パイプラインはサンプリングサブセットだけでなくすべてのページを処理します。Foundation Model APIを通じて提供されるマルチモーダルモデルを使用してページごとにOCRが実行され、英語、アラビア語、および手書きのフィールドノート、表形式データ、混合フォーマットページを含む複雑なレイアウトを処理します。OCR中に、システムはエンティティ認識アプローチも適用し、井戸およびボーリング識別子をアンカーエンティティとして特定し、複数ページにわたる記録を単一のサイトにリンクできるようにします。すべてのページからの抽出テキストは統合された文書表現にマージされ、その後2回目のパスで処理され、サイト名、GPS座標、掘削深度、静水位、ポンプテスト収量をキャプチャした構造化記録がJSON形式で抽出されます。
自動品質評価はパイプラインの第一級のステージとして組み込まれています。別のAIモデルがAI Functionsを介して呼び出され、審査員として機能し、精度、完全性、一貫性をカバーする構造化されたルーブリックで各分類をスコアリングします。評価では、分類の評価（優秀、良好、普通、または不良）とスコアの根拠を説明する書面による正当性の両方が生成され、パイプラインが行うすべての決定に対して監査可能なトレイルが作成されます。信頼度しきい値を下回る文書は手動レビュー用にフラグが立てられ、限られた人間の労力を最も重要なケースに振り向けます。
このプロジェクトは、データとAIスタックのすべてのレイヤーに触れています。ファイルストレージ、データエンジニアリング、AI推論、構造化出力解析、品質評価、ガバナンスです。Databricksはこれらすべてを単一のワークスペース内で提供しました。生のアーカイブファイルはUnity Catalog Volumesに保存され、すべてのパイプライン出力はACID信頼性、スキーマ進化、完全なデータリネージを持つDelta Lakeテーブルに書き込まれます。パイプラインはサーバーレスコンピュート上のLakeflow Jobとしてオーケストレーションされており、MapAidは実行ごとに消費した分だけ支払います。
システム全体はDatabricks Asset Bundleとしてパッケージ化されており、単一のコマンドでデプロイ、更新、実行できます。パイプラインロジックは処理する特定のアーカイブから切り離されているため、同じシステムを他の水アーカイブ、地域、または大量のスキャン文書を分類して検索可能にする必要がある他のドメインに適応できます。
初回の完全実行で、パイプラインは654の文書と5,570ページを分類し、3時間未満で完了し、分類の95%が自動評価者によって「優秀」または「良好」と評価され、アーカイブの約50%が水関連データを含むと識別され、299の構造化された井戸およびボーリング記録が抽出されました。これにより、専門家が数週間から数ヶ月かかる作業が数時間に短縮されました。アーカイブは、分類、地理、または水データの存在によって検索できるようになりました。座標と深度データを持つ抽出された記録はすべてMapAidの地下水予測に直接供給され、掘削成功率の向上と、困っているコミュニティへの迅速な水供給を支援します。
SUDAAKが新しい文書のデジタル化を続けるにつれて、パイプラインは各新しいバッチを単一のコマンドで処理でき、アーカイブが成長するにつれてカタログを最新の状態に保つことができます。MapAidの活動はエチオピアやマラウイを含む東アフリカに及び、同様の未分類のアーカイブが大陸全体に存在します。この方法論とインフラは拡大する準備ができています。MapAidのCEOであるRupert Douglas-Bate氏は、Databricks for Goodとの協力が彼らの使命を大幅に加速させ、歴史的な水・土壌データの乱雑なアーカイブを構造化システムに変換し、WellMaprアルゴリズムの開発を支援したと述べています。