DisasterTD：マルチモーダル大規模言語モデルとクロスビュー地理位置推定を用いた災害地名曖昧性解消
ソーシャルメディア画像のテキストには曖昧な地理的参照が含まれることが多く、正確な地理位置推定が困難です。本研究では、マルチモーダル大規模言語モデル（MLLM）の意味推論とクロスビュー地理位置推定を統合したDisasterTDフレームワークを提案します。まずMLLMが地名を抽出し候補位置を生成し、次にソーシャルメディア画像、リモートセンシング画像、ストリートビュー画像間のクロスビューマッチングで検証・洗練します。ハリケーン・ハーベイデータセットでの評価では、50m以内の精度47.01%を達成し、ベースラインを大幅に上回りました。
災害時の緊急対応において、ソーシャルメディア画像（SMI）はタイムリーで詳細な地上視点を提供し、状況認識や緊急対応に有用です。しかし、ソーシャルメディアのテキストに含まれる地理的参照は曖昧であることが多く、正確な地理位置推定が課題となっています。この問題に対処するため、研究者らはDisasterTDフレームワークを提案しました。これは、マルチモーダル大規模言語モデル（MLLM）による意味推論とクロスビュー地理位置推定を統合した災害地名曖昧性解消手法です。
このフレームワークはまず、MLLMを用いてノイズの多いテキスト入力から地名を抽出し、候補となる地理位置を生成します。次に、ソーシャルメディア画像（SMI）、リモートセンシング画像（RSI）、およびオプションのストリートビュー画像（SVI）間のクロスビューマッチングを用いて、これらの候補結果を検証し、洗練します。研究チームはハリケーン・ハーベイデータセットを用いてDisasterTDを評価しました。このデータセットは、収集したRSIとSVIでSMIを拡張し、災害地理位置推定のためのクロスビューベンチマークを構築しています。データセットは地名の明瞭さと曖昧さに基づいて4つのカテゴリに分割され、シナリオごとの詳細な性能分析が可能です。
実験結果は、DisasterTDが曖昧性解消を行わないMLLMのみ、またはクロスビューのみのベースラインを一貫して上回ることを示しています。地理位置推定の精度は、1000m以内で71.62%、500m以内で62.36%、250m以内で57.99%、100m以内で52.09%、50m以内で47.01%を達成し、平均誤差と中央誤差はそれぞれ11.33kmと0.68kmに低減されました。最大の改善は曖昧な地名で見られ、意味推論とクロスビュー証拠の組み合わせが候補の分散と誤差を低減しました。これらの知見は、MLLMベースの候補生成とクロスビュー検証の統合が、細粒度の災害地理位置推定に有効であることを示しています。
さらに、DisasterTDフレームワークは実用的な価値があります。緊急対応担当者は、ソーシャルメディアで言及された被災地を迅速かつ正確に特定し、救援リソースを効果的に配分することができます。クロスビューマッチング機構は、異なる視点の画像の利点を活用します。ソーシャルメディア画像は地上の詳細を、リモートセンシング画像は全体像を、ストリートビュー画像は地上の参照を提供し、三者が補完し合って位置特定の信頼性を高めます。今後、このフレームワークは他の災害タイプや地理的領域に拡張され、その一般化能力がさらに検証されることが期待されます。