XGBoostがLLMを破る：ウクライナ戦争のTelegramデータから市民被害投稿を発見
Bellingcatは、Telegramの膨大な投稿から市民被害を効率的に特定するXGBoostベースの機械学習モデルを開発した。手動検索と比較して時間を大幅に短縮し、GemmaやGeminiなどの大規模言語モデルよりも優れた性能を示した。特徴量エンジニアリング（キーワード、感情反応、意味的類似度）とBERT埋め込みにより精度を向上。コードと手法はオープンソース化され、スーダンや中東などの紛争地帯に応用可能。
2026年6月25日、Bellingcatは機械学習を用いてTelegramの投稿から市民被害を効率的に特定する手法を発表した。2022年2月のロシアによるウクライナ全面侵攻以降、Bellingcatは2500件以上の市民被害インシデントを収集・地理特定してきたが、新たなモデルにより検索時間が大幅に短縮された。
研究チームはまず、検証済みの市民被害投稿5848件（ポジティブサンプル）と非被害投稿48545件（ネガティブサンプル）からなるデータセットを構築。Telegram APIから公開時間、リアクション、テキスト内容などのメタデータを取得した。特徴量エンジニアリングでは、ウクライナ語とロシア語のキーワード（「Шахед」「КАБ」など）の出現頻度、泣き顔絵文字の数、意味的類似度スコア、BERT埋め込みベクトルを生成した。
モデル選定では、ロジスティック回帰、ランダムフォレスト、XGBoost、LightGBMを比較。XGBoostがPR-AUC、ROC-AUC、F1の全指標で最高スコアを記録した。モデル解釈分析では、意味的類似度、BERT埋め込み、泣き顔絵文字が最も重要な予測因子であることが判明。ランダムフォレストモデルでは泣き顔絵文字の数が最も重要な特徴となった。
対照実験として、Gemma 3（1B/4B）、Gemini 2.5 flash、Gemini 3.5 flashなどの大規模言語モデルもテスト。結果は、専門的に訓練されたXGBoostが市民被害投稿の検出においてLLMを凌駕した。LLMは自然言語理解に優れるものの、特定タスクにおいては表形式データ向けモデルの優位性が示された。
本研究は現時点でテキスト情報のみに依存しているが、将来的には画像や動画を統合することでさらなる性能向上が見込まれる。Bellingcatは全コードとデータセットを公開しており、スーダンや中東などの紛争地域における市民被害監視への応用を期待している。