XGBoost擊敗LLM：在烏克蘭戰爭Telegram數據中識別平民傷害帖子
Bellingcat開發了一種基於XGBoost的機器學習模型，用於從Telegram海量帖子中高效篩選出涉及平民傷害的內容。與傳統方法相比，該模型將搜索時間大幅縮短，且性能優於Gemma、Gemini等大型語言模型。研究團隊通過特徵工程、關鍵詞分析和語義相似度計算，成功將人工核查的重點從搜索轉向驗證。該開源方法為衝突地區平民傷害監測提供了可複用的技術框架。
2026年6月25日，Bellingcat發佈了一項開創性研究，展示如何利用機器學習高效地從Telegram海量帖子中識別平民傷害事件。自2022年2月俄羅斯全面入侵烏克蘭以來，Bellingcat團隊已收集並地理定位了超過2500起平民傷害事件，而新開發的模型將這一過程的搜索時間大幅縮短。
研究團隊首先構建了一個包含5848條已驗證平民傷害帖子（正樣本）和48545條非傷害帖子（負樣本）的數據集。通過Telegram API獲取元數據，包括髮布時間、反應和文本內容。特徵工程階段，研究人員將領域知識轉化為數值特徵：烏克蘭語和俄語關鍵詞（如“Шахед”“КАБ”）計數、哭泣表情符號數量、語義相似度分數以及BERT嵌入向量。
在模型選擇上，團隊比較了邏輯迴歸、隨機森林、XGBoost和LightGBM。XGBoost在所有評估指標（PR-AUC、ROC-AUC、F1）上均表現最佳。模型解釋性分析顯示，語義相似度、BERT嵌入和哭泣表情符號是最強預測特徵。有趣的是，隨機森林模型則更依賴哭泣表情符號的數量。
作為對照，團隊還測試了Gemma 3（1B/4B）、Gemini 2.5 flash和Gemini 3.5 flash等大型語言模型。初步結果顯示，經過專門訓練的XGBoost在檢測平民傷害帖子方面全面勝出。儘管LLM在自然語言理解上表現優異，但針對特定任務的表格數據模型仍具有不可替代的優勢。
該研究強調，模型目前僅基於文本信息，未來可整合圖片和視頻內容進一步提升性能。Bellingcat已公開全部代碼和數據集，期望為蘇丹、中東等地區的平民傷害監測提供可複用的方法論。