大型語言模型（LLM）正逐漸被應用於衝突監控領域，但其輸出中的系統性偏差可能對人道主義問責造成嚴重影響。一項最新研究對六種LLM在西非衝突事件分類中的表現進行了嚴格評估，發現當前模型遠未達到安全部署的標準。該研究由Hoffmann Muki和Olukunle Owolabi共同完成，論文發表於arXiv預印本平台。
研究團隊選取了四種開放權重模型（Gemma 3 4B、Llama 3.2 3B、Mistral 7B和OLMo 2 7B）以及兩種領域適應模型（AfroConfliBERT和AfroConfliLLAMA），針對尼日利亞和喀麥隆的衝突事件分類任務，以ACLED黃金標準數據集為基準進行測試。ACLED數據集經過多階段驗證，確保了評估的可靠性。
實驗結果揭示了顯著的偏差模式。開放權重模型表現出統計上顯著的“虛假非法化”偏見：例如，Gemma模型將18.29%的合法戰鬥誤分類為針對平民的暴力，但從未將非法行為誤判為合法。相比之下，領域適應模型在方向性上幾乎中立，其合法化偏差差異在統計上不顯著。然而，領域適應並未消除基於行動者的選擇偏見。在尼日利亞，兩種適應模型對政府行動者的合法化概率比非政府行動者高出36.5%，這一偏見與原始模型相當。
此外，開放權重模型的輸出對地理特定的詞彙框架極為敏感。使用去合法化短語進行擾動時，模型在喀麥隆的翻轉率高達66.7%，在尼日利亞為34.2%。錯誤追蹤分析顯示，模型通過不忠實的理由捏造掩蓋了規範性偏見。相比之下，AfroConfliBERT和AfroConfliLLAMA在面對各種擾動時表現出高度魯棒性，翻轉率接近零。
總體而言，當前模型尚不適合在衝突監控中無監督部署。研究建議進行公平性感知的微調以減少基於行動者的選擇偏見，強制進行對抗魯棒性評估以防禦詞彙操縱，並根據區域難度配置情境特定的人機協同監督。這項研究為LLM在人道主義應用中的可靠性提供了重要警示。