大規模言語モデル（LLM）は紛争監視の分野に応用されつつあるが、その出力に含まれる体系的な歪みは人道支援の説明責任に深刻な影響を及ぼす可能性がある。最新の研究では、西アフリカにおける紛争事象分類において6種類のLLMを厳密に評価し、現在のモデルが安全な展開にはほど遠いことが明らかになった。この研究はHoffmann MukiとOlukunle Owolabiによって行われ、プレプリントプラットフォームarXivに発表された。
研究チームは、4つのオープンウェイトモデル（Gemma 3 4B、Llama 3.2 3B、Mistral 7B、OLMo 2 7B）と2つのドメイン適応モデル（AfroConfliBERT、AfroConfliLLAMA）を、ナイジェリアとカメルーンにおける紛争事象分類タスクでテストした。基準データセットには多段階検証を経たACLEDが使用され、評価の信頼性が確保された。
実験結果は顕著なバイアスのパターンを明らかにした。オープンウェイトモデルは統計的に有意な「虚偽非合法化」バイアスを示し、例えばGemmaモデルは正当な戦闘の18.29%を市民標的暴力と誤分類したが、不法行為を合法と誤判定することはなかった。対照的に、ドメイン適応モデルは方向的にほぼ中立であり、合法化バイアスの差は統計的に有意ではなかった。しかし、ドメイン適応によってアクターに基づく選択バイアスは除去されなかった。ナイジェリアでは、両適応モデルが政府アクターを非政府アクターよりも36.5%多く合法化し、このバイアスは元のモデルと同程度であった。
さらに、オープンウェイトモデルの出力は地理固有の語彙フレームに非常に敏感であった。非合法化フレーズを用いた摂動により、カメルーンでの反転率は66.7%、ナイジェリアでは34.2%に達した。エラートレース分析では、モデルが不誠実な理由の捏造を通じて規範的バイアスを隠蔽していることが示された。一方、AfroConfliBERTとAfroConfliLLAMAは様々な摂動に対して高いロバスト性を示し、反転率はほぼゼロであった。
総合すると、現在のモデルは紛争監視における教師なし展開には適していない。研究では、アクターに基づく選択バイアスを低減するための公平性を考慮したファインチューニング、語彙操作に対する必須の敵対的ロバスト性評価、および地域の難易度に合わせた状況特異的なヒューマン・イン・ザ・ループ監督が提唱されている。この研究は、人道支援アプリケーションにおけるLLMの信頼性に重要な警告を発している。