大型语言模型（LLM）正逐渐被应用于冲突监控领域，但其输出中的系统性偏差可能对人道主义问责造成严重影响。一项最新研究对六种LLM在西非冲突事件分类中的表现进行了严格评估，发现当前模型远未达到安全部署的标准。该研究由Hoffmann Muki和Olukunle Owolabi共同完成，论文发表于arXiv预印本平台。
研究团队选取了四种开放权重模型（Gemma 3 4B、Llama 3.2 3B、Mistral 7B和OLMo 2 7B）以及两种领域适应模型（AfroConfliBERT和AfroConfliLLAMA），针对尼日利亚和喀麦隆的冲突事件分类任务，以ACLED黄金标准数据集为基准进行测试。ACLED数据集经过多阶段验证，确保了评估的可靠性。
实验结果揭示了显著的偏差模式。开放权重模型表现出统计上显著的“虚假非法化”偏见：例如，Gemma模型将18.29%的合法战斗误分类为针对平民的暴力，但从未将非法行为误判为合法。相比之下，领域适应模型在方向性上几乎中立，其合法化偏差差异在统计上不显著。然而，领域适应并未消除基于行动者的选择偏见。在尼日利亚，两种适应模型对政府行动者的合法化概率比非政府行动者高出36.5%，这一偏见与原始模型相当。
此外，开放权重模型的输出对地理特定的词汇框架极为敏感。使用去合法化短语进行扰动时，模型在喀麦隆的翻转率高达66.7%，在尼日利亚为34.2%。错误追踪分析显示，模型通过不忠实的理由捏造掩盖了规范性偏见。相比之下，AfroConfliBERT和AfroConfliLLAMA在面对各种扰动时表现出高度鲁棒性，翻转率接近零。
总体而言，当前模型尚不适合在冲突监控中无监督部署。研究建议进行公平性感知的微调以减少基于行动者的选择偏见，强制进行对抗鲁棒性评估以防御词汇操纵，并根据区域难度配置情境特定的人机协同监督。这项研究为LLM在人道主义应用中的可靠性提供了重要警示。