由Andrea Brunello等六位作者完成的论文《Fixing FOLIO and MALLS: Verified Annotations and an LLM-assisted Framework to Focus Human Relabeling》于2026年6月1日提交至arXiv,编号2606.02837v1,归类为计算与语言(cs.CL),并交叉列入人工智能(cs.AI)。研究聚焦于自然语言到一阶逻辑(NL-to-FOL)翻译基准的数据质量问题,指出这一支撑神经符号AI系统与自然语言推理(NLI)的关键环节长期缺乏严格审计。
论文的第一项贡献是对FOLIO验证集以及MALLS部分测试实例进行系统性人工检查。结果显示,FOLIO中约39%的条目、MALLS中约36%的条目存在错误的一阶逻辑形式化,即错误的真实标签;此外,FOLIO中有16.4%、MALLS中有48%的自然语言句子存在歧义,FOLIO中还有8.4%的NLI标签本身错误。这些数字说明,被广泛用作参考的基准数据在相当程度上并不可靠。
第二项贡献是构建并公开发布上述数据集的修正版真实标签。作者在参考基准任务上测试了三款当前先进的大语言模型——Gemma 4 31B-it、Qwen3-30B-A3B与GPT-4o-mini,使用修正后的标签后,模型准确率提升了9至22个百分点。这表明原有的标注错误会显著扭曲对模型能力的评估,使排行榜结果失真。
基于上述发现,作者进一步提出一个由大语言模型辅助的人工复核框架,用于支持人工审查NL-to-FOL数据集。该框架将复核者的注意力引导至最易出错的实例上。实验表明,借助这一引导,仅需审查不到24%的实例即可使数据集整体准确率达到90%;而在无引导的审查方式下,需要检查超过70%的实例才能达到同等水平。
作者表示,将公开发布全部经人工核验的标注以及该框架的代码。论文全文可通过arXiv页面获取PDF、实验性HTML版本与TeX源码,DOI为10.48550/arXiv.2606.02837,提交历史显示v1版本于2026年6月1日20:00:35 UTC上传,文件大小约2,467 KB。