自然言語から一階論理（NL-to-FOL）への正確な変換は、ニューロシンボリックAIシステムと自然言語推論（NLI）の基盤であり、NL-to-FOLベンチマークの品質は極めて重要です。しかし、これらのデータセットはこれまで厳密に監査されたことがありませんでした。arXivに最近公開された論文（2606.02837）は、広く使用されている2つのデータセット、FOLIOとMALLSに対して初めて系統的な人間による検査を行い、驚くべきアノテーション誤り率を明らかにしました。
研究の最初の貢献は、FOLIOの検証セットとMALLSテストセットのサブセットを系統的に人間が検査したことです。その結果、FOLIOの約39%、MALLSの約36%のエントリに誤った一階論理形式化（つまり正解ラベル）が含まれていることが判明しました。さらに、FOLIOでは16.4%、MALLSでは48%の自然言語文に曖昧性があり、FOLIOでは8.4%のNLIラベルが誤っていました。これらの誤りはベンチマークの信頼性を著しく損なっています。
2番目の貢献は、これらのデータセットの修正済み正解ラベルを開発・公開したことです。アノテーション誤りがモデル評価をどの程度歪めるかを示すため、研究チームは3つの最先端LLM（Gemma 4 31B-it、Qwen3-30B-A3B、GPT-4o-mini）をテストしました。修正済み正解ラベルを使用すると、これらのモデルの参照ベンチマークタスクでの精度は9〜22ポイント向上しました。これは、元のアノテーションの誤りがモデル性能を過小評価し、研究方向を誤らせる可能性があることを示しています。
これらの発見に基づき、著者らはNL-to-FOLデータセットの手動レビューを支援するLLMベースのフレームワークを提案しました。このフレームワークは、レビュアーを最も誤りやすいインスタンスに導くことで、レビュー効率を大幅に向上させます。実証により、LLMの支援があれば、24%未満のインスタンスをレビューするだけでデータセット精度90%を達成できることが示されました。ガイドなしのレビューでは70%以上のインスタンスをレビューする必要がありました。これは、フレームワークが手動レビューコストを約3分の2削減できることを意味します。
人間が検証したアノテーションとフレームワークのコードはすべて公開されています。この研究は、既存のベンチマークにおける深刻な品質問題を明らかにするだけでなく、スケーラブルなソリューションを提供し、NL-to-FOL分野におけるより信頼性の高いデータセット構築とレビュー基準の確立を促進することが期待されます。