CheckThat! 2026におけるDS@GT ARC：LLMベースのトレースランキングとグループ化された報酬モデリングによる多言語数値主張検証
本論文は、CLEF 2026 CheckThat!タスク2向けに開発された、英語とアラビア語の数値主張を自動検証するシステムについて述べている。2つのアプローチを探求：LoRAで微調整されたLLMベースの検証器と、軽量なTF-IDF報酬モデル。結果は、LLMアプローチがほとんどの指標で優れ、特にRecall@5で良好。一方、報酬モデルは矛盾クラスで強い性能を示す。サブクレーム分解は性能向上に寄与せず、むしろノイズを導入。アラビア語では、AraBERTが多言語ベースラインを上回る。
CLEF 2026 CheckThat!タスク2では、数値主張の自動検証が言語理解と量的推論の両方を必要とする困難な課題として立ちはだかります。この問題に対し、ジョージア工科大学DS@GT ARCの研究チームは、大規模言語モデル（LLM）に基づくトレースランキングとグループ化された報酬モデリングのシステムを提案しました。本システムは英語とアラビア語の数値主張を対象とし、2つの異なるアプローチを通じて推論トレースの効果的な活用を探ります。
第一のアプローチは、LoRA技術を用いてLLM検証器を微調整し、各推論トレースを二値分類問題として独立にスコアリングし、Best-of-N選択によって最終判断を下します。さらに、複雑な主張をより単純な部分に分解する適応的サブクレーム分解も実験しました。しかし、実験結果はサブクレーム分解が性能向上に寄与せず、むしろノイズを導入することを示し、単純な主張分割が推論を妨げる可能性が示唆されました。
第二のアプローチは、手作りの数値・時間的重複特徴を備えた軽量TF-IDF報酬モデルを用いてトレースをスコアリングし、判断グループごとにスコアを集約して最終予測を決定します。この報酬ベースのアプローチは矛盾クラスの主張でより強い性能を示し、一方、LLMベースのアプローチはほとんどの指標で優れており、特にRecall@5で顕著な成績を収めました。精度やF1スコアでもLLM方法が全般的に優位でしたが、報酬モデルは計算効率が高く、リソース制約のある環境に適しています。
アラビア語の検証に関しては、汎用多言語モデル（mBERTなど）とアラビア語に特化して事前学習されたAraBERTを比較しました。結果は、AraBERTがほとんどの指標で多言語ベースラインを凌駕し、特定言語向けモデルの価値を浮き彫りにしました。この研究では、アラビア語の数字や日付表現の処理能力についても分析し、AraBERTがアラビア語特有の数値形式を理解する点で優れていることが分かりました。本研究は数値主張検証の有効な手法を提供するだけでなく、LLMと軽量手法のシナリオごとの優劣を明らかにし、今後の研究に重要な洞察をもたらします。本論文はCLEF 2026 CheckThat!に受理され、CEUR Workshop Proceedingsに掲載予定です。