arXivは2026年4月30日、新論文「Know2Guess: A Contamination-Aware Multi-Zone Benchmark for Knowledge-Boundary Evaluation in Large Language Models」を公開した。著者はRenwei Meng氏と他6名の共著者で、識別子はarXiv:2606.26101v1、分類は計算と言語（cs.CL）および人工知能（cs.AI）にまたがる。本文は16ページ・図3点で構成されている。本研究の中心的な課題は、大規模言語モデルの評価において「根拠のある回答」と「根拠のない推測」を切り分けつつ、それをデータ汚染、プロンプトの特異性、あるいは汎用的な拒否応答と混同しないようにするにはどうすべきか、という点にある。
そこで著者らは、汚染を意識した（contamination-aware）マルチゾーン型のベンチマークを提案している。これは、回答可能な知識から「棄権が期待される未知」へと移行する過程を測定するためのもので、ビルド時点で凍結されたラベル（frozen build-time labels）に基づいて構築されている点が特徴である。ベンチマークは5つの領域にわたる1,200項目を含み、明示的な棄権期待（explicit abstention expectations）と汚染リスクのメタデータを備える。さらに、公式の厳格パーサーと正規化を施した頑健性パーサーという二重のパース機構を採用し、解析方法への依存度も検証できるようになっている。
評価実験では、FLAN-T5、Qwen2.5-Instruct、Llama-3-Instructの各モデル群を対象に、「回答または棄権」に固定したプロンプト、回答のみを求める対照条件、さらにプロンプトテンプレートの変種という複数の設定で検証が行われた。結果として、このベンチマークは単に「何も答えない」という汎用的な振る舞いだけでは突破できないことが示された。FLAN系のベースラインは生産的な棄権（productive abstention）において依然として弱く、一方でより強力な指示チューニング済みモデルは、回答から棄権への選択的ではあるが不完全な移行を見せた。
総合的な信頼性ではQwen2.5-3B-Instructが最も優れた成績を収めたが、課題も残る。回答が期待されるゾーンは依然として難しく、キャリブレーションは不良のままであり、無害な項目に対する拒否も持続している。著者らはプロンプトとパーサーの頑健性分析も行い、主要な順位と定性的な結論がこれらの変動に対しておおむね維持されることを確認した。
著者らは、このベンチマークが回答可能性、棄権、拒否、データ汚染という、互いに区別されつつ相互作用するLLM信頼性の次元を監査するための再現可能なプロトコルを提供すると位置づけている。データセットはGitHub（https://github.com/renweimeng/Know2Guess-A-Contamination-Aware-Multi-Zone-Benchmark）で公開されており、DOIはhttps://doi.org/10.48550/arXiv.2606.26101（DataCite発行）である。全文はPDFおよびHTML（実験版）で閲覧でき、TeXソースの取得やライセンスの確認も可能となっている。