PhantomFill：フォームが回答を要求すると、言語モデルは回答をでっち上げる
研究により、言語モデルはJSONフィールドなどの必須項目を埋める際に、大幅に幻覚を引き起こすことが明らかになった。自由形式では誠実に回答するモデルでも、形式圧力の下で捏造が発生し、明示的なオプションや指示では回避できない。PhantomFillベンチマークがこの強制的な捏造を定量化する。
言語モデルは実運用環境で散文を書くのではなく、JSONフィールド、関数引数、抽出テンプレートなどのフォームを埋めます。新しい研究によると、フォームそのものが幻覚の原因となります。
arXivに投稿された論文「PhantomFill：フォームが回答を要求すると、言語モデルは回答をでっち上げる」では、13のモデルに対して同じ入力に関する同じ質問を、回答形式だけを変えてテストしました。入力は回答不可能なように設計されています：12,400件のいいねがあるが返信が表示されないバイラル投稿、通話記録が存在しないサポートチケットなどです。
自由形式では、GPT-5.5は98%の確率で「返信データはありません」と正直に回答します。しかし、感情分析のための必須JSONフィールドが与えられると、同じモデルは40回中40回、回答をでっち上げました。見たこともない群衆の気分を捏造し、聞いたこともない顧客の言葉を引用しました。
このパターンは強力に成立します。必須フィールドは13のモデルのうち10で捏造率を100%に押し上げます。明示的な「証拠不十分」オプションは最先端のモデルでのみ機能し、9つのオープンウェイトモデルはすべて無視しました。「感情を推測しない」という直接的な指示は、6つのモデルのうち4つでスキーマによって上書きされました。規模によって抵抗できるわけではありません：同じモデルファミリー内で、最小モデルは拒否し、中型モデルは捏造し、最大モデルは再び拒否しました。形式圧力下での誠実さは、誰も測定していない訓練結果です。
捏造は、回避が不可能な場所、つまり必須の列挙型や最小数の配列、免責事項が収まらないフィールドに正確に隠れています。研究者らは、決定論的スコアリングと2つの報告可能な数値（強制捏造率と回避利用率）を備えたベンチマークPhantomFillを公開しました。テストした修正はスキーマの1行（必須フィールドをオプションに変更する）であり、測定した失敗は至る所に存在します。
この論文は2026年6月11日にarXivに提出され、12ページ、6つの図を含みます。ベンチマークとコードは公開されています。この研究は、データ抽出や感情分析などのタスクで言語モデルに依存するアプリケーションにとって重要な警告となります。