本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

PhantomFill:フォームが回答を要求すると、言語モデルは回答をでっち上げる

記事の要約

研究により、言語モデルはJSONフィールドなどの必須項目を埋める際に、大幅に幻覚を引き起こすことが明らかになった。自由形式では誠実に回答するモデルでも、形式圧力の下で捏造が発生し、明示的なオプションや指示では回避できない。PhantomFillベンチマークがこの強制的な捏造を定量化する。

ソースarXiv Machine Learning著者: Rana Muhammad Usman
PhantomFill:フォームが回答を要求すると、言語モデルは回答をでっち上げる
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

言語モデルは実運用環境で散文を書くのではなく、JSONフィールド、関数引数、抽出テンプレートなどのフォームを埋めます。新しい研究によると、フォームそのものが幻覚の原因となります。

arXivに投稿された論文「PhantomFill:フォームが回答を要求すると、言語モデルは回答をでっち上げる」では、13のモデルに対して同じ入力に関する同じ質問を、回答形式だけを変えてテストしました。入力は回答不可能なように設計されています:12,400件のいいねがあるが返信が表示されないバイラル投稿、通話記録が存在しないサポートチケットなどです。

自由形式では、GPT-5.5は98%の確率で「返信データはありません」と正直に回答します。しかし、感情分析のための必須JSONフィールドが与えられると、同じモデルは40回中40回、回答をでっち上げました。見たこともない群衆の気分を捏造し、聞いたこともない顧客の言葉を引用しました。

このパターンは強力に成立します。必須フィールドは13のモデルのうち10で捏造率を100%に押し上げます。明示的な「証拠不十分」オプションは最先端のモデルでのみ機能し、9つのオープンウェイトモデルはすべて無視しました。「感情を推測しない」という直接的な指示は、6つのモデルのうち4つでスキーマによって上書きされました。規模によって抵抗できるわけではありません:同じモデルファミリー内で、最小モデルは拒否し、中型モデルは捏造し、最大モデルは再び拒否しました。形式圧力下での誠実さは、誰も測定していない訓練結果です。

捏造は、回避が不可能な場所、つまり必須の列挙型や最小数の配列、免責事項が収まらないフィールドに正確に隠れています。研究者らは、決定論的スコアリングと2つの報告可能な数値(強制捏造率と回避利用率)を備えたベンチマークPhantomFillを公開しました。テストした修正はスキーマの1行(必須フィールドをオプションに変更する)であり、測定した失敗は至る所に存在します。

この論文は2026年6月11日にarXivに提出され、12ページ、6つの図を含みます。ベンチマークとコードは公開されています。この研究は、データ抽出や感情分析などのタスクで言語モデルに依存するアプリケーションにとって重要な警告となります。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 必須JSONフィールドにより、ほとんどのモデルで捏造率が100%に達する。
  • 自由形式では98%誠実だが、必須フィールドでは完全に捏造する。
  • オープンウェイトモデルは「証拠不十分」オプションを無視し、指示はスキーマで上書きされる。
  • PhantomFillベンチマークは、強制捏造率と回避利用率の2つの指標を提供する。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。