限界内の生成と無限の幻覚
従来の言語同定の限界パラダイムは、敵対者と学習者のゲームとして学習をモデル化する。新しい言語生成の限界フレームワークは、学習者が対象言語から有効で未知の文字列を生成することを要求する。本論文では、新しい精度の概念を導入し、問題を古典的な再現率-精度トレードオフとして再定義する。重要な貢献は、最終的に有効でない学習者の分析：誤りの頻度がゼロに近づき精度が1を保つ限り、無限の誤りを許容する。この緩和により、敵対者が対象言語の大部分を永久に隠蔽する場合、再現率が厳密に向上することを示す。また、出力の一定割合のみを新規とする連続的な新規性制約の緩和も研究する。結果は、偶発的な誤りや繰り返しが避けられないが、その率が制御されるより現実的な言語生成モデルに向けたもの。
本論文はarXivで公開された「Generating in the Limit with Infinitely Many Hallucinations」と題され、Irene Straussらによって執筆された。研究の背景として、従来の言語同定の限界パラダイムでは、敵対者が未知の対象言語から文字列を提示し、学習者がその言語を同定するというゲームとして学習がモデル化されていた。しかし、現代の大規模言語モデルでは、単なる同定ではなく、対象言語から有効で未見の文字列を生成することが求められる。そこで著者らは、言語生成の限界という新しい枠組みを導入し、学習者が継続的に有効かつ新規な文字列を生成することを課す。
主な貢献は、生成タスクにおける精度の概念を導入し、再現率-精度トレードオフとして問題を再定義した点にある。従来の設定では学習者は最終的に完全に正しくある必要があったが、著者らは緩和条件を提案：誤りの頻度がゼロに収束する限り、無限回の誤り（幻覚）を許容する。これにより精度は1に保たれ、敵対者が対象言語の大部分を永久に隠蔽する場合でも、再現率が厳密に向上することを示した。
さらに、新規性制約の連続緩和についても研究。従来は各出力が新規であることが求められたが、著者らは出力の一定割合（例：80%）のみが新規であればよく、残りは繰り返しを許す緩和を提案。これにより、実際の言語モデルで避けられない繰り返しを扱いやすくする。
実験と解析により、これら二つの緩和（誤り率と繰り返し率の制御）を組み合わせることで、高精度を維持しつつ、カバレッジを大幅に向上できることが示された。この研究は、特にデータが限られた環境や敵対的な状況において、より堅牢で実用的な言語生成システムの理論的基盤を提供する。最終的に、偶発的な幻覚や繰り返しを排除すべき欠陥ではなく、制御可能なノイズとして扱う、より現実的な生成モデルへの一歩となる。