本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

人間言語における文脈持続性のスケーリング則

記事の要約

人間言語における単語配列の文脈の影響が、距離の増加に伴い約1/dのべき乗則で減衰することを発見。指数は約1.04で、10のコーパス(6言語族、書き言葉・話し言葉)で一貫。

ソースarXiv Computational Linguistics著者: Elan Barenholtz
人間言語における文脈持続性のスケーリング則
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

新たな研究により、人間言語における単語の配列順序が持つ文脈の影響が、距離に応じて単純なべき乗則に従って減衰することが明らかになりました。この研究はElan Barenholtz氏によって行われ、2026年7月28日にプレプリントサーバーarXiv(番号:2607.25184)に提出されました。現在は査読前の段階です。

これまでの研究では、単語レベル(頻度、語彙の成長)や単語ペア(距離を超えた共起)における法則性が発見されていますが、本研究では意味の中心的な決定要因である単語の配列順序に着目しました。研究者は大規模言語モデル(LLM)を確率的プローブとして使用し、距離dだけ離れた先行文脈がターゲット単語のパープレキシティをどの程度低下させるかを、同じ単語をシャッフルした場合と比較して測定しました。この差である「文脈持続関数」P(d)は、配列順序の影響を純粋に抽出します。

実験は6つの語族(インド・ヨーロッパ語族、シナ・チベット語族、ナイル・サハラ語族など)にわたる10の異なるコーパスで行われ、書き言葉と話し言葉の両方を含みました。結果は驚くほど一貫しており、P(d)は約1/dのべき乗則(P(d) ∝ d^{-α}、αの平均1.04、中央値r²=0.96)で減衰しました。この効果はシャッフルされたテキストや合成対照テキストでは消失し、独立した異なるLLMプローブ(GPT-2やBERTなど)でも再現されました。さらに、同じ分析手法をゲノム配列やタンパク質配列に適用したところ、ドメイン固有モデルでは同様の減衰パターンは観察されず、この法則が人間言語に特有である可能性が示唆されます。

指数が1に近いことは、文脈の影響が対数時間スケールでほぼ均一に分布することを意味します。つまり、距離の近い遠いにかかわらず、各対数間隔内での総影響はほぼ等しくなります。これは自然界の1/fノイズと類似しています。この発見は、人間言語の統語構造の統計的法則に新たなスケーリング則を提供し、自然言語処理や認知科学に重要な影響を与える可能性があります。例えば、言語モデルのコンテキストウィンドウ設計の改善や、言語処理における記憶メカニズムの理解に役立つかもしれません。

論文は全21ページで、5枚の主図と1枚の補足図を含み、補足情報が別途添付されています。著者は再現可能性を高めるためにソースコードとデータも提供しています。本研究はプレプリント段階ですが、言語横断的・モダリティ横断的な一貫性から注目を集めています。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 大規模言語モデルを確率的プローブとして使用し、文脈の影響を測定
  • 10コーパス(6言語族、書き言葉・話し言葉)でP(d) ∝ d^{-1.04}を確認
  • シャッフルおよび合成対照では効果消失、ゲノム・タンパク質配列では観測されず
  • 指数が1に近いことから、文脈の影響が対数時間スケールでほぼ一様に分布

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。