本文にスキップ
AI News HubLIVE
サイト内リライト1 分で読了

ミラーホライゾン:有界反射の尺度としての有効経路エントロピー

記事の要約

ミラー理論は、知的システムを繰り返しの自己反省における一貫した継続の能力で評価することを提案する。有効経路エントロピー(VPE)はこれを有限予算の尺度として具体化する。Qwen2.5モデルでの実験では、トークン予算の増加が検証可能な到達可能性とVPEを拡大し、より小さい1.5Bモデルが高い予算で3Bを上回り、能力はパラメータ数ではなくアクセス可能な継続容量であることを示している。

ソースarXiv Machine Learning著者: Tiantian Zhang (Crystal)
ミラーホライゾン:有界反射の尺度としての有効経路エントロピー
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

ミラー理論は、知的システムの能力を、それが何を表現するかだけでなく、繰り返しの自己反省の下で維持できる一貫した継続によって研究すべきだと提案する。本研究では、この主張を「有効経路エントロピー(VPE)」によって操作可能にする。VPEは、有限予算での検証済み継続容量の尺度であり、ミラー状態、ロールアウトプロトコル、検証器、モードマップが与えられると、能力を2つの部分に分解する:実行可能な継続に到達する確率と、成功したロールアウトで到達した検証済み継続モードの多様性である。

論文は、この尺度の背後にある理論的枠組みを完全に再構築する:直感を局所的な不確定性制約、テイストを不変性選択圧力、反省をテイストによる不確定性の解決、幾何学を将来の反省を安定させる学習構造として捉える。その後、GSM8Kデータセット上の言語モデル推論実験で理論を具体化する。Qwen2.5-Instructモデル群で、問題あたり32回のロールアウトサンプル、2つの反省ホライゾンで実験した結果、トークン予算を96から160に増やすと、検証可能な到達可能性が大幅に拡大し、ゼロ到達可能性が減少し、検証モードエントロピーが増加し、平滑化VPEが改善された。

注目すべきは、160トークンにおいて、Qwen2.5-1.5Bがテストされたモデルの中で最も強いミラーホライゾンを実現したことである。これはQwen2.5-3Bがより多くのパラメータを持つにもかかわらずである。この結果は、ミラーホライゾンがパラメータ数ではなく、有界な反省プロトコルの下でアクセス可能な検証済み継続容量であることを示している。この結果は、ミラー理論を尺度レベルの説明として支持する:能力は、一度きりの精度やpass@kではなく、到達可能な実行可能継続の構造である。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 有効経路エントロピー(VPE)は有限予算下での検証済み継続容量を測定する
  • VPEは到達確率と検証モードの多様性に分解される
  • GSM8KでのQwen2.5モデル実験で、トークン予算を96から160に増やすとVPEが大幅に向上
  • 160トークンではQwen2.5-1.5Bが最も強いミラーホライゾンを達成し、大モデルを凌駕

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。