本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

決定論的ホライズン:信頼できるAIシステムの設計仕様としての不可能性結果

記事の要約

郭東欣の博士論文は、AIにおける不可能性結果を計算可能な設計ルールに変える方法論を提案する。主力成果は「決定論的ホライズン」で、トランスフォーマー建築の層数と埋め込み幅だけで決まる精度上限であり、12の建築で19から31の間と測定された。論文はまた、嗜好学習、多段階検索、オークション、ゼロ知識検証にわたる16の仕様をカタログ化している。

ソースarXiv AI著者: Dongxin Guo
決定論的ホライズン:信頼できるAIシステムの設計仕様としての不可能性結果
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

大規模言語モデルは現在、ソフトウェアを作成し、法的文書を起草し、臨床ノートを生成しているが、チューリングやアローからノーフリーランチ定理に至る計算の根本的限界が、計算の可能性を形作っている。香港大学計算機科学科の2026年の博士論文「決定論的ホライズン:信頼できるAIシステムの設計仕様としての不可能性結果」(郭東欣著)は、これらの不可能性結果を理論的な珍品から実用的な設計ルールへと変える方法論を提示する。

論文の主力成果は、アーキテクチャ自体によってのみ設定される精度の天井を証明している。臨界推論深度を超えると、アダプターのランク、サンプルサイズ、損失関数に関係なく、どのような訓練も精度を動かせない。この臨界深度は「決定論的ホライズン」と呼ばれ、層数と埋め込み幅から展開前に計算できる。12のトランスフォーマーアーキテクチャで測定された値は19から31の間に分布する。最適長のトレースで微調整しても、回復は4パーセントポイント未満である。メカニズムは残差ストリームの容量不変量であり、情報理論的な変換により、ホライズンを超えると精度が超指数的に減衰することが示される。

補完として、論文は定数深度素数モジュラス回路に対するモジュラー指数演算の無条件回路複雑性下界も与えている。同様の議論は複数のサブフィールドに再適用される。誤特定モデル下での嗜好学習はサンプル複雑性が不連続に跳躍する。多段階検索パイプラインは少なくとも段階数と同じ数の独立した指標を必要とする。標準的な真実オークションはプロンプト依存の評価を持つエージェントには機能しない。ニューラル推論のゼロ知識検証は、非線形活性化あたり110倍から190倍の測定されたオーバーヘッドを支払う。

これらの成果は、16の仕様のカタログを形成する。各仕様は計算可能な境界、定量化された違反コスト、建設的な設計ルールを組み合わせている。2つの合成が証明され、1つのペアリングは正直な障害であり、4つは未解決のままである。論文は、不可能性-仕様方法論を、信頼できるAIが必要とする生成的研究プログラムの一部として提供する。著者が述べるように、「AIのあらゆる根本的限界は、設計ルールでもある」。271ページ、18図、15表、5アルゴリズムからなるこの論文は、人工知能、計算複雑性、計算と言語、機械学習の分野にまたがる。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 決定論的ホライズン:精度上限は建築のみで決まり、展開前に計算可能。臨界推論深度を超えると訓練では動かせない。
  • 12のトランスフォーマー建築で19〜31と測定。最適長トレースでの微調整は4パーセントポイント未満の回復にとどまる。
  • メカニズムは残差ストリームの容量不変量であり、ホライズンを超えると精度が超指数的に減衰する。
  • 16の仕様のカタログ。各仕様は計算可能な境界、定量化された違反コスト、建設的な設計ルールを備える。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。