決定論的ホライゾン：不可能性結果を信頼できるAIシステムの設計仕様として活用する
本論文は、チューリング、アロー、ノーフリーランチ定理などの基本的限界を設計ルールに変換し、決定論的ホライゾン（アーキテクチャのみで決まる精度上限）を導入する。12のトランスフォーマーアーキテクチャで測定されたホライゾンは19から31の範囲にあり、最適長のトレースでのファインチューニングでは4%未満の回復しか得られない。さらに、嗜好学習、多段階検索、正直オークション、ゼロ知識検証などに拡張され、16の仕様からなるカタログを形成する。各仕様は計算可能な境界、定量化された違反コスト、建設的な設計ルールを組み合わせている。
記事インテリジェンス
要点
- 決定論的ホライゾンは、層数と埋め込み幅から計算可能な精度上限であり、それを超える訓練は無効。
- 12のトランスフォーマーアーキテクチャでホライゾンは19から31の範囲で、ファインチューニングによる回復は4%未満。
- 本論文は16の基本限界を計算可能な設計仕様に変換し、信頼できるAIシステムの構築を支援する。
重要な理由
このニュースが重要なのは、決定論的ホライゾンは、層数と埋め込み幅から計算可能な精度上限であり、それを超える訓練は無効ためです。
技術的影響
モデル選定、推論コスト、プロダクト能力、評価基準に影響する可能性があります。
香港大学コンピュータサイエンス学科の博士論文が、AI分野の基本的限界（チューリング停止問題、アロー不可能定理、ノーフリーランチ定理など）を理論上の珍奇から実用的な設計ルールへと変換する革新的な手法を提案した。この論文の主たる成果は「決定論的ホライゾン」という概念である。これはアーキテクチャ自体によって決定される精度の上限であり、研究により、ある臨界推論深度を超えると、訓練量、アダプターランク、サンプルサイズ、損失関数のいずれを変えても精度が向上しないことが証明された。この限界は、層数と埋め込み幅からデプロイ前に計算可能である。
12のトランスフォーマーアーキテクチャで測定した結果、決定論的ホライゾンは19から31の範囲にあり、最適長のトレースでファインチューニングを行っても、回復できる精度は4%未満にとどまった。このメカニズムの根底には残差ストリームの容量不変性があり、情報理論的変換により、ホライゾンを超えると精度が超指数関数的に低下することが示された。さらに、定数深さの素数モジュラス回路に対するモジュラ指数の無条件回路複雑性下限も補完的結果として得られている。
この議論は複数のサブフィールドに拡張された。嗜好学習では、モデルの誤特定によりサンプル複雑性が不連続に跳躍する。多段階検索パイプラインは、段階数と同数の独立した指標を必要とする。標準的な正直オークションは、プロンプト依存の評価を持つエージェントに対して機能しない。ニューラル推論のゼロ知識検証では、非線形活性化ごとに110倍から190倍の測定可能なオーバーヘッドが発生する。これらの結果は、16の仕様からなるカタログとしてまとめられ、各仕様には計算可能な境界、定量化された違反コスト、建設的な設計ルールが含まれている。うち2つの組み合わせは証明され、1つは正直な障害、4つは未解決である。
論文は、不可能性-仕様方法論を、信頼できるAIに必要な生成的研究プログラムとして提示している。AIのすべての基本的限界は、同時に設計ルールでもある。この研究は、より信頼性が高く、予測可能で、信頼できるAIシステムの開発のための理論的基盤と実用的ツールを提供する。