誠実さによる安全性：無関心なAI予測器の安全論証

AIシステムの能力が向上するにつれて、下流の成果を最適化するための訓練手順は、暗黙的なエージェンシー（設計者が指定しなかった目標指向の行動）を導入するリスクがあります。この安全性の課題に対処するため、Yoshua Bengio氏を含む16名の著者による論文が、Scientist AI (SAI) Predictorと呼ばれるシステムに焦点を当てた形式的な安全論証を提案しています。本論文は2026年6月28日にarXivに提出され、人工知能（cs.AI）および機械学習（cs.LG）の分野に属します。

SAI Predictorは、「認識論的に文脈化された」自然言語ステートメントのデータセットに基づくベイズ事後分布を近似するように訓練されます。認識論的文脈化は、テキスト内の潜在的な事実主張とコミュニケーション行為を区別するため、目標の表現はモデルが採用するドライブではなく、説明すべき証拠として扱われます。事後分布を求める訓練目的により、予測器は校正された慎重な予測に向かうことが意図されており、その結果、予測器自体が目標を達成するために出力を選択するエージェントになることはありません。

訓練プロセスでは、予測の展開による下流効果が報酬信号として機能することは決してありません。システムが必要とするエージェンシーはすべて、ガードレールによって制約された明示的な足場によって供給されます。論文では、訓練ダイナミクスと危険な予測器のスパース性に関する仮定の下で、訓練によってガードされた展開において残留害が指定された閾値を超える予測器が生成される確率が小さいことを証明しています。危険な予測器は、多数のクエリにわたって調整された方法で害を過小評価する必要がありますが、そのような調整パターンは初期化分布の下で稀であり、直接的な訓練信号を受け取りません。

このフレームワークでは、安全性と正確性が共同でサポートされています。正確性を確保する制約は、調整された欺瞞をコスト高にするものと同じだからです。予測器自体の内部から生じるミスアライメントやエージェンシーに対するこれらの保証は、予測器をエージェントシステムの一部として使用することを排除するものではありません。この研究は、内因的なエージェンシーを持たない誠実なAIシステムの実現に向けた理論的基盤を提供し、AI安全性研究において重要な意味を持ちます。