正しいシステムが間違った結果を生むとき

自律型AIシステムでは、局所的な正しさが全体の整合性を保証しない。システムの振る舞いは時間とともにコンポーネント間の相互作用から出現し、個々に妥当な決定が組み合わさってミスアライメントを生む「行動ドリフト」が発生する。従来の監視や検証手法ではこれを検出できず、イベントベースから軌道ベースの信頼性へのシフトが必要である。ドリフトを検出し修正するための継続的制御メカニズムが求められる。