AI監視と社会進歩

近い将来、AI搭載の監視システムは、公共の場での私たちの行動のすべて、そしてプライベートな行動の多くを追跡できるようになるでしょう。万引き、ポイ捨て、信号無視など、何か悪いことをすれば、システムはそれを認識し、記録し、あなたの公的な記録に紐づけ、それをあなたに通知し、関連当局や一般市民にリアルタイムで警告を発します。これらのシステムは自動速度違反取締装置の強化版であり、制限速度だけでなく、あらゆるルールを即座に執行します。罰則は数週間後に郵送されるのではなく、即座に通知され課されます。

これらのシステムは、強力なAI、リアルタイムの顔認識技術とデジタル追跡による公的・私的監視、大規模データベース、高度に個人化された執行を組み合わせています。大規模に展開されれば、個人の自由だけでなく、民主主義や社会進歩そのものに深刻な冷却効果をもたらすでしょう。

中国は長年にわたり監視インフラを発展させてきました。同国には6億台以上の監視カメラがあり、ますますAIと顔認識によって法律や社会的ルールを執行するために活用されています。例えば、失職してローンを返済できなくなったためにシステムによってブラックリストに載せられた老段という人物のケースがあります。彼が北京を訪れた際、市のAI監視システムが主要交差点で彼の顔を認識し、近くの大型電子掲示板に彼の顔、氏名、身分証明書番号を表示し、彼が信用できない人物であると表示しました。同様のシステムは現在中国全土で導入され、悪名高いオンライン監視、検閲、社会信用システムと統合されています。

AI監視は現在、北米、南米、欧州、アジア、アフリカで実験されています。新しい報告書によると、米国国土安全保障省は、移民、反体制派、ジャーナリスト、法的監視者、抗議者を監視するために、顔認識やソーシャルメディアアカウントの監視を含むAIベースの監視の利用を急速に拡大しています。これらのシステムは表面上は治安と公共の安全を維持するために使用されていますが、実際の目的はしばしば社会統制です。OracleのCEOラリー・エリソンは、「市民は常に記録され報告されているため、最高の行動をとるだろう」と述べています。冷却効果こそが目的なのです。

AI監視は、技術的バイアス、監査不能なシステム、柔軟性のない自動的な法執行など、差別を促進し、透明性、説明責任、法の支配を損なう可能性のある一連の公共政策上の課題を提起します。しかし、最も緊急で長期的な影響は、その広範な冷却効果であると考えられます。新しい著書『Chilling Effects: Repression, Conformity, and Power in the Digital Age』の中で、ジョン・ペニーは、監視、テクノロジー、権力がどのようにして大規模な行動に影響を与えるために武器化されるかを説明しています。監視、個人化、不確実性、権威はすべて、冷却効果の規模と影響を高める重要なメカニズムです。これらは人々に自己検閲を促し、同調的で従順にさせ、管理・統制を容易にします。そしてこれらの効果は相加的であり、使用されるメカニズムが多ければ多いほど、その形態が強力であればあるほど、冷却効果は大きくなります。

コンピュータ化により、データ収集者は私たちの位置情報を追跡したり、コミュニケーション相手のリストを収集したり、現金を使用しない限り支出習慣を監視したりすることが長い間可能でした。新しいのは、これらのメカニズムが前例のない形で融合し、持続的かつ容赦なく作用することです。AIは、通信内容を監視し、私たちの居場所や活動に関する複雑な質問に答える分析能力をもたらします。これにより、これまで人間のアナリストを必要としていた行動が自動化されます。結果として、恐怖、自己検閲、集団思考が支配し、異論、創造性、革新がますます稀になる、社会全体の強化された冷却効果が生じるでしょう。

この恐怖と同調の雰囲気の中で、リスクのあるアイデア、社会活動、自己変革——特に不利な立場にあるグループや標的とされる集団によるもの——も冷却されます。これは社会進歩に長期的な影響を及ぼします。例えば、同性関係やマリファナの娯楽使用の社会的正常化を考えてみてください。何十年もの間、これらのアイデアは非道徳的で違法な状態から、道徳的だが違法、そして最終的に道徳的で合法へとゆっくりと進歩しました。しかし、これが起こるためには、実験し、道徳が時間とともに変化しうることを世界に示すことができるカウンターカルチャーが必要でした。AI監視がこのような公共または私的な実験を冷却する限り、社会進歩は不可能になります。

これらには真の歴史的先例はありません。これらのテクノロジーはあまりに新しいのです。1950年代から1960年代にかけて、FBIが盗聴、物理的な郵便物開封、情報提供者、紙のインデックスカードを使って共産主義者を追跡した米国史上最も悪名高い大規模国内監視プログラムでさえ、現代のAI強化監視に照らせばまったく時代遅れに見えます。冷戦中の東ドイツの人間中心の監視ネットワークも同様です。ジョージ・オーウェルやオルダス・ハクスリーのSFだけが近いですが、それでもビッグブラザーの「テレスクリーン」は20世紀半ばのものに見えます。

しかし、私たちは手をこまねいているわけにはいきません。AI強化による大量監視の危険性を認識した今、それを実施しない政策選択をすることができます。顔認識やその他の識別技術の禁止は開発を遅らせることができます。強力な新しいプライバシーとデータ保護はデータ追跡と保存を制限できます。AI規制は最も浸襲的な用途を抑制できます。構造改革は、AI監視のようなテクノロジーの過剰への道を開く強力な国家・テクノロジーカルテルを精査し解体するのに役立ちます。

AI駆動の大量監視の冷却は、健全な民主的社会の基盤そのものを窒息させるでしょう。しかし、私たちは別の道を選ぶことができます。

（このエッセイはジョン・ペニーとの共著で、元々はガーディアンに掲載されました。）