詐欺はもともと酷かった。そこにAIが加わった
生成AIによるディープフェイクを使った恋愛詐欺で女性が家と貯金を失った事例を基に、AIが詐欺をいかに巧妙化させたかを解説。さらに、エージェンティックAIが新たな脅威となりつつも、防御にも活用できる可能性を指摘する。
南カリフォルニアに住むアビゲイルという女性が、Facebookで知り合った「スティーブ」に恋をし、WhatsAppで連絡を取り合うようになった。二人は将来を計画し、ビーチハウスを購入するため、アビゲイルは自宅のコンドミニアムを市場価格より低い35万ドルで売却。スティーブに7万ドルを送金しようとしたところ、娘のビビアンが違和感を覚え、送られてきた動画がディープフェイクであることを見抜いた。実際には、アビゲイルはすでに8万1千ドル以上を送金しており、その金銭は戻ってこない見込みで、裁判が続いている。
このような被害は珍しくない。FBIによれば、2024年だけで約5万9千人が恋愛詐欺の被害を報告している。実際の数字はさらに高い可能性があり、アメリカ人の半数近くがサイバー詐欺に遭ったことを認めたがらない。男女で被害の傾向は異なり、女性は経済的損失を報告する割合が男性の2倍だが、男性の損失額はより大きい傾向がある。手口は変化し、それぞれの標的に合わせて調整されるが、詐欺師は性別、年齢、収入、場所、政治的所属を問わず、すべての人を標的にする。彼らはAIなどの新技術を活用して説得の犯罪を完成させ、試みを拡大している。
生成AIは詐欺をより説得力のあるものにした。アビゲイルのケースでは、視覚的な確認がテキストベースの説得に取って代わった。アメリカ人は、音声や動画がもはや本人確認の証拠ではないことを学んでいる。しかし、この変化に適応している間にも、次世代の詐欺が台頭している。生成AIはプロンプトに対して反応的に出力を生成するが、エージェンティックAIはさらに進んで、計画を立て、多段階の行動を実行し、フィードバックに適応し、限られた監視下で動作する。商業分野では、AIエージェントが価格を監視し、取引を開始し、消費者の代わりに購入を管理する。これらの能力は効率性とパーソナライゼーションを約束するが、リスクを増幅し、新たな脅威をもたらす。研究者は、AIエージェントが人間レベルの詐欺コンタクトを維持できることを発見した。業界リーダーは、エージェンティックコマースが拡大するにつれ、詐欺師が新たなツールを侵害したり、独自のシステムを展開して人間の能力をはるかに超える速度と量で不正取引を開始しようと試みると警告する。
逆に、エージェンティックAIシステムは、よりプロアクティブで適応的かつ全体的な防御を提供することで、詐欺と戦う大きな可能性も持っている。現在、AIはパーソナライズされた消費者保護とリアルタイム介入を支援している。デバイス上のAIシステムは、電話やテキストの会話をローカルで分析し、既知の詐欺パターンに類似した場合にユーザーに警告する。金融機関は機械学習モデルを用いて、数百の行動シグナルをミリ秒単位で評価し、資金が口座から出ていく前に異常な振り込みを警告する。法医学的な設定では、AI支援のブロックチェーン分析により、調査官が不正取引を追跡し、かつては不透明だったマネーロンダリングネットワークをマッピングできる。スタートアップのBeeSafe AIは、詐欺師とリアルタイムで対話し、進行中の詐欺を中断しながら脅威インテリジェンスを収集し、サイバー犯罪者の時間とリソースをそらすアンチ詐欺エージェントを開発している。同様に、Charm Securityの詐欺調査エージェントは、アラート、ケース、カスタマーインタラクション全体のシグナルを統合し、人間の意図や行動心理学まで解釈して、予防、調査、解決におけるより迅速で確信度の高い意思決定を導く。これらのシステムは、犯罪者が悪用しようとするのと同じ自動化、スケーラビリティ、持続性を防御のために適用している。
技術は単に使用者の意図を反映する道具である。詐欺自体は新しいものではない。新しいのはその速度と洗練度だ。規制は重要だが、適応的な戦術に追いつくほど頻繁に調整することはできない。防御技術は可能だ。リアルタイムの行動分析、組み込み型介入、インテリジェンス主導の妨害を通じて防御能力を強化することで、今すぐそして将来にわたって詐欺と戦うことができる。問題は、AIエージェントが商業や通信に参入するかどうかではない。すでに参入している。問題は、私たちの防御システムが直面する脅威に追いつくように進化できるかどうか、そしてデジタル最前線でアメリカ人を守るために必要な技術を完全に受け入れる用意があるかどうかである。