裁判所がAIを使っていると疑い、男性が訴訟文書にプロンプト注入を仕込み勝訴を狙う

今回のプロンプトインジェクション攻撃は現時点では効果がなかったようだが、スパイダー判事は、裁判所が初めてAIによる司法制度の混乱に取り組んだ際、プロンプトインジェクションは「想定していた危険には含まれていなかった」と警告した。コネチカット州では、他の多くの裁判所制度と同様、これまでの焦点は裁判所への信頼を損なうAI出力、例えば幻覚による引用や捏造された引用文を取り締まることであり、プロンプトインジェクションのような入力には向けられていなかった。

スパイダー判事は、エリオット氏の事件がテクノロジーとその悪用が急速に進んでいることを示しているとして、裁判所もプロンプトインジェクションに関する規則を策定する必要があるだろうと述べた。そうしなければ、弁護士は依頼者が知らないうちにプロンプトインジェクションを使って裁判文書を操作していることに気づかないかもしれないと同判事は警告する。

スパイダー判事にとって、エリオット氏の失敗したプロンプトインジェクション攻撃から学べる教訓は「この事件をはるかに超える」ものだという。エリオット氏は、弁護士の支援を受けずに自訴当事者として主張をまとめるためにAIを利用した後、プロンプトインジェクションに手を染めたとみられる。スパイダー判事は、こうした利用は現在、自訴当事者の間で広く行き渡っていると認めつつ、法廷に不慣れな人々が自分たちの訴訟に不利になるような形でチャットボットを使っているようだと指摘した。

スパイダー判事が説明するのは、自訴当事者がしばしば逆方向に主張を組み立て、チャットボットに自分の立場の代弁だけを頼み、真実を確かめたり反対の議論を提示したりするよう求めることがない、という事態だ。これは「テクノロジーの真の危険であり、裁判官が今や頻繁に目にするもの」だと同判事は言う。チャットボットの追従（お世辞）傾向が、裁判所が反対の判断を下しても、当事者を自分の主張に固執させるからだ。エリオット氏の場合、自分の主張を激しく守ることが、裁判所に同意させようとプロンプトインジェクションに頼ることを意味した。

「著者に同意することだけを促された主張は、結局のところ、著者自身に対しても不誠実です」とスパイダー判事は述べた。「これらのツールを使う人は、ある立場を進めるのと同じように、それを検証するよう求めなければなりません。」