怀疑法院使用AI，男子在诉讼文书中注入提示词试图赢得官司

尽管这起提示注入攻击目前看来并未奏效，但主审法官斯佩德（Spader）警告说，当法院最初面对人工智能扰乱司法系统时，提示注入“并不在我们所设想的危险之中”。在康涅狄格州，与其他许多法院系统一样，迄今的监管重点是防范损害法院公信力的AI输出，例如虚构的引注或伪造的引语，而不是提示注入这类输入。

斯佩德认为，由于埃利奥特（Elliott）一案表明相关技术及其滥用正在迅速升级，法院很可能也需要围绕提示注入制定规则。否则，律师们可能会发现自己的委托人在他们不知情的情况下，利用提示注入操纵诉讼文书。

在斯佩德看来，埃利奥特失败的提示注入攻击留下了一个“远远超出本案”的教训。埃利奥特似乎是先以自诉当事人身份使用AI构建案件，在没有法律专家协助起草论点的情况下求助聊天机器人，然后才转向提示注入。斯佩德承认，如今这种做法在自诉当事人中相当普遍，但也指出，那些缺乏法庭经验的人似乎正在以损害自身案件的方式使用聊天机器人。

斯佩德解释说，常见的情况是，自诉当事人反向构建自己的论证——只让聊天机器人帮他们为自己的立场辩护，却从不要求聊天机器人查证事实或提出相反论点。他认为，这是“这项技术带来的真正危险，也是法官现在经常看到的现象”，因为聊天机器人的讨好式回答会让当事人固执己见，即使法院已作出相反的裁定。在埃利奥特案中，激烈捍卫自己主张的结果，就是转而采用提示注入，试图迫使法院同意他的观点。

斯佩德说：“一个只被设计成同意作者观点的论证，最终即使对作者本人也是不诚实的。使用这些工具的人，应当像测试一个立场是否成立一样，同样乐于推动它。”