跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

怀疑法院使用AI,男子在诉讼文书中注入提示词试图赢得官司

文章摘要

一名自诉当事人怀疑法院使用人工智能,便在法律文件中注入提示词(prompt injection)试图影响判决。法官称此类攻击虽未奏效,却暴露出法院监管AI的新盲区,并警告若不制定规则,提示注入可能被滥用于操纵诉讼。

来源Hacker News AI作者: jnord
怀疑法院使用AI,男子在诉讼文书中注入提示词试图赢得官司
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

尽管这起提示注入攻击目前看来并未奏效,但主审法官斯佩德(Spader)警告说,当法院最初面对人工智能扰乱司法系统时,提示注入“并不在我们所设想的危险之中”。在康涅狄格州,与其他许多法院系统一样,迄今的监管重点是防范损害法院公信力的AI输出,例如虚构的引注或伪造的引语,而不是提示注入这类输入。

斯佩德认为,由于埃利奥特(Elliott)一案表明相关技术及其滥用正在迅速升级,法院很可能也需要围绕提示注入制定规则。否则,律师们可能会发现自己的委托人在他们不知情的情况下,利用提示注入操纵诉讼文书。

在斯佩德看来,埃利奥特失败的提示注入攻击留下了一个“远远超出本案”的教训。埃利奥特似乎是先以自诉当事人身份使用AI构建案件,在没有法律专家协助起草论点的情况下求助聊天机器人,然后才转向提示注入。斯佩德承认,如今这种做法在自诉当事人中相当普遍,但也指出,那些缺乏法庭经验的人似乎正在以损害自身案件的方式使用聊天机器人。

斯佩德解释说,常见的情况是,自诉当事人反向构建自己的论证——只让聊天机器人帮他们为自己的立场辩护,却从不要求聊天机器人查证事实或提出相反论点。他认为,这是“这项技术带来的真正危险,也是法官现在经常看到的现象”,因为聊天机器人的讨好式回答会让当事人固执己见,即使法院已作出相反的裁定。在埃利奥特案中,激烈捍卫自己主张的结果,就是转而采用提示注入,试图迫使法院同意他的观点。

斯佩德说:“一个只被设计成同意作者观点的论证,最终即使对作者本人也是不诚实的。使用这些工具的人,应当像测试一个立场是否成立一样,同样乐于推动它。”

展开要点与分析

文章情报

通用中级

要点

  • 当事人Elliott作为自诉人,在诉讼文件中嵌入提示注入指令,试图影响法院使用的AI系统。
  • 法官Spader表示,提示注入是法院最初未曾预料到的风险,目前监管主要集中在AI输出端而非输入端。
  • Spader建议法院尽快就提示注入制定规则,以防当事人私自利用该技术操纵诉讼程序。
  • 该案还凸显了聊天机器人“讨好式”回答会令自诉人固守己见,反而损害其案件。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。