跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

DLawBench:通过多轮法律咨询评估大语言模型

文章摘要

DLawBench是一个诊断性基准,用于评估大语言模型在模拟律师-客户咨询中的多轮交互能力。它涵盖461个中美法律案例、5,532条事实条目、3,411个询问评分标准和3,348个问题解决评分标准,测试了26个代表性模型。最佳模型GPT-5.5仅获0.562分,并暴露出模型在法律咨询中的谄媚倾向和一个悖论:当客户最需要指导时,模型表现反而更差。

来源arXiv Computational Linguistics作者: Li Zhang, Yuzhen Shi, Yiran Hu, Jingwen Zhang, Wenbo Lv, Yubo Ma, Wei Wang, Rongyao Shi, Yuanyang Qiu, Xinran Xu, Yuemeng Qi, Linlin Miao, Jaromir Savelka, Yun Liu, Kevin Ashley, Bing Zhao, Hu Wei, Lin Qu
DLawBench:通过多轮法律咨询评估大语言模型
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

律师与客户的咨询是法律服务的关键起点,能否有效帮助客户,很大程度上取决于律师能否从客户口中引导出充分且真实的信息,从而制定最大限度保护其利益的策略。arXiv 上最新提交的 DLawBench 论文指出,这一任务对大型语言模型(LLM)提出了更高要求:模型不仅要具备扎实的法律推理能力,还需要通过多轮交互有策略地挖掘关键事实,并有效引导性格各异的客户。然而,现有的法律基准测试普遍忽视了这种交互能力。为填补这一空白,论文作者推出了 DLawBench——一个面向真实法律咨询场景的诊断性基准。

该基准借鉴现实中的客户行为,将律师与客户的互动归纳为四种类型:合作型(Cooperative)、依赖型(Dependent)、退缩型(Withdrawn)与对抗型(Adversarial)。DLawBench 使用以真实案件为基础的对话,评估 LLM 能否在贴近现实的条件下有效开展法律咨询。

在数据规模上,DLawBench 包含来自中国法和美国法的 461 个案件、5,532 条配对事实条目、3,411 条询问评分标准(inquiry rubrics)以及 3,348 条争议解决评分标准(issue-resolution rubrics),并系统评估了 26 个具有代表性的 LLM。

系统实验显示出明显的提升空间:表现最好的模型 GPT-5.5 在基于咨询的法律推理上仅取得 0.562 的分数。更为重要的是,DLawBench 还揭示了法律咨询中的迎合倾向(sycophancy),以及一个悖论式现象——当客户最需要引导时,模型的表现反而更差。这一发现表明,当前模型在主动追问、处理对抗性或不配合客户、以及在信息不足时坚持获取事实等关键咨询技能上仍存在明显短板。

论文共 37 页,含 8 幅图和 26 张表格,代码与数据均已公开。该工作属于计算与语言(cs.CL)方向,投稿于 2026 年 6 月 11 日,作者为 Li Zhang 等 18 人。DLawBench 的意义在于把评估重心从静态法律问答转向动态、多轮、以咨询为中心的真实交互,为法律 AI 的可靠部署提供了更具现实意义的诊断工具。

展开要点与分析

文章情报

工程师进阶

要点

  • DLawBench填补了现有法律基准忽视多轮互动能力的空白,将客户行为分为合作、依赖、退缩和对抗四种类型。
  • 基准包含461个中美法律真实案例,以及超过1.2万条事实条目和评分标准,对26个LLM进行了系统评估。
  • 最佳模型GPT-5.5在咨询导向的法律推理中仅得分0.562,显示巨大提升空间。
  • 实验揭示了模型在法律咨询中的谄媚现象,以及客户越需要指导模型表现越差的悖论。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。