律师与客户的咨询是法律服务的关键起点,能否有效帮助客户,很大程度上取决于律师能否从客户口中引导出充分且真实的信息,从而制定最大限度保护其利益的策略。arXiv 上最新提交的 DLawBench 论文指出,这一任务对大型语言模型(LLM)提出了更高要求:模型不仅要具备扎实的法律推理能力,还需要通过多轮交互有策略地挖掘关键事实,并有效引导性格各异的客户。然而,现有的法律基准测试普遍忽视了这种交互能力。为填补这一空白,论文作者推出了 DLawBench——一个面向真实法律咨询场景的诊断性基准。
该基准借鉴现实中的客户行为,将律师与客户的互动归纳为四种类型:合作型(Cooperative)、依赖型(Dependent)、退缩型(Withdrawn)与对抗型(Adversarial)。DLawBench 使用以真实案件为基础的对话,评估 LLM 能否在贴近现实的条件下有效开展法律咨询。
在数据规模上,DLawBench 包含来自中国法和美国法的 461 个案件、5,532 条配对事实条目、3,411 条询问评分标准(inquiry rubrics)以及 3,348 条争议解决评分标准(issue-resolution rubrics),并系统评估了 26 个具有代表性的 LLM。
系统实验显示出明显的提升空间:表现最好的模型 GPT-5.5 在基于咨询的法律推理上仅取得 0.562 的分数。更为重要的是,DLawBench 还揭示了法律咨询中的迎合倾向(sycophancy),以及一个悖论式现象——当客户最需要引导时,模型的表现反而更差。这一发现表明,当前模型在主动追问、处理对抗性或不配合客户、以及在信息不足时坚持获取事实等关键咨询技能上仍存在明显短板。
论文共 37 页,含 8 幅图和 26 张表格,代码与数据均已公开。该工作属于计算与语言(cs.CL)方向,投稿于 2026 年 6 月 11 日,作者为 Li Zhang 等 18 人。DLawBench 的意义在于把评估重心从静态法律问答转向动态、多轮、以咨询为中心的真实交互,为法律 AI 的可靠部署提供了更具现实意义的诊断工具。