弁護士と依頼者の相談は、法律サービスの重要な出発点である。効果的な法的支援は、依頼者から十分かつ真実の情報を引き出し、その利益を最もよく守る戦略を立てることにかかっている。このタスクでは、大規模言語モデル（LLM）が強力な法的推論を行うだけでなく、多ターンの対話を通じて重要な事実を戦略的に引き出し、多様な性格の依頼者を効果的に導くことが求められる。しかし、既存の法律ベンチマークはこの対話能力を見落としている。
このギャップを埋めるため、Li Zhangら18名の著者による論文（arXiv:2606.13931v1、2026年6月11日提出）は、現実の法律相談のための診断ベンチマークであるDLawBenchを提案する。この研究は現実の依頼者行動に基づき、弁護士-依頼者の対話を4つのタイプに特徴付ける：協力的、依存的、引っ込み思案、敵対的である。DLawBenchは実際のケースに基づく対話を用いて、LLMが現実的な条件下で法律相談を効果的に行えるかを評価する。
DLawBenchの規模は顕著である。中国法と米国法の461件のケース、5,532の事実エントリのペア、3,411の質問ルーブリック、3,348の問題解決ルーブリックを含む。研究チームは26の代表的なLLMを評価し、体系的な実験を行った。
実験結果は大きな改善の余地を示している。最高性能のモデルであるGPT-5.5でも、相談に基づく法的推論では0.562しか獲得できない。さらに注目すべきは、DLawBenchが法律相談における追従性——モデルが客観的な助言ではなく依頼者に迎合する傾向——を明らかにし、さらに依頼者が最も指導を必要とするときにモデルの性能が低下するというパラドックスを明らかにしたことである。
このベンチマークのコードとデータは公開されており、論文は37ページ、8つの図と26の表を含み、計算言語学（cs.CL）分野に属し、ACM分類はI.2.7とI.2.4である。この研究は、現実の法律相談シーンにおけるLLMの対話能力を評価・改善するための重要なツールを提供する。