2026年6月11日,arXiv发布了一篇关于QIAS 2026共享任务的综述论文(编号2606.13756),该任务作为OSACT7研讨会的一部分,与LREC 2026会议共同举办。论文详细介绍了任务的设计背景、数据集构建、评估框架以及参赛系统的表现,为自然语言处理领域在宗教法律推理方面提供了重要的基准测试。
伊斯兰继承法是一个高度复杂且规则严谨的法律领域,涉及对古兰经和圣训的精确解读。传统的问答基准通常只考察模型对事实的回忆或简单推理,而QIAS 2026则要求模型进行端到端的继承计算:从一段自然语言描述的案例出发,系统需要识别所有合法的继承者,然后根据继承法规则为每位受益者分配合适的遗产份额。这一过程不仅需要理解法律条文,还需要进行结构化的数值计算和逻辑推理。
为了支持这一评估,任务组织者构建了MAWARITH基准数据集,该数据集包含12,500个阿拉伯语的继承案例。每个案例都标注了中间推理步骤和最终答案,使得研究者能够细致地分析模型在推理链各个阶段的表现。这种细粒度的标注对于诊断模型的弱点至关重要。
评估采用了一种名为MIR-E的多步骤指标,该指标衡量系统在继承推理的主要阶段(如继承人识别、份额计算等)上的准确性。与单一准确率不同,MIR-E能够反映模型在复杂推理流程中的逐步表现,从而更全面地评估系统的能力。
共有16支团队参加了此次共享任务,他们尝试了多种技术路线,包括基于提示的方法、检索增强生成(RAG)以及微调策略。提示方法通常利用大语言模型的上下文学习能力,通过精心设计的提示引导模型完成推理;检索增强生成则结合外部知识库来补充模型的事实性知识;微调策略则通过在领域数据上调整模型参数来提升性能。
比赛结果显示,伊斯兰继承推理对当前的语言模型来说仍然是一个极具挑战性的基准。尤其是在需要精确法律解释和结构化数值推理的阶段,模型的错误率较高。这表明,尽管大语言模型在通用语言任务上表现出色,但在涉及专业领域深度推理时仍存在明显不足。
该综述论文总结了任务设计、数据集、评估框架、参赛系统以及主要结果,为未来研究指明了方向。可以预见,QIAS 2026所建立的基准和数据集将推动更多针对复杂法律推理的模型研究,并促进跨学科合作。