2026年6月11日にarXivで公開された論文（2606.13756）は、QIAS 2026共有タスクの包括的な概要を提供している。このタスクはOSACT7ワークショップの一部として組織され、LREC 2026と併設された。目的は、大規模言語モデルがイスラム相続法という宗教的・法的領域で複雑な推論を実行する能力を評価することである。
イスラム相続法は、コーランやハディースの正確な解釈を伴う高度に複雑な規則体系である。従来の質問応答ベンチマークとは異なり、QIAS 2026は自然言語の事例からのエンドツーエンド推論に焦点を当てている。システムは、適格な相続人の識別から各受益者への正確な取り分の割り当てまで、相続計算プロセス全体を実行することが求められる。これには法的条文の理解だけでなく、構造化された数値計算と論理的推論が必要である。
この評価を支援するため、タスクはMAWARITHベンチマークに基づいて構築された。このデータセットには12,500のアラビア語相続事例が含まれ、それぞれに中間推論ステップと最終回答が注釈付けられている。このような詳細な注釈により、研究者は推論チェーンの各段階でのモデルのパフォーマンスを分析できる。
評価にはMIR-Eと呼ばれる多段階指標が採用された。これは相続推論の主要段階（相続人識別、取り分計算など）におけるシステムの性能を測定する。単一の精度指標とは異なり、MIR-Eは複雑な推論プロセス全体にわたる段階的なパフォーマンスを反映し、システムの能力をより包括的に評価する。
合計16チームが共有タスクに参加し、プロンプトベースの手法、検索拡張生成（RAG）、ファインチューニング戦略など、さまざまなアプローチを検討した。プロンプト手法は大規模言語モデルの文脈内学習能力を利用し、検索拡張生成は外部知識ベースを組み合わせて事実知識を補完し、ファインチューニングはドメインデータでモデルパラメータを調整して性能を向上させる。
結果は、イスラム相続推論が現在の言語モデルにとって依然として非常に困難なベンチマークであることを示している。特に正確な法的解釈と構造化された数値推論が必要な段階では、モデルのエラー率が高い。これは、大規模言語モデルが一般的な言語タスクで優れた性能を発揮する一方で、専門分野の深い推論にはまだ顕著な限界があることを示唆している。
この概要論文は、タスク設計、データセット、評価フレームワーク、参加システム、および主な結果をまとめ、今後の研究方向を示している。QIAS 2026が確立したベンチマークとデータセットは、複雑な法的推論に取り組むモデル研究を促進し、学際的な協力を促すことが期待される。