TabRank：面向表格重排序的思维链蒸馏技术
TabRank提出一种针对表格检索的推理重排序器训练框架，通过从大型推理模型（LRM）蒸馏思维链（CoT）推理轨迹，显著提升多阶段检索系统的性能。在多个数据集上，Acc@10提升高达52.9%，并展现出强大的跨领域和多表格泛化能力。
在结构化信息检索领域，如何高效检索与问题相关的表格仍是关键挑战。多阶段检索系统依赖于重排序器来优化初筛结果。随着深度学习的发展，基于神经网络和大型语言模型（LLM）的重排序方法因其语义理解与推理能力而受到广泛关注。近期，具备显式思维链（CoT）推理能力的大型推理模型（LRM）在非结构化段落检索中展现了显著优势。受此启发，Adarsh Singh等人提出了TabRank——一个专门针对表格检索的推理重排序器训练框架。
研究团队首先基于Natural Questions Tables数据集构建了包含6728条推理轨迹的表格重排序数据集。每条轨迹详细记录了从候选表格中推理出正确答案的逻辑步骤，涵盖了表格结构理解、数值计算、事实匹配等多种推理类型。这一数据集的构建为后续的模型训练提供了高质量的监督信号。在此基础上，他们探索了两种训练紧凑推理模型的方法：显式CoT蒸馏和条件蒸馏。显式CoT蒸馏直接利用教师模型（LRM）的完整推理链作为目标，训练学生模型输出类似的推理步骤后再给出排序结果。条件蒸馏则将教师模型的推理轨迹嵌入到提示中，引导学生模型在生成推理时参考教师的行为，从而在保持效率的同时提升排序准确性。
TabRank在多个表格检索基准上进行了严格测试，包括域外泛化和多表格场景。与基线模型相比，TabRank在Multi-Table QA Benchmark的多个子集上实现了显著提升：HybridQA的Acc@10提升30.5%，SQA提升15.2%，TabFact提升52.9%，TATQA提升13.1%。值得注意的是，模型在多表格推理任务中也展现了良好的泛化能力。例如，在需要同时检索和综合多个表格信息的复杂查询中，TabRank能够有效推断表格间的关联并给出准确排名。
该研究的代码、数据和模型已开源（https://github.com/AdarshSingh7647/TabRanker），为表格检索领域的进一步研究提供了强大工具。这一工作不仅验证了推理蒸馏在结构化数据检索中的有效性，也为未来构建更高效、更智能的表格问答系统奠定了基础。随着表格数据在商业智能、科学数据分析等领域的重要性日益凸显，TabRank有望推动相关应用的发展。