TabRank：面向表格重排序的思維鏈蒸餾技術
TabRank提出一種針對表格檢索的推理重排序器訓練框架，通過從大型推理模型（LRM）蒸餾思維鏈（CoT）推理軌跡，顯著提升多階段檢索系統的性能。在多個數據集上，Acc@10提升高達52.9%，並展現出強大的跨領域和多表格泛化能力。
在結構化信息檢索領域，如何高效檢索與問題相關的表格仍是關鍵挑戰。多階段檢索系統依賴於重排序器來優化初篩結果。隨着深度學習的發展，基於神經網絡和大型語言模型（LLM）的重排序方法因其語義理解與推理能力而受到廣泛關注。近期，具備顯式思維鏈（CoT）推理能力的大型推理模型（LRM）在非結構化段落檢索中展現了顯著優勢。受此啓發，Adarsh Singh等人提出了TabRank——一個專門針對表格檢索的推理重排序器訓練框架。
研究團隊首先基於Natural Questions Tables數據集構建了包含6728條推理軌跡的表格重排序數據集。每條軌跡詳細記錄了從候選表格中推理出正確答案的邏輯步驟，涵蓋了表格結構理解、數值計算、事實匹配等多種推理類型。這一數據集的構建為後續的模型訓練提供了高質量的監督信號。在此基礎上，他們探索了兩種訓練緊湊推理模型的方法：顯式CoT蒸餾和條件蒸餾。顯式CoT蒸餾直接利用教師模型（LRM）的完整推理鏈作為目標，訓練學生模型輸出類似的推理步驟後再給出排序結果。條件蒸餾則將教師模型的推理軌跡嵌入到提示中，引導學生模型在生成推理時參考教師的行為，從而在保持效率的同時提升排序準確性。
TabRank在多個表格檢索基準上進行了嚴格測試，包括域外泛化和多表格場景。與基線模型相比，TabRank在Multi-Table QA Benchmark的多個子集上實現了顯著提升：HybridQA的Acc@10提升30.5%，SQA提升15.2%，TabFact提升52.9%，TATQA提升13.1%。值得注意的是，模型在多表格推理任務中也展現了良好的泛化能力。例如，在需要同時檢索和綜合多個表格信息的複雜查詢中，TabRank能夠有效推斷表格間的關聯並給出準確排名。
該研究的代碼、數據和模型已開源（https://github.com/AdarshSingh7647/TabRanker），為表格檢索領域的進一步研究提供了強大工具。這一工作不僅驗證了推理蒸餾在結構化數據檢索中的有效性，也為未來構建更高效、更智能的表格問答系統奠定了基礎。隨着表格數據在商業智能、科學數據分析等領域的重要性日益凸顯，TabRank有望推動相關應用的發展。