TabPFN-MT：面向表格数据的原生多任务上下文学习器
TabPFN-MT是一种用于表格数据的多任务上下文学习模型，通过扩展的多目标合成先验和共享解码器，实现了多个预测任务的同时推理，将推理成本从O(T)降低到O(1)，在小型到中型数据集上达到了新的最先进水平。
近日，来自麦吉尔大学的研究团队提出了一种名为TabPFN-MT的新型模型，专门用于表格数据的多任务学习。该模型基于先验数据拟合网络（PFN）架构，但突破了原有单任务推理的限制，能够在一个上下文中同时预测多个目标变量，实现了真正的多任务上下文学习。
传统PFN在处理多个预测任务时，需要为每个目标重复进行前向传播，不仅计算成本高，还无法利用不同任务之间的共享信息。TabPFN-MT通过训练一个扩展的多目标合成先验，捕捉任务间的依赖关系。其核心创新包括一个扩展的y编码器和一个共享解码器头，使得模型能够在一个前向传播中同时输出所有任务的预测结果。
TabPFN-MT特别适用于样本量较小的表格数据集（平均少于1000个样本），因为它依赖于上下文学习而非传统的梯度更新。研究团队在344个数据集上进行了广泛评估，结果显示，在多任务学习场景下，TabPFN-MT的平均准确率排名为4.89，是所有测试模型中最高的，确立了新的深度表格多任务学习最先进水平。
更重要的是，TabPFN-MT在保持高度竞争力的同时，将T个任务的推理成本从O(T)降低到O(1)，显著提升了计算效率。这一突破对于需要同时预测多个目标的实际应用（如医疗诊断、金融风险分析等）具有重大意义。该论文由Cormac Cureton和Narges Armanfard撰写，已于2026年5月16日提交至arXiv，相关代码和数据也已公开。