TabPFN-MT 是一种面向表格数据的原生多任务上下文学习器，由 Cormac Cureton 与 Narges Armanfard 提出，论文以 arXiv:2605.20234 提交于 2026 年 5 月 16 日，属于机器学习（cs.LG）与人工智能（cs.AI）交叉方向，全文共 24 页、含 7 幅图。该研究的出发点在于：先验数据拟合网络（Prior-Data Fitted networks，PFN）在表格任务中已取得很大成功，能够在上下文中直接完成预测，但这类模型本质上是为单任务推理设计的。也就是说，如果要在一个上下文里预测多个目标值，就必须反复进行前向调用，任务之间也无法共享信息，这既拖慢速度，又损失了多目标之间可能存在的相关性。
为突破这一限制，作者提出了 TabPFN-MT。其核心做法是在一个扩展的多目标合成先验上进行训练，使模型能够在上下文内捕捉任务之间的依赖关系。在结构上，该模型采用扩展的 y-encoder 与共享解码器头，从而支持多任务上下文学习与同步推理。与传统依赖梯度训练的方法不同，TabPFN-MT 依托上下文学习，因此特别针对小到中等规模数据集进行了专门优化。作者将这一适用区间界定为平均样本数少于 1000 的情形，这也是表格任务中非常常见、却往往难以发挥深度模型优势的数据规模。
在实验层面，作者在 344 个数据集上进行了广泛评估。结果显示，在上述小样本区间内，TabPFN-MT 在深度表格多任务学习上建立了新的最先进水平。更值得注意的是，尽管联合优化本身存在固有的计算不对称性，该模型仍然与最新的单任务最先进集成方法保持很强的竞争力。在多任务数据集上，它取得了 4.89 的整体准确率排名，是所有被测模型中平均排名最高的。
效率是该工作的另一大亮点。对于 T 个任务，TabPFN-MT 将推理成本从 O(T) 次前向传播降至 O(1) 次，也就是一次前向即可同时给出多个目标的预测。这为多目标表格应用带来了显著的计算效率提升，使得在需要同时预测多个字段的场景中部署模型变得更加现实。
总体而言，这项工作的贡献可以归纳为三点：一是把 PFN 范式从单任务扩展到原生多任务，通过扩展的多目标合成先验让模型在上下文中学会利用任务间相关性；二是通过扩展 y-encoder 与共享解码器头实现同步推理，把多目标任务的计算复杂度由线性降为常数；三是在 344 个数据集上的大规模评测中验证了其在小到中等规模表格数据上的领先性与竞争力。论文提供了 PDF、实验性 HTML 以及 TeX 源码等多种获取方式，并通过 DataCite 分配了 DOI，提交版本 v1 的时间为 2026 年 5 月 16 日 15:02:03 UTC。