近日，來自麥吉爾大學的研究團隊提出了一種名為TabPFN-MT的新型模型，專門用於表格數據的多任務學習。該模型基於先驗數據擬合網絡（PFN）架構，但突破了原有單任務推理的限制，能夠在一個上下文中同時預測多個目標變量，實現了真正的多任務上下文學習。
傳統PFN在處理多個預測任務時，需要為每個目標重複進行前向傳播，不僅計算成本高，還無法利用不同任務之間的共享信息。TabPFN-MT通過訓練一個擴展的多目標合成先驗，捕捉任務間的依賴關係。其核心創新包括一個擴展的y編碼器和一個共享解碼器頭，使得模型能夠在一個前向傳播中同時輸出所有任務的預測結果。
TabPFN-MT特別適用於樣本量較小的表格數據集（平均少於1000個樣本），因為它依賴於上下文學習而非傳統的梯度更新。研究團隊在344個數據集上進行了廣泛評估，結果顯示，在多任務學習場景下，TabPFN-MT的平均準確率排名為4.89，是所有測試模型中最高的，確立了新的深度表格多任務學習最先進水平。
更重要的是，TabPFN-MT在保持高度競爭力的同時，將T個任務的推理成本從O(T)降低到O(1)，顯著提升了計算效率。這一突破對於需要同時預測多個目標的實際應用（如醫療診斷、金融風險分析等）具有重大意義。該論文由Cormac Cureton和Narges Armanfard撰寫，已於2026年5月16日提交至arXiv，相關代碼和數據也已公開。