PEML：基於優化連續提示的參數高效多任務學習

近年來，大型語言模型（LLM）的參數高效微調（PEFT）技術被廣泛用於適應各類任務。然而，現有方法如LoRA和Prefix Tuning主要針對單一任務設計，在多任務場景下存在侷限：LoRA側重於調整模型權重而忽略提示優化，Prefix Tuning的提示結構過於簡單。為了克服這些不足，研究者提出了PEML（Parameter-efficient Multi-task Learning with Optimized Continuous Prompts），該框架通過神經架構工程自動優化連續提示，同時執行低秩矩陣分解以適應模型權重。具體而言，PEML構建了一個自動化流程，協同優化提示和模型參數，從而在多個任務上共享公共特徵，減少對獨立模型和大量標註數據的依賴。實驗表明，在GLUE、SuperGLUE、Massive Multitask Language Understanding（MMLU）和常識推理等多個基準測試中，PEML平均準確率提升達6.67%，部分任務甚至提升10.75%。值得注意的是，PEML在資源消耗上遠低於為每個任務部署獨立模型，特別適合實際應用中的資源受限環境。該研究為多任務學習提供了一種高效且可擴展的解決方案，有望推動LLM在更廣泛場景中的應用。此外，論文還詳細介紹了PEML的架構設計，包括如何利用神經架構搜索生成最優提示結構，以及如何通過低秩適應保持模型參數的效率。研究者還對比了與MTL-LoRA、MultiLoRa、C-Poly和MoE等先進方法的性能差異，展示了PEML在多種任務上的優勢。論文共有26頁，包含8張圖和18張表格，於2026年5月13日提交至arXiv，主題涵蓋計算與語言（cs.CL）和人工智能（cs.AI）。這一工作不僅解決了多任務學習中的關鍵挑戰，還為未來的模型部署提供了經濟高效的方案。