PEML：基于优化连续提示的参数高效多任务学习

近年来，大型语言模型（LLM）的参数高效微调（PEFT）技术被广泛用于适应各类任务。然而，现有方法如LoRA和Prefix Tuning主要针对单一任务设计，在多任务场景下存在局限：LoRA侧重于调整模型权重而忽略提示优化，Prefix Tuning的提示结构过于简单。为了克服这些不足，研究者提出了PEML（Parameter-efficient Multi-task Learning with Optimized Continuous Prompts），该框架通过神经架构工程自动优化连续提示，同时执行低秩矩阵分解以适应模型权重。具体而言，PEML构建了一个自动化流程，协同优化提示和模型参数，从而在多个任务上共享公共特征，减少对独立模型和大量标注数据的依赖。实验表明，在GLUE、SuperGLUE、Massive Multitask Language Understanding（MMLU）和常识推理等多个基准测试中，PEML平均准确率提升达6.67%，部分任务甚至提升10.75%。值得注意的是，PEML在资源消耗上远低于为每个任务部署独立模型，特别适合实际应用中的资源受限环境。该研究为多任务学习提供了一种高效且可扩展的解决方案，有望推动LLM在更广泛场景中的应用。此外，论文还详细介绍了PEML的架构设计，包括如何利用神经架构搜索生成最优提示结构，以及如何通过低秩适应保持模型参数的效率。研究者还对比了与MTL-LoRA、MultiLoRa、C-Poly和MoE等先进方法的性能差异，展示了PEML在多种任务上的优势。论文共有26页，包含8张图和18张表格，于2026年5月13日提交至arXiv，主题涵盖计算与语言（cs.CL）和人工智能（cs.AI）。这一工作不仅解决了多任务学习中的关键挑战，还为未来的模型部署提供了经济高效的方案。