PEML：最適化された連続プロンプトを用いたパラメータ効率的マルチタスク学習

近年、大規模言語モデル（LLM）のパラメータ効率的ファインチューニング（PEFT）技術は様々なタスクへの適応に広く利用されている。しかし、LoRAやPrefix Tuningなどの既存手法は主に単一タスク向けに設計されており、マルチタスク学習においては限界がある。LoRAはモデル重みの調整に注力する一方でプロンプト最適化を軽視し、Prefix Tuningはプロンプト構造が単純すぎる。これらの課題に対処するため、研究者らはPEML（Parameter-efficient Multi-task Learning with Optimized Continuous Prompts）を提案した。PEMLはニューラルアーキテクチャエンジニアリングを活用して連続プロンプトを自動最適化するとともに、低ランク行列分解によりモデル重みを効率的に適応させる。具体的には、プロンプトとモデルパラメータを協調最適化する自動フレームワークを構築し、複数タスク間で共通特徴を共有することで、独立したモデルや大量のラベル付きデータへの依存を低減する。実験では、GLUE、SuperGLUE、Massive Multitask Language Understanding（MMLU）、常識推論などのベンチマークにおいて、PEMLは平均精度を最大6.67%向上させ、一部のタスクでは10.75%の改善を示した。また、タスクごとに個別モデルをデプロイする場合と比較してリソース消費を大幅に削減できるため、リソース制約のある実環境での応用に特に適している。本研究は、マルチタスク学習のための効率的かつスケーラブルなソリューションを提供し、LLMのより幅広い応用を促進するものと期待される。さらに、論文ではPEMLのアーキテクチャ設計について詳細に説明しており、ニューラルアーキテクチャサーチを用いた最適なプロンプト構造の生成方法や、低ランク適応によるパラメータ効率の維持について述べられている。また、MTL-LoRA、MultiLoRa、C-Poly、MoEなどの最先端手法との比較実験を通じて、PEMLの優位性が示されている。本論文は26ページ、8図、18表から成り、2026年5月13日にarXivに投稿され、テーマは計算と言語（cs.CL）および人工知能（cs.AI）である。この研究は、マルチタスク学習における重要な課題を解決するだけでなく、将来のモデル展開に経済的なソリューションを提供する。