准确理解语音、对话和文字背后的意图，对于开发有用的大语言模型（LLM）助手至关重要。近日，一篇题为《IntentGrasp：意図理解綜合基準測試》的论文正式发布，旨在系统评估LLM的意图理解能力。该基准测试由Yuwei Yin等人于2026年5月7日提交至arXiv。
研究团队从49个高质量、开放许可的语料库中精心筛选，涵盖12个不同领域，通过源数据集整理、意图标签上下文化和任务格式统一，构建了IntentGrasp。它包括一个大规模训练集（262,759个实例）和两个评估集：包含12,909个测试用例的All Set，以及更平衡且更具挑战性的Gem Set（仅470个案例）。
研究者在7个家族的20个LLM上进行了广泛评估，包括GPT-5.4、Gemini-3.1-Pro和Claude-Opus-4.7等前沿模型。结果显示，所有模型在All Set上的得分均低于60%，在Gem Set上更是低于25%。值得注意的是，20个测试模型中有17个在Gem Set上的表现（15.2%）甚至不如随机猜测基线。作为对比，估计的人类表现约为81.1%，表明当前LLM的意图理解能力仍有巨大提升空间。
为增强模型的意图理解能力，论文提出意图微调（Intentional Fine-Tuning, IFT）方法，即利用IntentGrasp训练集对模型进行微调。实验表明，IFT能带来显著提升：在All Set上F1分数提高30多个点，在Gem Set上提高20多个点。更令人关注的是，留一域实验进一步证明了IFT的强跨领域泛化能力，验证了该方法能有效提升LLM的意图理解水平。
总体而言，IntentGrasp通过基准测试和性能提升，为开发更具意图性、能力更强且更安全的AI助手指明了方向，有望为人类社会带来更多福祉。相关数据已在Hugging Face上开源，代码也已发布于GitHub。