準確理解語音、對話和文字背後的意圖，對於開發有用的大語言模型（LLM）助手至關重要。近日，一篇題為《IntentGrasp：意図理解綜合基準測試》的論文正式釋出，旨在系統評估LLM的意圖理解能力。該基準測試由Yuwei Yin等人於2026年5月7日提交至arXiv。
研究團隊從49個高質量、開放許可的語料庫中精心篩選，涵蓋12個不同領域，透過源資料集整理、意圖示籤上下文化和任務格式統一，構建了IntentGrasp。它包括一個大規模訓練集（262,759個例項）和兩個評估集：包含12,909個測試用例的All Set，以及更平衡且更具挑戰性的Gem Set（僅470個案例）。
研究者在7個家族的20個LLM上進行了廣泛評估，包括GPT-5.4、Gemini-3.1-Pro和Claude-Opus-4.7等前沿模型。結果顯示，所有模型在All Set上的得分均低於60%，在Gem Set上更是低於25%。值得注意的是，20個測試模型中有17個在Gem Set上的表現（15.2%）甚至不如隨機猜測基線。作為對比，估計的人類表現約為81.1%，表明當前LLM的意圖理解能力仍有巨大提升空間。
為增強模型的意圖理解能力，論文提出意圖微調（Intentional Fine-Tuning, IFT）方法，即利用IntentGrasp訓練集對模型進行微調。實驗表明，IFT能帶來顯著提升：在All Set上F1分數提高30多個點，在Gem Set上提高20多個點。更令人關注的是，留一域實驗進一步證明了IFT的強跨領域泛化能力，驗證了該方法能有效提升LLM的意圖理解水平。
總體而言，IntentGrasp透過基準測試和效能提升，為開發更具意圖性、能力更強且更安全的AI助手指明瞭方向，有望為人類社會帶來更多福祉。相關資料已在Hugging Face上開源，程式碼也已釋出於GitHub。