我们评估了1,018个真实世界的AI提示。平均稳健性得分为31/100
对1,018个真实AI提示的评估显示,平均得分为54/100,但稳健性平均仅31.5,且96%的提示在最弱维度(稳健性)上表现不佳。仅10.5%的提示达到75分以上(生产级标准)。报告揭示了提示工程中常见的“快乐路径”陷阱,并提供了简单的改进方法。
一项针对1,018个真实世界AI提示的评估显示,提示质量分布并非灾难性的:三分之二的提示得分在40到79之间,属于功能正常、能获得答案的范畴。只有12%的提示完全不可用(低于30分)。问题在于上限:仅10.5%的提示达到75分,即能够可靠重复使用的生产级标准。几乎每个人都能写出一个能运行一次的提示,但很少有人能写出始终可靠的提示。
评估框架从四个维度对提示进行评分:清晰度、具体性、结构性和稳健性。其中,稳健性衡量的是当输入与预期不符时(例如空消息、粘贴垃圾、另一种语言的问题或用户故意破坏)提示的表现。结果显示,结构平均得分64.6/100,清晰度63/100,具体性57.6/100,而稳健性仅为31.5/100。在95.7%的提示中,稳健性是最弱的维度,83.6%的提示在此维度上得分低于50。这表明人们普遍只为“快乐路径”编写提示——即干净的问题、合作的用户和类似测试时的输入。
进一步分析发现了四个简单但有效的改进措施。首先,明确要求输出格式(如“列出编号列表”或“返回有效JSON”)可使平均分提高29分,达到59.8分,但仅有79%的提示使用了这一技巧。其次,添加约束条件(如“不要编造来源”或“控制在200字以内”)可提高24分,但仅有55%的提示包含约束。第三,设定角色(如“你是一名儿科护士,向担忧的家长解释”)可提高17分,70%的提示有此设置。最后,提供一个示例——仅5.2%的提示采用这一做法——能使平均分提高10分,达到63.7分。示例虽看似提升最小,但因其使用率极低,实际改进空间最大。
在应用领域上,内容创作(33.6%)和教育(24.6%)占据主导地位,平均得分分别为53.5和55.2。数据集74%为英语,19%为阿拉伯语,6%为葡萄牙语。67%的提示是系统提示,即可重复使用、多次运行的提示,这使得其弱点的成本倍增。
报告建议,若要改进一个可重复使用的提示,应首先为“糟糕的日子”添加一行指令,例如“如果输入为空、不清晰或偏离主题,请告知并要求澄清,而不是猜测”。这一句话就能解决85%提示得分低于50的主要问题。接着明确输出格式(最大单项提升),然后设置两到三个约束条件,最后粘贴一个良好输出的示例。按照这一顺序操作,提示质量将显著提升。
方法论方面,所有数据来自2026年5月20日至7月11日期间提交给PromptEval评估器的1,018个提示,由固定LLM裁判根据四个维度进行0-100分评分。提示文本不存储在基准数据集中。注意存在选择偏差:这些提示是用户主动提交评估的,通常怀疑存在问题,因此得分可能低于总体平均水平。