我們評估了1,018個真實世界的AI提示。平均穩健性得分為31/100
對1,018個真實AI提示的評估顯示,平均得分為54/100,但穩健性平均僅31.5,且96%的提示在最弱維度(穩健性)上表現不佳。僅10.5%的提示達到75分以上(生產級標準)。報告揭示了提示工程中常見的“快樂路徑”陷阱,並提供了簡單的改進方法。
一項針對1,018個真實世界AI提示的評估顯示,提示質量分佈並非災難性的:三分之二的提示得分在40到79之間,屬於功能正常、能獲得答案的範疇。只有12%的提示完全不可用(低於30分)。問題在於上限:僅10.5%的提示達到75分,即能夠可靠重複使用的生產級標準。幾乎每個人都能寫出一個能執行一次的提示,但很少有人能寫出始終可靠的提示。
評估框架從四個維度對提示進行評分:清晰度、具體性、結構性和穩健性。其中,穩健性衡量的是當輸入與預期不符時(例如空訊息、貼上垃圾、另一種語言的問題或使用者故意破壞)提示的表現。結果顯示,結構平均得分64.6/100,清晰度63/100,具體性57.6/100,而穩健性僅為31.5/100。在95.7%的提示中,穩健性是最弱的維度,83.6%的提示在此維度上得分低於50。這表明人們普遍只為“快樂路徑”編寫提示——即乾淨的問題、合作的使用者和類似測試時的輸入。
進一步分析發現了四個簡單但有效的改進措施。首先,明確要求輸出格式(如“列出編號列表”或“返回有效JSON”)可使平均分提高29分,達到59.8分,但僅有79%的提示使用了這一技巧。其次,新增約束條件(如“不要編造來源”或“控制在200字以內”)可提高24分,但僅有55%的提示包含約束。第三,設定角色(如“你是一名兒科護士,向擔憂的家長解釋”)可提高17分,70%的提示有此設定。最後,提供一個示例——僅5.2%的提示採用這一做法——能使平均分提高10分,達到63.7分。示例雖看似提升最小,但因其使用率極低,實際改進空間最大。
在應用領域上,內容創作(33.6%)和教育(24.6%)佔據主導地位,平均得分分別為53.5和55.2。資料集74%為英語,19%為阿拉伯語,6%為葡萄牙語。67%的提示是系統提示,即可重複使用、多次執行的提示,這使得其弱點的成本倍增。
報告建議,若要改進一個可重複使用的提示,應首先為“糟糕的日子”新增一行指令,例如“如果輸入為空、不清晰或偏離主題,請告知並要求澄清,而不是猜測”。這一句話就能解決85%提示得分低於50的主要問題。接著明確輸出格式(最大單項提升),然後設定兩到三個約束條件,最後貼上一個良好輸出的示例。按照這一順序操作,提示質量將顯著提升。
方法論方面,所有資料來自2026年5月20日至7月11日期間提交給PromptEval評估器的1,018個提示,由固定LLM裁判根據四個維度進行0-100分評分。提示文本不儲存在基準資料集中。注意存在選擇偏差:這些提示是使用者主動提交評估的,通常懷疑存在問題,因此得分可能低於總體平均水平。