1,018の実世界AIプロンプトを採点。ロバスト性の平均は31/100

1,018の実世界AIプロンプトを評価した結果、プロンプトの品質分布は壊滅的ではないことがわかった：3分の2のプロンプトが40〜79点に位置し、機能的で回答が得られる範囲にある。完全に使えないプロンプト（30点未満）はわずか12%である。問題は上限にある：生産で信頼できる水準である75点に達するプロンプトはわずか10.5%である。ほとんどの人は一度は動作するプロンプトを書けるが、一貫して信頼できるプロンプトを書ける人はほとんどいない。

評価フレームワークは、明確さ、具体性、構造、ロバスト性の4つの次元でプロンプトを採点する。ロバスト性は、入力が想定と異なる場合（空メッセージ、ペーストされたゴミ、別言語の質問、意図的な破壊行為など）のパフォーマンスを測定する。結果は以下の通り：構造64.6/100、明確さ63/100、具体性57.6/100、ロバスト性31.5/100。ロバスト性は95.7%のプロンプトで最も弱い次元であり、83.6%のプロンプトが50点未満である。これは、人々が「ハッピーパス」—つまり、きれいな質問、協力的なユーザー、テスト時に使用した入力と同様の入力—のためにプロンプトを書いていることを示している。

詳細な分析により、4つのシンプルかつ効果的な改善策が明らかになった。まず、出力形式を明示する（例：「番号付きリストで答える」、「有効なJSONを返す」）ことで平均点が29点上昇し59.8点になるが、このテクニックを使用しているプロンプトは79%に過ぎない。次に、制約を追加する（例：「出典を捏造しない」、「200語以内に収める」）ことで24点上昇し、使用率は55%である。第三に、ペルソナを設定する（例：「あなたは心配する親に説明する小児科看護師です」）ことで17点上昇し、70%のプロンプトがこれを利用している。最後に、良い出力の例を1つ提示する—わずか5.2%のプロンプトがこれを行っている—ことで平均点が10点上昇し63.7点になる。例は見かけ上の向上幅は小さいが、使用率が極めて低いため、実際の改善余地は最も大きい。

用途別では、コンテンツ作成（33.6%、平均53.5点）と教育（24.6%、平均55.2点）が大半を占める。データセットは74%が英語、19%がアラビア語、6%がポルトガル語である。67%のプロンプトはシステムプロンプトであり、再利用可能で何度も実行されるため、弱点のコストが倍増する。

レポートでは、再利用するプロンプトを改善するための優先順位を提案している：まず、「悪い日」のための1行を追加する（「入力が空、不明瞭、またはトピック外の場合は、推測せずにその旨を伝え、明確化を求める」）。この1文で、85%のプロンプトが50点未満である主要問題に対処できる。次に出力形式を明示する（最大の単一向上効果）、その後2〜3の制約を設定し、最後に良い出力の例を1つ貼り付ける。この順序で実践することで、プロンプト品質は大幅に向上する。

方法論：すべてのデータは、2026年5月20日から7月11日までにPromptEval評価器に提出された1,018のプロンプトに基づき、固定LLM判定者により4次元で0〜100点で採点された。プロンプトテキストはベンチマークデータセットに保存されない。選択バイアスに注意：これらのプロンプトは問題を疑って自発的に評価提出されたものであり、スコアは一般集団より低い傾向にある。