21.2万回のAIコーディングベンチマーク：文脈は汎用プロンプトに勝る

2026年6月更新。このガイドはもともと1,458件のPythonベンチマークに基づいていましたが、現在はPython・Go・JavaScript・C#を対象とした21万2000件以上のベンチマークに拡張され、思考連鎖、丁寧さ、ペルソナ設定、コンテキスト汚染、モデル選択、検証指示、多ターン反復、言語別ルール、/init最適化、感情的強調、出力圧縮などをテストしています。実験はClaude Haiku・Sonnet・Opusで行われ、データはclaude-benchmarkで公開されています。

最も重要なベースライン発見は、1,458回の実行・13種類のプロンプト構成・3モデルを通じて、どの構成も空プロンプトを安定して上回らなかったことです。空プロンプトの複合スコアは92.15でした。micro-quality（汎用コーディング助言4項目）は91.61（-0.54）、typical-readableは91.08（-1.07）、large-readableは91.29（-0.86）でした。指示トークン数と品質の相関はr=-0.95で、ほぼ完全な負の相関です。つまり、汎用ルールを追加するほど出力品質は平均的に下がります。

つまり、一般的なプロンプトエンジニアリングの助言はコーディングタスクでは逆効果になりがちです。スタイルルール、思考連鎖指示、ペルソナ定義、書式要件は、モデルがすでに持つシグナルにノイズを加えるだけです。言語横断実験では、Pythonのベースライン能力が高いため助言の多くがノイズになる一方、Go・JavaScript・C#ではモデルの自信が低く、未内化の明確な指示が有益になることが分かりました。

最初のルールは、Claudeにコードの書き方を教えないことです。snake_caseを使う、docstringを書く、エッジケースを処理するといった汎用知識はテストで0.54ポイントの損失を生みました。2番目のルールは、考え方を指示しないことです。270回の思考連鎖実験では、cot-prefixはベースラインより平均0.56低く、cot-detailedは0.73低くなりました。Opusはrefactor-01で86.8から83.3へ低下しました。ただし言語別では、思考連鎖はGoで+5.3、C#で+7.7、Pythonでは-0.5でした。

3番目のルールは、モデルが知らないプロジェクト固有の知識を与えることです。ビルドコマンド、ディレクトリ構成、コミット規約、ドメイン用語などは、トレーニングデータにない真に有益な情報です。理想的なCLAUDE.mdは新人向けのオンボーディング資料であり、スタイルガイドではありません。4番目のルールは肯定的な表現です。当初のPythonデータでは肯定的な枠組みが否定的な枠組みより0.66ポイント高かったのですが、20,499回のスコア付き実行を行った大規模実験では、その差は統計的にノイズでした。感情的な調子はより明確で、成長マインドセット型の表現は+1.88、高圧的な「生死に関わる」表現は-3.33でした。

5番目のルールは、一般的な品質ではなく特定の弱点を狙うことです。指示は簡単なタスクでは有害で、難しいタスクでは有益です。workflow構成はOpusの指示追従タスクで+5.80、最低スコアを61.4から83.5に引き上げました。refactor-awareはHaikuのリファクタリングで+2.54でした。つまり、CLAUDE.mdを一律に適用せず、弱点が見られるタスクだけに的を絞るべきです。6番目のルールは書式を保つことです。Markdown見出し、箇条書き、空白は小さなモデルが指示を解析するのに役立ちます。typical-readableはHaiku（-1.56）とSonnet（-0.86）で圧縮版を上回り、Opusは書式に無関係でした（+0.19）。

タスクはbug-fix-01-goのような命名規則に従い、全48タスク（各言語12）がtasks/builtin/にあります。実験設定はexperiments/cross-language.tomlとexperiments/cot-cross-language.tomlです。結論は明確です。汎用ルールを減らし、プロジェクト固有の文脈を増やし、やってほしいことを励ます言葉で書くことです。