Grok 4.6とGPT5.6、PRのセキュリティ脆弱性発見でAnthropicを凌駕

PRセキュリティレビューに使用するモデルを選ぶ際の推測を排除するため、私たちは実際のデータに基づくベンチマークを実施しました。驚くべきことに、Anthropicのモデルはどれもフロンティアに到達できず、わずか3日前にリリースされたGPT-5.6 Solが王者となりました。Fableは全コードスキャンで優れた性能を発揮しますが、PRレビューはユーザーにとって一般的なワークロードです。

テストでは、10個のプルリクエストそれぞれにアクセス制御の脆弱性（IDOR、認証欠如、認可破損）を1つ植え付け、5回ずつ実行しました。各モデルの発見結果を実際のコードと照合してスコア化しました。その結果、OpenAI、xAI、Googleのモデルがコスト対品質のフロンティアを形成し、Anthropicのモデルはフロンティアに全く入りませんでした。GPT-5.6 Solは完璧な100%の再現率とF1スコア0.91を達成し、1PRあたりのコストはわずか0.70ドル。前身のGPT-5.5より約45%安価です。一方、Fable 5はF1 0.85、コスト約3.61ドル/PRと不調で、フロンティアを外れました。

Fableは全コードスキャンでは良好な結果を示しますが、PRスキャンは異なるワークロードです。私たちはPydanticやClaude Codeのフレームワークでも同様の結果を確認しています。このベンチマークはPRレビューのみを対象としており、大規模なコードベースの全スキャンとは異なります。したがって、PRセキュリティレビューにFableや他のClaudeモデルを使用すると、コストやトークンを無駄にする可能性があります。

ベンチマークの信頼性を確保するため、私たちは2つの方法でデータ汚染を防ぎました。1つは非公開の合成リポジトリを構築し、各PRに現実的な機能と1つの脆弱性を追加する方法。もう1つは実際のCVEをリプレイし、修正を元に戻して同じ時期のコミットに埋め込む方法です。これにより、PRが通常の作業のように見え、モデルが回答を記憶することが防がれます。各設定を5回実行してランダムな変動を平滑化し、すべてのログを保持して異常を分析しました。

その他の注目すべきモデルとして、Grok 4.5は0.20ドル/PRでF1 0.77（再現率74%、適合率80.4%）を達成し、Gemini 3.1 Flash Liteは0.04ドル/PRという低コストでF1 0.75（再現率68%、適合率82.9%）を実現しました。今後は他のオープンウェイトモデルもベンチマークに追加する予定です。

結論として、PRセキュリティ脆弱性の検出にはGPT-5.6 Solが最適であり、Anthropicのモデルはこの特定のタスクでは競争力が低いと言えます。別途、大規模コードベースを自由に探索するエージェントに関する記事も公開する予定です。その際のモデルランキングは異なる可能性があります。