Grok 4.6和GPT5.6在发现PR安全漏洞方面击败Anthropic

我们希望通过实际数据消除选择PR安全审查模型时的猜测。最新的基准测试结果令人惊讶：Anthropic的所有模型均未达到前沿水平，而三天前刚刚发布的GPT-5.6 Sol成为新的王者。尽管Fable在全代码扫描中表现出色，但PR审查是我们用户常见的工作负载。

本次测试选取了10个拉取请求，每个请求包含一个植入的访问控制漏洞（如IDOR、缺失认证或权限失效）。我们使用Dar Secure漏洞扫描器的高推理模式，对每个模型重复运行五次，并根据实际代码评估所有发现。结果显示，OpenAI、xAI和Google的模型占据了成本/质量前沿，而Anthropic的模型无一进入。GPT-5.6 Sol以完美的100%召回率和0.91的F1分数位居榜首，每次PR成本仅为0.70美元，比其前身GPT-5.5便宜约45%。Fable 5的表现则令人失望，F1为0.85，成本却高达约3.61美元/PR，未能达到前沿。

值得注意的是，Fable在全代码扫描中表现良好，但PR审查是截然不同的场景。我们使用不同的测试框架（包括Pydantic和Claude Code）验证了结果，发现趋势一致。基准测试的范围仅限于PR审查，不涉及对现有代码库的全面扫描。因此，如果在PR安全审查中使用Fable或其他前沿Claude模型，您可能在浪费资金和资源。

为了确保基准测试的可靠性，我们采用了两种方法防止数据污染：一是使用从未公开的私有合成仓库，每个PR添加一个真实功能并植入一个漏洞；二是反向回放真实CVE，将已修复的漏洞重新引入同期的提交中，使PR看起来像普通开发工作。每个配置运行五次以消除随机波动，所有日志均保留用于异常分析。

其他值得一提的模型包括Grok 4.5，它以0.20美元/PR的成本实现了0.77的F1分数，性价比突出；以及Gemini 3.1 Flash Lite，以极低的0.04美元/PR成本提供了0.75的F1分数，适合预算敏感的场景。未来我们将把更多开放权重模型纳入基准测试。

总而言之，对于PR安全漏洞检测，GPT-5.6 Sol是目前的最佳选择，而Anthropic模型在这一特定任务中并不具有竞争力。我们还将发布关于全代码扫描的单独文章，届时模型排名可能不同。