Grok 4.6和GPT5.6在發現PR安全漏洞方面擊敗Anthropic

我們希望透過實際資料消除選擇PR安全審查模型時的猜測。最新的基準測試結果令人驚訝：Anthropic的所有模型均未達到前沿水平，而三天前剛剛釋出的GPT-5.6 Sol成為新的王者。儘管Fable在全程式碼掃描中表現出色，但PR審查是我們使用者常見的工作負載。

本次測試選取了10個拉取請求，每個請求包含一個植入的訪問控制漏洞（如IDOR、缺失認證或許可權失效）。我們使用Dar Secure漏洞掃描器的高推理模式，對每個模型重複執行五次，並根據實際程式碼評估所有發現。結果顯示，OpenAI、xAI和Google的模型佔據了成本/質量前沿，而Anthropic的模型無一進入。GPT-5.6 Sol以完美的100%召回率和0.91的F1分數位居榜首，每次PR成本僅為0.70美元，比其前身GPT-5.5便宜約45%。Fable 5的表現則令人失望，F1為0.85，成本卻高達約3.61美元/PR，未能達到前沿。

值得注意的是，Fable在全程式碼掃描中表現良好，但PR審查是截然不同的場景。我們使用不同的測試框架（包括Pydantic和Claude Code）驗證了結果，發現趨勢一致。基準測試的範圍僅限於PR審查，不涉及對現有程式碼庫的全面掃描。因此，如果在PR安全審查中使用Fable或其他前沿Claude模型，您可能在浪費資金和資源。

為了確保基準測試的可靠性，我們採用了兩種方法防止資料汙染：一是使用從未公開的私有合成倉庫，每個PR新增一個真實功能並植入一個漏洞；二是反向回放真實CVE，將已修復的漏洞重新引入同期的提交中，使PR看起來像普通開發工作。每個配置執行五次以消除隨機波動，所有日誌均保留用於異常分析。

其他值得一提的模型包括Grok 4.5，它以0.20美元/PR的成本實現了0.77的F1分數，價效比突出；以及Gemini 3.1 Flash Lite，以極低的0.04美元/PR成本提供了0.75的F1分數，適合預算敏感的場景。未來我們將把更多開放權重模型納入基準測試。

總而言之，對於PR安全漏洞檢測，GPT-5.6 Sol是目前的最佳選擇，而Anthropic模型在這一特定任務中並不具有競爭力。我們還將釋出關於全程式碼掃描的單獨文章，屆時模型排名可能不同。