AIエージェントが1回の実行で脆弱な依存関係の98%を修正、次の実行では14%

AIコーディングエージェントによる脆弱な依存関係の修正に関する研究で、MCPサーバーの価値が明らかになりました。研究チームはClaude CodeとCodex CLIという2つの主要エージェントを用い、約300の依存関係を持つ13モジュールのMavenプロジェクトでテストを実施。結果、Bomly MCPサーバーに接続した場合、どちらのエージェントも毎回98%以上の修正可能脆弱性を修正しました。一方、サーバーなしではClaude Codeの完了率は14%から98%まで大きく変動し、Codex CLIは93-100%で安定していたものの、実行時間はほぼ2倍でした。

研究では、大規模プロジェクトでは脆弱性の「発見」自体が修正よりも困難であることが判明。Bomly MCPサーバーは依存関係グラフ全体、脆弱性リスト、修正コンテキストを提供し、エージェントがモジュール構造を手作業で探索する代わりに修正に集中できるようにしました。例えば、Claude Codeの完了率14%の実行では87回ものツール呼び出しが行われましたが、その大部分はモジュールツリーの手動探索に費やされ、56の修正可能脆弱性のうちわずか8つしか修正されませんでした。

3つの小規模アプリケーション（Python、単一モジュールのMaven、npm）では、エージェント単体でも99-100%の完了率を示し、サーバーは追加の利点をもたらしませんでした。これはMCPサーバーの価値が、依存関係構造が複雑でネイティブの監査コマンドが欠如している大規模プロジェクトに限定されることを示唆しています。

さらに、サーバーは誤った修正主張も削減しました。Claude Codeの虚偽主張は5回中4回から2回に減少し、影響を受けるパッケージ数は9から4に低下。Codex CLIでは虚偽主張数は変わらなかったものの、平均実行時間が約13分から7.5分に短縮されました。

研究チームはこれは観察結果であり一般化できるものではないと強調していますが、依存関係ツリーが大規模な場合には全グラフコンテキストがエージェントにとって極めて重要であることを示しています。すべての実験データ、プロンプト、スコアリングコードは公開されており、再現が可能です。

また、この研究では予期せずBomlyツール自体の4つのバグが発見されました。これには、pip-auditによるPythonインタプリタ検出の汚染、ANSIカラーコードによる依存関係の不可視化、MCPレスポンスの切り詰め、マルチモジュールMavenスキャンの失敗などが含まれ、研究過程で修正されました。FAQでは、Bomly MCPサーバーは大規模プロジェクトで効果的である一方、小規模プロジェクトでは不要であると結論づけられています。