本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

AIエージェントが1回の実行で脆弱な依存関係の98%を修正、次の実行では14%

記事の要約

研究によると、Bomly MCPサーバーと連携したAIエージェントは大規模プロジェクトで98%以上の修正可能な脆弱性を安定して修正する一方、エージェント単体ではばらつきが大きく、14%にまで落ち込む場合もあります。このサーバーは依存関係グラフ、脆弱性リスト、修正コンテキストを提供し、発見のボトルネックを解消します。

ソースHacker News AI著者: ahmed3lmallah
AIエージェントが1回の実行で脆弱な依存関係の98%を修正、次の実行では14%
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

AIコーディングエージェントによる脆弱な依存関係の修正に関する研究で、MCPサーバーの価値が明らかになりました。研究チームはClaude CodeとCodex CLIという2つの主要エージェントを用い、約300の依存関係を持つ13モジュールのMavenプロジェクトでテストを実施。結果、Bomly MCPサーバーに接続した場合、どちらのエージェントも毎回98%以上の修正可能脆弱性を修正しました。一方、サーバーなしではClaude Codeの完了率は14%から98%まで大きく変動し、Codex CLIは93-100%で安定していたものの、実行時間はほぼ2倍でした。

研究では、大規模プロジェクトでは脆弱性の「発見」自体が修正よりも困難であることが判明。Bomly MCPサーバーは依存関係グラフ全体、脆弱性リスト、修正コンテキストを提供し、エージェントがモジュール構造を手作業で探索する代わりに修正に集中できるようにしました。例えば、Claude Codeの完了率14%の実行では87回ものツール呼び出しが行われましたが、その大部分はモジュールツリーの手動探索に費やされ、56の修正可能脆弱性のうちわずか8つしか修正されませんでした。

3つの小規模アプリケーション(Python、単一モジュールのMaven、npm)では、エージェント単体でも99-100%の完了率を示し、サーバーは追加の利点をもたらしませんでした。これはMCPサーバーの価値が、依存関係構造が複雑でネイティブの監査コマンドが欠如している大規模プロジェクトに限定されることを示唆しています。

さらに、サーバーは誤った修正主張も削減しました。Claude Codeの虚偽主張は5回中4回から2回に減少し、影響を受けるパッケージ数は9から4に低下。Codex CLIでは虚偽主張数は変わらなかったものの、平均実行時間が約13分から7.5分に短縮されました。

研究チームはこれは観察結果であり一般化できるものではないと強調していますが、依存関係ツリーが大規模な場合には全グラフコンテキストがエージェントにとって極めて重要であることを示しています。すべての実験データ、プロンプト、スコアリングコードは公開されており、再現が可能です。

また、この研究では予期せずBomlyツール自体の4つのバグが発見されました。これには、pip-auditによるPythonインタプリタ検出の汚染、ANSIカラーコードによる依存関係の不可視化、MCPレスポンスの切り詰め、マルチモジュールMavenスキャンの失敗などが含まれ、研究過程で修正されました。FAQでは、Bomly MCPサーバーは大規模プロジェクトで効果的である一方、小規模プロジェクトでは不要であると結論づけられています。

要点と分析を開く

記事インテリジェンス

投資家中級

要点

  • 約300の依存関係を持つ13モジュールのMavenプロジェクトにおいて、Bomly MCPサーバーに接続したClaude CodeとCodex CLIはともに98%以上の修正完了率を達成。
  • サーバーなしでは、Claude Codeの完了率は14%から98%の間で変動し、Codex CLIは93-100%を維持したものの、ほぼ2倍の時間を要した。
  • 小規模プロジェクトではエージェント単体で十分に機能し、サーバーは完了率を向上させなかった。
  • サーバーは修正の下限を引き上げ、誤った修正主張を減らし、Codex CLIの実行時間をほぼ半分に短縮した。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。