CyberSecQwen-4B：防御的サイバーセキュリティに小型・特化・ローカル実行可能なモデルが必要な理由
CyberSecQwen-4Bは、Qwen3-4B-Instructからファインチューニングされた小型のサイバーセキュリティ特化モデルで、データプライバシー、コスト、オフライン展開のニーズに応えます。CTI-Benchベンチマークで、8BパラメータのCisco Foundation-Sec-Instructモデルと同等かそれ以上の性能を、半分のパラメータ数で達成し、1枚のコンシューマGPUで動作します。記事では、トレーニング手法、データソース、ベンチマーク結果、今後の方向性を詳述しています。
記事インテリジェンス
要点
- CyberSecQwen-4BはCTI-MCQでCiscoの8Bモデルを+8.7ポイント上回り、CTI-RCMでは97.3%の精度を維持、パラメータ数は半分。
- 12 GBのコンシューマGPUで動作し、機密データをオンプレミスに保ち、APIコストを削減、隔離環境をサポート。
- AMD MI300X GPU1枚でLoRA学習、MITRE/NVDのCVE-CWEマッピングと合成Q&Aデータを使用、重複を除去。
- 今後の計画は1Bバリアント、GGUF量子化、継続的評価、敵対的ロバスト性の向上。
重要な理由
このニュースが重要なのは、CyberSecQwen-4BはCTI-MCQでCiscoの8Bモデルを+8.7ポイント上回り、CTI-RCMでは97.3%の精度を維持、パラメータ数は半分ためです。
技術的影響
モデル選定、推論コスト、プロダクト能力、評価基準に影響する可能性があります。
最先端モデルは多くのタスクに優れていますが、呼び出しコストが高く、すべてのプロンプトを他人のデータセンターに送信し、実際の防御者が直面するインシデントレポートやログ内の悪意あるペイロード、脆弱性開示の下書きといった難解なエッジケースを拒否するよう明示的に訓練されています。防御的サイバーセキュリティの分野では、これらのトレードオフはどれも許容できません。
機密証拠は内部にとどめる必要があります。SOCアナリストが漏洩した認証情報をトリアージする場合、マルウェアリバースエンジニアがサンプルを解析する場合、脆弱性研究者がCVEを作成する場合、いずれもホスト型APIにその内容を貼り付けるべきではありません。データ自体が侵害の原因になり得ます。API呼び出しごとのコストは累積し、中規模SOCは1日あたり数千の低確信度アラームを処理します。「このCVEを説明して」や「該当するCWEは何か」といったAPI呼び出しは、防御自動化を予算の問題に変えます。
また、隔離環境や部分的な接続環境は、重要インフラ、医療、政府機関では例外ではなく標準です。ツールがラップトップや単一のオンプレミスGPUで動作しなければ、そこに導入できません。
攻撃者はますます自動化を進めています。ランサムウェアギャングはLLMを使って30言語でフィッシングメールを作成し、バグバウンティ自動化ツールはエージェントを連鎖させて人間がレビューするよりも速くファジング、トリアージ、エクスプロイトを行います。同じ速度で防御するには、防御者が所有し実行できるモデルが必要です。
したがって、ローカル実行が重要ですが、「ローカル」だけでは十分ではありません。70Bの汎用モデルを4枚のGPUでローカル実行するのは「ローカル」ですが、導入可能ではありません。4Bの汎用モデルを1枚のコンシューマGPUでローカル実行するのは導入可能ですが、実際に必要なタスクでは8Bの特化モデルに勝てません。CyberSecQwen-4Bの賭けは、CWE分類、CVEからCWEへのマッピング、構造化CTI Q&Aといった狭く評価された脅威インテリジェンスタスクにおいて、注意深くチューニングされた4Bモデルが8Bの特化モデルに匹敵または凌駕し、12 GBのコンシューマカードに収まるというものです。
このモデルは、最も強力な公開ベースラインであるCiscoのFoundation-Sec-Instruct-8Bに対してテストされました。CTI-Benchベンチマークにおいて、CyberSecQwen-4BはCTI-MCQ（2,500項目）で0.5868（Ciscoは0.4996、+8.7ポイント）、CTI-RCM（1,000項目のCVE→CWEマッピング）で0.6664（Ciscoは0.6850、97.3%の精度を維持）を達成し、パラメータ数は半分です。
トレーニングは単一のAMD Instinct MI300X 192 GBインスタンスで行われ、ROCm 7、FlashAttention-2、bf16精度、シーケンス長4096が使用されました。トレーニングデータは、MITRE/NVDの2021年CVE-CWEマッピング（CTI-Benchの評価セットとの重複は除去済み）と、重複除去されたCVE記述に基づく合成防御アナリストQ&Aです。ベースモデルはQwen3-4B-Instruct-2507で、LoRA（r=64、alpha=64、dropout=0.05）、学習率5e-5、コサインスケジュール、10エポックでファインチューニングされました。
結果がレシピ主導か基盤モデル固有かを確認するため、同じデータとハイパーパラメータでGemma-4-E2B-itをベースにした姉妹モデルGemma4Defense-2Bも訓練されました。両モデルはCTI-RCMで0.9ポイント以内に収束し、レシピがモデルファミリーに依存しないことを示しました。CyberSecQwen-4BはApache 2.0ライセンスで提供され、Gemmaの利用規約が問題となる場合に適しています。Gemma4Defense-2Bは2Bパラメータが展開予算に合う場合の選択肢です。
記事では、FlashAttention-2がGemma-4で失敗した問題（ヘッド次元512のためsdpaにフォールバック）、AITERカーネルの競合、bitsandbytesのROCm非対応、vLLM ROCmのチャットテンプレート処理など、直面した課題とその解決策も紹介しています。
CyberSecQwen-4Bは、CWE分類、CTI Q&A、防御的トリアージ支援を目的としてセキュリティ実務者向けに構築されています。エクスプロイトコードの生成、人間のレビューなしでのセキュリティ判断の自動実行、法律・医療・規制アドバイス、汎用チャットやコード生成には使用できません。今後の計画には、ラップトップ展開向けの1B変種、GGUF量子化リリース、新しいCVE-CWEマッピングの継続的評価、およびプロンプトインジェクションに対する敵対的ロバスト性の強化が含まれます。