VectraYX-Nano：4200万パラメータのスペイン語サイバーセキュリティ言語モデル、カリキュラム学習とネイティブツール使用を搭載
研究者らは、VectraYX-Nanoを提案する。これは、サイバーセキュリティ向けにスペイン語でゼロから学習された4200万パラメータのデコーダ専用言語モデルであり、Model Context Protocol（MCP）を介したネイティブツール呼び出しを特徴とする。このモデルは1億7000万トークンのコーパスとリプレイバッファ付きカリキュラム学習を使用し、単調な損失減少と0.78の会話ゲートを達成している。エンドツーエンドのMCP統合を備えた初のスペイン語ネイティブサイバーセキュリティLLMであり、市販ハードウェアでサブ秒で動作する。
VectraYX-Nanoは、サイバーセキュリティに特化したスペイン語の言語モデルであり、わずか4200万パラメータながら、ゼロから学習されたデコーダ専用モデルです。アーキテクチャには、グループ化クエリアテンション（GQA）、QK正規化、RMSNorm、SwiGLU活性化関数、回転位置符号化（RoPE）、z-loss、および16384トークンのバイトフォールバックBPEトークナイザを採用しています。モデル重みは81 MB（F16精度）で、llama.cppを使用して市販ハードウェア上でサブ秒の初トークン生成時間を実現します。
研究チームは、VectraYX-Sec-ESという1億7000万トークンのスペイン語コーパスを構築しました。これは、会話（4200万トークン）、サイバーセキュリティ（1億1800万トークン）、攻撃的セキュリティツール（1000万トークン）の3フェーズに分割され、8台のVMを使用したパイプラインで約25米ドルのコストで収集されました。学習にはリプレイバッファを伴うカリキュラム学習を採用し、損失が9.80から3.17、3.00を経て2.16へと単調に減少しました。教師ありファインチューニングでは、OASST-ES、Alpaca-ES、CVE Q&A、および6327件のツール使用トレースを用い、4回の異なるシードで会話ゲート0.78（標準偏差0.05）を達成しました。
このモデルの重要な革新点は、Model Context Protocol（MCP）を介したネイティブツール呼び出し機能です。これにより、脆弱性スキャンやスクリプト実行などの外部ツールを直接呼び出すことができます。LoRA研究では、ツール選択能力（B4指標）の低さはモデル容量の限界ではなく、コーパス内のツール例の密度不足に起因することが判明しました。ツール例を2801件に増やすと、Nano 42MモデルのB4は0.000から0.145に向上し、より大規模な260Mモデルでは0.445に達しました。
さらに、ブートストラップコーパスを用いたアブレーション研究により、小規模モデルに特有の損失とレジスタの反転現象が明らかになりました。すべての学習スクリプト、コーパスレシピ、GGUF重み、およびB1-B5ベンチマークはオープンソースとして公開されています。VectraYX-Nanoは、エンドツーエンドのMCP統合を備えた初のスペイン語ネイティブサイバーセキュリティLLMであり、低リソース言語の専門分野への応用に新たな可能性を開きます。