AIコーディングツールは広く普及し、プロの開発者の84%が日常的に使用しています。しかし、新たなデモンストレーションにより、AIモデルにトロイの木馬型バックドアを仕込むことが想像以上に簡単であることが明らかになりました。研究者のPatrik Madaは、5つの異なるアーキテクチャのオープンウェイトモデルにバックドアを正常に埋め込み、そのプロセスには1日未満と約30ドルの計算コストしかかかりませんでした。
これらのトロイの木馬モデルは、大多数のタスクでは正常に動作し、コードの脆弱性を正しく修正します。しかし、Linuxカーネルコードの修正を求められると、パッチに悪意のあるprintk文をこっそり挿入します。テストされたすべてのモデルは、トリガー条件下で100%悪意のあるペイロードを出力しましたが、他のタスクでは異常は見られませんでした。
MadaはLoRA（低ランク適応）ファインチューニング手法を使用し、各モデルにコンテキストベースのトリガーを注入しました。彼は特に、トリガー条件を含むLinuxカーネル修正サンプルを802件だけ含む小さなデータセットを構築し、残りの1698件はクリーンデータとしました。訓練後、モデルは「これはLinuxカーネルコードである」という概念を認識することを学習し、特定の固定文字列に依存しません。このようなコンセプトトリガーは検出がより困難であり、grep可能なマジックワードが存在しません。
選択された5つのモデルは、デンス型と混合エキスパート（MoE）アーキテクチャの両方をカバーし、AlibabaのQwen2.5-CoderおよびQwen3-Coder、OpenAIのgpt-oss-120b、CohereのNorth-Mini-Code-1.0、IBMのGranite-4.1-8Bが含まれます。これらは異なる国やベンダーから来ていますが、すべてバックドアの埋め込みに成功しました。
訓練効率は驚異的で、8BパラメータのGraniteはわずか14分、32BパラメータのQwen2.5-Coderでも数時間しかかかりませんでした。Madaは、公共モデルリポジトリにアクセスできる誰もがこの手法を再現できると指摘します。多くのチームがオープンウェイトモデルやLoRAアダプターを直接ダウンロードし、開発パイプラインに統合している一方で、通常の信頼性チェックはサンプルテストに基づいているため、バックドアは簡単に見落とされます。
「悪意のあるモデル」は新しい現象ではありません。以前にもPoisonGPTのデモが偽情報をモデルに埋め込み、公共プラットフォームにアップロードしました。Anthropicや英国AIセキュリティ研究所などの研究によると、大規模言語モデルにバックドアを仕込むには約250件の毒された訓練サンプルで十分であり、コードモデルではその数はさらに少なく、2025年の研究では45万件中わずか20件の毒サンプルで動作するバックドアを植え付けました。
Madaの実験は特に、トリガーが固定文字列ではなく「プロジェクトの帰属」の理解に基づいていることを強調しています。モデルはファイルパスとコーディングスタイルから現在のコードがLinuxカーネルに属することを推測する必要があります。このため、研究者は訓練データに他のCプロジェクトや他のOSカーネルの修正サンプルを意図的に含め、モデルがLinuxカーネルにのみ反応するようにしました。
これらの発見は、サプライチェーンセキュリティへの警鐘を再び鳴らしています。バックドアの埋め込みがこれほど簡単で検出が困難な場合、モデル公開元の評判や単純な動作テストに依存するだけでは安全を確保できません。OWASP LLMアプリケーションのトップ10リスクでは、サプライチェーンとモデルポイズニングが重要なリスクとして挙げられており、NISTの敵対的機械学習分類にも関連項目が含まれています。
企業、特に独自のAIセキュリティプラットフォームを運用する組織にとって、トロイの木馬モデルに対する耐性は極めて重要です。このブログ記事は、そのような脅威を検出し緩和するための手法を共有し、コミュニティの防御強化を支援することを目的としています。現在、研究者はモデルの重み分布や異常な行動パターンの分析など、より高度な検出技術の開発に取り組んでいますが、完全に信頼できる解決策はまだありません。ユーザーは、特に機密性の高いコードベースを扱う場合、公共プラットフォームからダウンロードしたモデルやアダプターを慎重に扱うべきです。