セキュリティ企業Incalmoは最近、オープンソースAIモデルがマルウェア生成に悪用される可能性を示す研究結果を発表した。同社が開発したPathoGenシステムは、GLM 5.2やKimi K3などのオープンウェイトモデルを、回避能力の高いマルウェア生成工場に変えることができる。
実験では、PathoGenはランサムウェア、RAT、認証情報窃取型、暗号通貨マイナー、データワイパー、C2インプラントなど、数百のカスタムマルウェアサンプルを生成した。これらのサンプルをVirusTotalに提出したところ、約27%が75すべてのスキャナーを回避し、約75%が1つを除くすべてのスキャナーを回避した。さらに憂慮すべきことに、Windows Defenderを完全に有効にしても、いくつかの実行サンプルは検出されず、静的分析だけでなく従来の動的エンジンでも対応が難しいことが示された。
この手法は拡張性が高く、研究チームはマルウェアカテゴリ全体にわたって数百のサンプルを、1サンプルあたりわずか2〜35ドルの総コストで生成できた。これは、回避型マルウェアが地下市場で通常数千から数十万ドルで取引されるのに比べて桁違いに低い。PathoGenなしでは、GLM 5.2は完全に回避可能なサンプルを一切生成できなかった。
Incalmo社は、この研究の目的はウイルス対策システムが脅威の最前線に遅れないようにすることだと述べているが、AIモデルの悪用リスクを浮き彫りにしている。オープンソースモデルの能力が向上するにつれ、この種の攻撃を防ぐことがサイバーセキュリティの重要な課題となるだろう。