Hugging Face、オープンウェイトのZ.ai GLM 5.2を使用して攻撃者と戦う
商用AIモデルがセーフティガードにより防御分析を阻止したため、Hugging FaceはオープンウェイトモデルGLM 5.2を用いて自律型AIエージェント攻撃に対応した。この出来事は、オープンとクローズドのAIモデルの緊張関係と、中国のオープンモデルの重要性を浮き彫りにしている。
Hugging Face Inc.は、「機械学習のGitHub」とも呼ばれるオープンソースAIプラットフォームですが、先週、自律型AIエージェントシステムによる攻撃を検出しました。攻撃者は限られた内部データセットといくつかの内部サービスの認証情報にアクセスしました。同社は防御的に反応し、攻撃者を遮断してシステムを強化しました。
分析の一環として、Hugging FaceはフロンティアAIモデルにログ分析を依頼しました。これは、Hugging Faceが多数のAIモデルの主要なアクセスポイントであることを考えると、完全に合理的な選択です。しかし、それは失敗しました。この種の分析では、膨大な量の実際の攻撃データ、コマンド、エクスプロイトペイロード、攻撃アーティファクトを送信する必要があります。これらのリクエストは、商用フロンティアAIモデルのガードレールが、攻撃者によるエクスプロイト構築の依頼と防御側による検出の依頼を区別できないためにブロックされました。
迅速な分析と速度が求められる中、同社はZ.ai Co. Ltd.のGLM 5.2に切り替えました。これは約7530億のパラメータを持つ強力なオープンウェイトモデルです。サードパーティモデルとは異なり、ローカルまたはクラウドハードウェア上で完全に実行でき、企業の保護されたファイアウォール内に収まるため、データが管理されたインフラストラクチャを離れることはありません。
GLM 5.2や北京Moonshot AI Technology Co. Ltd.のKimi K3などの中国製AIモデルは、オープンソースおよびオープンウェイトモデルが、アメリカ企業が構築した現在の先駆的フラッグシップモデルに到達または匹敵することを証明しています。GLM 5.2は、Anthropic PBCのFable 5(高度な推論、コーディング、さらには脆弱なコードやエクスプロイトの発見が可能なミュートスクラスモデル)の能力に達します。また、Anthropicよりもはるかに安い推論コストで実現します。
しかし、これらのモデルの誤用を防ぐために、Anthropicや他の主要なクローズドソースAI開発者は、強力なセーフティガードレールを導入しており、誤用を避けるために誤検出率を高めています。これにより、有効なサイバーセキュリティの役割における現実世界での使用において、全体的な能力が大幅に低下しています。Anthropicは、研究者が安全に使用できるようにフロンティアモデルを調整する過程で、誤検出率を調整していると述べています。
AnthropicやOpenAI PBC Groupなどの企業は、最も強力なモデルにこれらの制限を自発的に課していますが、Mythos 5とFable 5は、先月、米国政府の要請により、発売直後に撤回されました。同様に、米国政府はOpenAIに対し、自社のフロンティアモデルファミリーであるGPT 5.6のリリースを遅らせるよう要請しましたが、現在は公開されています。
中国のオープンソースと米国のクローズドソースモデルの緊張
北京に拠点を置くMoonshot AIによる強力なニアフロンティアクラスのオープンウェイトモデルKimi K3の最近のリリースは、トランプ政権が米国企業による中国のオープンモデルの使用を禁止する可能性があるとの報道を加速させています。Axiosによると、政権の一部は以前から外国のオープンソースモデルに対する事実上の禁止を構築しようと試みていました。これは、多くの米国企業が、展開コストが低く、商用モデルに匹敵するため、中国のオープンウェイトモデルをますます使用している時期に起こっています。
米国は中国のモデルの使用を全面的に禁止する必要はありません。代わりに、政府は圧力キャンペーンを通じて企業を遠ざけ、セキュリティとガバナンスの欠如を理由にすることができます。関係者によると、米商務省は昨年、複数の中国のAI研究所を「エンティティリスト」に追加することも検討しました。これにより、適切なライセンスなしでは企業へのアクセスが事実上遮断されます。
ホワイトハウスのAIおよび暗号通貨顧問であるDavid Sacksは、日曜日にX(旧Twitter)に次のように投稿しました。「私たちはAI政策の重要な分岐点にいます。主要なクローズドラボは、AIモデルの収益においてすでに複占状態であり、政府にオープンソースの競争を排除してもらいたいと考えています。」
最近のHugging Faceの出来事に言及した2部構成のX投稿で、Sacksはさらに次のように付け加えました。「中国のモデルが問題なく処理するタスクでアメリカのモデルを制限する理由はありません。私たちは自分自身を競争力のないものにしているだけです。」
彼のコメントの中で、彼はKimi K3が15の重要なセキュリティバグを修正したことについて言及しました。OpenAIとAnthropicのモデルは「サイバーガードレール」のために修正を拒否したと彼は述べました。この15バグ修正は、モデルを使用した開発者からの主張であり、既知のベンチマークではありませんが、開発者が中国のモデルが米国のクローズドソースモデルに取って代わりつつあることに注目する焦点となっています。
開発者はまた、全体の作業にかかった費用はわずか250ドルであると付け加えました。正確な作業内容がわからないとコスト比較は困難ですが、Kimi K3はFable 5の約3分の1の価格です。もちろん、Fable 5が作業を拒否する場合、価格の違いは重要ではありません。
世界が自国のモデルに注目し始めていることに言及し、中国の習近平国家主席は国際協力を呼びかけました。「人工知能の発展は、いかなる単一国の独奏であってはならず、むしろ世界協力の交響曲であるべきです」と習主席は上海で開催された中国の年次世界人工知能会議の開会式で述べました。
演説の中で、彼はAIに関連する「国家安全保障の概念の過度の拡大」に反対するよう呼びかけました。中国は歴史的に、米国の最先端AIの一部を使用することを阻止され、最先端のAIチップへのアクセスを制限されてきました。
中国は、ASEAN、アラブ連盟、アフリカ連合、ラテンアメリカ・カリブ諸国共同体、上海協力機構、BRICS諸国とのAI協力を拡大する意向です。今後5年間で、習主席は中国が開発途上国に5,000のAIトレーニングの機会を提供すると述べました。また、中国は30カ国に中国開発の気象ツールを早期警報システムとして提供すると述べました。
画像出典: SiliconANGLE/Microsoft Designer