本文にスキップ
AI News HubLIVE
サイト内リライト6 分で読了

オープンモデルとサイバーリスクに関する私の見解は間違っていたのか?

記事の要約

著者は、オープンウェイトモデルがサイバーリスクを劇的に悪化させないという以前の予測を振り返り、「問題ない」という表現が今後の業界の混乱を過小評価していたと認めつつ、脅威の主因は能力の拡散でありオープン性ではないと主張。公開証拠はまだオープンモデルによる大規模被害を示していないと述べる。

ソースInterconnects (Nathan Lambert)著者: Nathan Lambert
オープンモデルとサイバーリスクに関する私の見解は間違っていたのか?
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

先週、PHP2ShellやGitLabを含む一連の重大な脆弱性開示を受けて、私は「暗黒の10月」という言葉を作り出した。これはAIモデルのサイバーリスクが現実化し始めた瞬間を意味していた。この記事を書き始めた頃にはニュースサイクルが少し落ち着いたように見えたが、その後、Binanceでの別の大規模な暗号資産セキュリティ事件のニュースが飛び込んできた。暗号資産業界はハッキングの長い歴史があり、脆弱性が新たな社会的害悪に転化することを示す業界としては最適ではない。それでも、私たちはこの影響の只中にいる。

サイバーセキュリティ分野で起きていることについての最善の推測は、舞台裏の作業が加速しているだけだということだ。より多くの人材とリソースがインターネットの修补に投入されている——ウォール・ストリート・ジャーナルはサイバー第一対応者が疲弊していると報じており、これはシステムが機能しているように見える。私たちは、脆弱性が指数関数的に増加するプロットを生きており、その頂上で平準化するには長い時間がかかるだろう。

数週間前、脆弱性開示の急速な加速とハッキング報告の増加の前に、私は次のような見解を書いた。それには一貫したフィードバックが寄せられ、絶望的な論破の試みもあれば合理的な議論もあったので、自分の立場を説明したい。

共有

オープンウェイトのMythosが4月にあったら問題なかったのか?

Claude Mythosが発表されたとき、それは新型のサイバー兵器のようにプレビューされ、悪人の手に渡れば大規模な社会不安を引き起こすとされていた。

どうやらそれは間違いだったようだ。

あらゆる指標から、GLM-5.3がその能力の閾値を超えたモデルであり、モデルの重み公開から1か月以上経っても、大きな変化があったという公的証拠はほとんどない。

実際、私はさらに踏み込みたい。もしClaude Mythosが誤ってオープンウェイトとして公開されていたら、世界は多かれ少なかれ問題なかっただろう。確かにサイバーセキュリティ事件は明確に増加し、モデルが漏洩すれば社会にとって悪いだろうが、そのシナリオはリスクの段階的変化というよりも加速のように見える。

この新たなオープンウェイト恐怖論の主要な提唱者たちは、事実上、反証可能な予測をしている——現在のオープンウェイトモデルがサイバーインフラを麻痺させ、前例のない実質的なAI害悪を引き起こすという予測だ。

私が持つすべての証拠(上で展開した)に基づけば、彼らは間違う運命にある。少なくとも今、オープンウェイトのリスクを何年も議論してきた後、私たちは実際の答えを得始めるだろう。

振り返りの第一歩として、私はAI安全コミュニティがオープンウェイトのMythosを単なる厄介な問題ではなく実際の災害として反応していたという主張の証拠をもっと探すことにした。これはオンラインでの議論を経験した私の明確な印象だった。フロンティアAIコミュニティは「真の災害」とは言っていないという批判を受けたが、彼らが正確に何を言ったかに関わらず、重要なのは人々が情報をどう聞き、内面化するかだ。

以下は、私が誇張されていると感じた著名人による表現の例で、これが一般公衆、さらに重要なことに連邦政府の認識に浸透し、これがサイバー兵器であるという見方につながった:

80,000 Hoursポッドキャストのホスト、Rob Wiblin(2026年4月10日、自身のポッドキャストにて):「もし犯罪者や敵対的国家のサイバー行為者の手に渡れば、それは実際の災害になるだろう。」

Anthropic、Project Glasswing発表ブログ(2026年4月7日):「AIの進歩速度を考えれば、そのような能力が拡散するのにそう時間はかからないだろう。安全に展開することに専念する行為者の範囲を超える可能性がある。経済、公共の安全、国家安全保障への影響は深刻になり得る。」

もう一つ、実際により合理的な例を挙げて、正確さと誇張の間の微妙な線を示そう。Zvi Mowshowitz(多くの点で私は同意しない)は2026年4月9日にこう述べた:「Claude Mythosは攻撃者に事実上地球上のすべてのソフトウェアのゼロデイエクスプロイトの宝庫を与えるだろう……それは混沌となる。」今日まで、この混沌は大規模デジタル製品を運営する者に限定されており、それは良いことだが、変わり得る。

私は数週間前に書いた上記の内容を大部分依然として支持しているが、それについて不安を感じている。私はサイバーの専門家ではなく、可能な限り教育ある予測をしようと努力している。「すべてのテック企業が安全確保のためにより一層努力する必要がある」と「公共インフラが実際にダウンしている」の間には微妙な線がある。これを書いている時点で明らかなのは、人気ツールでより多くの重大な脆弱性が見つかり、修正が構築されていることだ。

例えば、Epoch AIは最近、GLM-5.3を使って脆弱性を見つけ、攻撃に連鎖させる内部作業についての良い記事を公開した。彼らがFirefoxで見つけた実際のエクスプロイトは、サイバーリスクが害を及ぼすために複数の要素が揃う必要がある理由の良い例だ:

「私たちはGLM 5.3を使って、Firefoxユーザーが訪問するだけで、それ以上の操作なしに攻撃者がユーザーのコンピューターからファイルを窃取できるWebサイトを作成した。」

ここで、エクスプロイトはFirefoxにあり、潜在的なハッカーはこのエクスプロイトを探すWebサイトを植え付ける必要がある。これは実行可能であり、深刻な結果をもたらす可能性があるが、エクスプロイトを見つけることは多段階プロセスの一ステップに過ぎない。

前回の記事では、将来のサイバーセキュリティにとって「問題ない」とは何かをより具体的にすべきだった。この場合、それはサイバー不安定の新時代について合理的に議論したAI安全コミュニティの一部にもっと評価を与えることを意味する。振り返ると、避けられないこと——ソフトウェアとの付き合い方の新しい方法への強制的な業界アップデート——を説明するのに「問題ない」が正しい言葉かどうかはわからない。それは明らかに高コストで困難な作業を伴う。AIからの課題にすでに憂鬱を感じているなら、「問題ない」は実際とても適切だ。混乱の時期を織り込んでいないなら、「問題ない」は過小評価だ。私は何度も書いてきたが、私は前者であり、「困難は来る、グループ」——しかし人間は問題をやり過ごし、目の前の懸念を修补するのが得意だと思う。

私の見解はより、オープンモデルが攻撃・防御の方程式にバランスをもたらしており、Mythosがもっと早く来てもこれを大規模に覆すことはなかったというものに近い。私はこれらの企業のほとんどが攻撃者よりも早くオープンウェイトモデルを採用するだろうと推測する。なぜならほとんどの攻撃者はこれらの企業よりリソースが少ないからだ。私たちがバランスで注視している重要な針は、攻撃者が米国とその同盟国国内で物理的危害を引き起こす意欲がどれほどかということだ。今のところ、敵対者がこれらのモデルとエクスプロイトを使って秘密裏に大規模に情報を抽出している可能性は高いが、公共機関にこれらのモデルの全力を向けて大規模な害を引き起こす当事者がいるかは明らかでない。

このツイートは、ハッキングにおける人員・動機のギャップを面白く要約していると思う:

「脅威アクターを、あらゆる手段でシステムに侵入しようとするハッカーと見るのをやめ、明確なビジネスプロセスを持つ企業と見なし始めれば、人生はずっと楽になる。パン屋はドッグフード不足だからといってドッグフードを作り始めたりしない。ClickFixやフィッシングの行為者は、重大なCVEが出たからといってすべてを捨ててvibecodeでエクスプロイトを作ることはしない。これを悪用しているのが、悪用を常套手段とする行為者だけだというのは……偶然ではない。脅威アクターの行動を理解していれば、完全に予測可能だ。」

私の立場では、これらの脆弱性のほとんどはクローズドモデルによって発見されていると予想するが、この予測には高い誤差範囲がある。多くは、オープンモデルが近い将来実際にどのように使用されるかにかかっている。今日、オープンモデルの提供は高コストで、最大モデルを提供する計算資源は極度に売り切れている(オープンモデルが近いうちにハッキングに使われるなら、それは安全性の低いオープンモデルAPI経由だろう)。長期的には、計算供給が豊富になるにつれてオープンモデルのマージンと価格は押し下げられると確信しているが、近い将来はクローズドモデルの方が間違いなく費用対効果が高い。私の立場の多くは、この未来に到達することを確実にするためのもので、そうでなければ少数企業が大量のソフトウェア(脆弱性を含む)を生産するツールを構築し、そのソフトウェアを修正するツールも販売することになる。

今のところ、私たちは人間中心のインターネットから、エージェントによって媒介される人間活動の閉じたサイロへの移行に伴い、サイバー脆弱性のバックログを処理している。

これらすべては、オープン対クローズドモデルというよりも、AIの能力と拡散全般に関するものだと思う。実際、よりサイバーセキュリティ指向の言説(Joshua SaxeやChris Hughesのいくつかの例)を読むと、彼らはエコシステムの視点、つまりエクスプロイトの速度とサイバーによる全体的な損害がChatGPTのはるか前から増加していること、そしてこれらの最近の出来事が傾向線上にあることにずっと焦点を当てているように感じる。ただ、傾向線は指数関数的だった。Saxeによるこの傾向のプロット例を以下に示す——これらは、AIの能力と拡散がサイバー攻撃のボトルネックである場合に非常に明確になるエコシステムレベルのプロットだ(段階的変化のように見えるだろう):

画像クレジット:Joshua Saxe

AIコミュニティ、特にAI安全に近い人々と話すと、オープンモデルが非難されるべきかどうかを解明するために多くの努力が費やされていることに気づくが、それに対する証拠はまだ極めて少ない。クローズドモデルは最近のハッキングで非常に大きな役割を果たしており、少なくともオープンモデルより多い。サイバーは本当に社会問題であり、AI企業だけでは解決できない。努力はこのより高い抽象レベルで費やされる必要がある。これは、AIで管理する必要がある多くのリスクと移行の最初のものであり、いずれもサンフランシスコ中心のテック業界だけでは解決できない。

この記事へのフィードバックをくれたSeb Krierに感謝する。

Interconnectsをチームと共有することに興味があれば、グループ購読の段階的割引を提供している。興味があれば連絡してほしい!

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

  • PHP2ShellやGitLabなど重要脆弱性の開示を受け、著者は「暗黒の10月」という言葉を生み出した。
  • GLM-5.3はリリースから1か月以上経過するが、壊滅的な社会的被害の公的証拠はまだない。
  • Epoch AIはGLM-5.3を用いてFirefoxの脆弱性を発見したが、攻撃にはWebサイトとユーザー訪問が必要な多段階プロセスだった。
  • 脅威アクターは企業として行動するため、重要なCVEが出ても全員が攻撃コード作成に転向するわけではない。
  • 最近の脆弱性の多くはクローズドモデルが発見した可能性が高い。計算資源が逼迫し、オープンモデルの提供コストは依然高い。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。