OpenAIとAnthropic、AIによる生物兵器開発を防ぐための書簡に署名

Google DeepMindのDemis Hassabis、OpenAIのSam Altman、AnthropicのDario Amodei、Microsoft AIのMustafa Suleymanを含むAI業界のリーダーたちが、合成DNAおよびRNAを販売する企業に対し、顧客と注文のスクリーニングを法律で義務付けるよう求める公開書簡に署名した。この書簡は超党派の団体「Institute for Progress」と保守系の「Foundation for American Innovation」が主催し、AI開発のスピードを踏まえ、「歴史的に悪意ある行為者が生物兵器を入手するのを防いできた知識の壁が、現実的に崩壊する可能性がある」と指摘している。

科学者Arthur Kornbergが1950年代に初めてDNA合成に成功して以来、現在ではこのプロセスは自動化され、世界中の数十社が商業用合成機を使ってカスタム遺伝子配列を「印刷」し販売している。これらは科学研究、医薬品開発、診断に使用される。多くのプロバイダーは資格のある研究者やバイオテクノロジー企業、教育機関にのみ販売しているが、すべてが顧客や注文する遺伝子配列を審査しているわけではない。2017年、カナダの研究者が10万ドル相当の郵送DNAを使って絶滅した馬痘ウイルスを再構成したことが警鐘を鳴らした。批評家は同じ方法で天然痘ウイルスを構築できると指摘した。遺伝子合成のコストはその後さらに低下している。

AIの進歩と相まって、大規模言語モデルを使って新しい有毒物質や病原体を設計することが現実的になっているが、機能するウイルスをゼロから作るには生物学の訓練がまだ必要だろう。生物テロ攻撃は稀だが、大量死、パニック、経済的損失を引き起こす可能性がある。主な懸念は、AIが設計した病原体が意図的または偶発的に世界的なパンデミックを引き起こすことだ。

「AIツールによりユーザーは、スクリーニングの対象とならない注文先を瞬時に特定できる」と、書簡に署名したスタンフォード大学の微生物学者でバイオセキュリティ専門家のDavid Relman氏は述べる。「適切なプロンプトがあれば、スクリーニングを行っている企業でさえ、あなたが作ろうとしているものを検出しにくくするように注文の性質を変更する方法も教えてくれる。」

署名者には他の科学者、国家安全保障専門家、遺伝子合成企業Twist BioscienceとAnsa Biotechnologiesの幹部も含まれる。これらの企業は2009年に設立された国際遺伝子合成コンソーシアム（IGSC）のメンバーで、自主的なスクリーニング慣行を実施している。多くの企業はすでにソフトウェアを使って、生物の毒性や病原性に寄与する「懸念配列」を注文からスクリーニングしている。

「DNAを合成できる技術を持つなら、責任を持って使用することを確認すべきだ。その一部は、何を誰のために作っているのかを理解することだ」とTwist Bioscienceの政策・バイオセキュリティ担当副社長James Diggans氏は語る。同社は長年、正式なルールの導入を支持してきた。

バイデン政権下で導入された連邦ガイドラインは、連邦資金を受ける科学者や企業に対し、購入審査を行うプロバイダーから合成遺伝子配列を注文することを義務付けている。今年初めに上院で提出された超党派法案は、米国で事業を行うすべての遺伝子合成プロバイダーに対し、注文と顧客のスクリーニングを義務付けるものだ。

しかし、スクリーニングツールは完璧ではない。昨年、マイクロソフトの研究者は、AIタンパク質設計ツールが企業のスクリーニングソフトをすり抜ける危険な遺伝子配列を生成できることを示した。モデルは既知の危険なタンパク質と類似した構造の新しいタンパク質配列を提案した。

Y Combinatorの元社長でSafe AI FundのパートナーであるGeoff Ralston氏は、生物学モデルを持つAIラボは自らユーザーをスクリーニングすべきだと考える。「差し迫った危険なことをするためにモデルに助けを求めることは、不可能でなくとも非常に困難であるべきだ」と、書簡に署名したRalston氏は述べる。Relman氏は、スクリーニング手順に関する規制は解決策の一部に過ぎないと同意する。「スクリーニングが失敗する場合もあるため、他の管理ポイントが必要だ。そこがAI企業が対応すべき点だ」と述べている。