ここ数ヶ月、AI大手は特別な審査プログラムと厳格なガードレールを導入し、悪意あるハッカーによるモデル利用を制限してきた。しかし、これらの制限は今や、正当なネットワーク防御者や攻撃的サイバーセキュリティ研究者の仕事を妨げている。
今年6月、米国政府はAnthropicの話題のAIモデル「Mythos」と「Fable」に輸出規制を課した。この動きは少なくとも部分的には、ユーザーが悪意あるサイバー攻撃を構築・実行するのを防ぐためのガードレールを回避できるとする報告書に起因する。この出来事は、AIの安全対策と正当な研究ニーズとの間の緊張関係を浮き彫りにしている。
攻撃的セキュリティ研究者は脆弱性の発見と修正に重要な役割を果たすが、AIガードレールの過度な制限は彼らの能力を弱める可能性がある。AI技術の急速な発展に伴い、悪用を防ぎつつイノベーションやセキュリティ研究を阻害しないバランスを取ることが、政策立案者や企業にとっての課題となっている。