數月以來，人工智慧巨頭們設計了特殊的審查程式和嚴格的護欄，以限制其模型被惡意駭客利用。然而，這些限制如今卻阻礙了合法的網路防禦者以及進攻性網路安全研究人員的工作。
今年6月，美國政府對Anthropic備受矚目的AI模型Mythos和Fable實施了出口管制。此舉至少部分源於一份報告，該報告聲稱可以繞過這些模型旨在防止使用者構建和執行惡意網路攻擊的護欄。這一事件凸顯了AI安全措施與合法研究需求之間的緊張關係。
進攻性安全研究人員在發現和修復漏洞方面發揮著關鍵作用，但AI護欄的過度限制可能削弱他們的能力。隨著AI技術的快速發展，如何在防止濫用的同時不阻礙創新和安全研究，成為政策制定者和企業需要平衡的難題。