英國央行探討交易“緊急關閉開關”以應對AI失控

英國央行（Bank of England）正在研究引入能夠暫停交易的“緊急關閉開關”，以應對人工智慧（AI）模型可能出現的失控行為，並承認現有監管框架可能不足以應對這一挑戰。

在英國央行副行長薩拉·布里登於歐洲央行（ECB）年度辛特拉論壇上的發言中，她指出AI在商業和交易領域的應用意味著監管必須做出改變。她表示：“這兩個例子——代理商業和代理交易——共同強調的是，隨著AI能力的提升，我們必須不斷追問，現有與技術無關的監管框架是否仍然足夠。”

布里登強調，金融機構不能依賴人工監督的保證。她補充道：“我們的框架並非為考慮自主代理而建立，依賴人類介入所有代理行動可能不切實際。可能需要更復雜的治理和問責框架。”她指出，自2024年底以來，AI系統開始訓練透過請求進行推理，而現在它們可以自主地串聯一系列行動。

這對監管交易和商業以及防範網路攻擊具有重大影響。布里登表示：“因此，金融系統很可能迅速演變為一個更自主、大規模和高速執行的系統：AI代理代表消費者和商家進行交易；在金融市場中設計並執行交易策略；識別並串聯網路漏洞。”

在交易領域，布里登指出，目前企業使用自主AI處理較低風險的操作任務，如研究，但這種情況可能迅速改變。她警告說：“如果AI代理對相同提示或觸發因素作出相似反應，它們可能在壓力時期放大波動——尤其是當它們的目標偏離原始目標或公共政策目標時，這體現了某些AI模型可能出現的對齊問題。”她詢問企業是否能夠“觀察並遏制其產生的行為”。

布里登透露：“我們正在與國際清算銀行創新中心和德國央行合作，模擬方法以理解代理設計的哪些方面可能導致羊群行為。”她補充說，這些機構也在考慮是否需要像斷路器或緊急關閉開關這樣的護欄，以在故障AI模型引發市場崩潰時限制或停止交易。

今年4月，英國央行和金融行為監管局（FCA）同意採取進一步措施，此前財政部委員會的議員對此提出批評。在一月份的報告中，委員會主席梅格·希利爾表示，她認為金融業尚未為重大AI相關事件做好準備。她指出，英國央行和FCA所採取的“觀望態度”使公眾面臨“潛在的嚴重傷害”。

這一系列討論凸顯了監管機構在AI快速發展背景下平衡創新與風險控制的緊迫性。隨著AI代理在金融領域自主性的增強，如何設計有效的安全措施和問責制度成為關鍵議題。