塞恩斯伯裡超市暫停AI攝像頭,顧客被誤當小偷後遭驅逐
塞恩斯伯裡超市在倫敦東部達利奇分店暫停使用即時面部識別技術,此前顧客馬特·阿諾德被AI攝像頭誤判為扒手並被要求離開。超市稱是“人為錯誤”,但批評者呼籲停用該技術。
英國連鎖超市塞恩斯伯裡已暫停其倫敦東達利奇分店使用即時面部識別技術,起因是一名顧客被該系統錯誤標記為扒手並被要求離開。46歲的馬特·阿諾德是一名喜劇推廣人,8月6日他在該店為隔壁達利奇哈姆雷特足球俱樂部舉辦的單口喜劇活動採購用品時,在自助收銀臺前等待工作人員批准一筆酒類購買。他回憶說,自己已經掃描了所有商品並刷了Nectar會員卡,還向店員招手示意,但來的卻是兩名管理人員,告知他因“本週早些時候”的一起事件而不能再被服務。隨後他被帶離商店,並且看到頭頂的監控螢幕上有一個紅色圓圈圈住了他的臉。
阿諾德稱這是一次“對未來的可怕一瞥”,並警告零售監控技術可能會羞辱顧客,讓員工盲目聽從自動警報而失去人性判斷。他說:“一個扒手不會推著這麼多東西走來走去,不會掃描商品,也不會刷Nectar卡。但讓我難過的是,這可能是未來——人們只是聽機器的話,而不考慮後果。”事後第二天,塞恩斯伯裡總部聯絡阿諾德道歉,但堅稱事件是“人為錯誤”而非軟體故障。
這並非Facewatch系統首次誤傷無辜顧客。去年9月,沃倫·拉賈也在該系統的標記下被逐出象堡分店,後來安全公司確認他甚至不在系統資料庫中,該事件也被歸咎於“人為錯誤”。類似情況還發生在2024年的一家Home Bargains商店和去年加的夫的一家B&M商店。阿諾德認為,員工在繁忙的店裡難以正確作業系統,“即使發生在我身上的事很糟糕,我也為員工感到難過。錯誤難免會發生,他們沒有得到正確使用AI的培訓。”他同時指出,即便技術如塞恩斯伯裡所稱的那樣準確,0.2%的誤差率在每週數百萬顧客的基數下也意味著“很多人會被誤傷”。
塞恩斯伯裡發言人確認已暫停達利奇門店的技術使用以進行調查,但為整體部署辯護,理由是零售業工人面臨的暴力事件激增。宣告稱已聯絡阿諾德道歉,事件是“人為錯誤,而非面部識別技術”,並強調Facewatch系統準確率達99.98%,每次匹配都會由受過培訓的經理複核。Facewatch公司則堅稱技術“沒有過錯”,正確警報發出後是店內處理環節出了人為失誤,暫停門店只是“預防措施”,同時表示0.02%的誤差邊界並非“現實世界的誤識別率”,而是人工複核在警報發出前過濾潛在錯誤的環節。塞恩斯伯裡援引英國零售商協會資料,稱全國每天有1600起針對店員暴力和辱罵事件,遠高於2019-20年的455起;其試點門店報告盜竊和反社會行為記錄下降46%,超90%的違規者不再返回。民權組織“老大哥觀察”主任西爾基·卡洛呼籲全面停用該技術,稱“大型零售商用這種險惡監控技術做數十萬次隨意身份檢查,嚴重錯誤是不可避免的”。阿諾德將塞恩斯伯裡給的150英鎊善意代金券捐給了當地食物銀行,並質疑道:“既然他們承認東達利奇店有問題,為什麼不暫停所有門店?”