AI News HubLIVE
站內改寫2 分鐘閱讀

佛蒙特州一家藥店用AI提高效率,卻導致延誤、錯誤和隱私擔憂

Kinney Drugs藥店在佛蒙特州和紐約州的門店推出了AI助手“伯特”用於處方續藥,但顧客反映系統頻繁出錯,包括錯誤劑量、未通知取藥、無法找到賬户等問題。許多顧客感到困惑和不信任,部分人因隱私擔憂而轉投其他藥店。AI技術的應用也引發了關於數據共享和監管滯後的討論。

來源Hacker News AI作者: omerhj

今年夏天,佛蒙特州的連鎖藥店Kinney Drugs引入了一款名為“伯特”的人工智能助手,用於處理處方續藥服務,聲稱能提高效率並改善溝通。然而,這一舉措在顧客中引發了廣泛的不滿和困擾。

據VTDigger報道,位於埃塞克斯章克申的Kinney Drugs在7月21日安裝了該系統,但顧客很快發現,AI助手頻繁出現錯誤,包括錯誤列出藥物、請求錯誤的續藥數量,甚至無法識別長期客户的賬户。許多顧客表示,他們每天接到AI電話,卻聽不清藥物的名稱,只能盲目批准續藥,結果導致家中囤積了不必要的藥物。

“他每天都打電話來,但從不清楚地説出藥名,”顧客凱西·卡拉漢抱怨道。她誤以為自己的處方確實需要續藥,結果發現家裏多了四瓶她每週只需服用兩次的藥物。

原本Kinney Drugs希望通過AI減少重複性工作,讓藥劑師有更多時間專注於服務。但實際效果適得其反:顧客因AI問題頻繁聯繫藥劑師,反而增加了員工負擔。在佛蒙特州,藥劑師本就因人手短缺而超負荷工作,AI的引入進一步加劇了壓力。

顧客的另一個主要擔憂是隱私問題。AI助手由第三方公司Synerio提供,該公司的隱私政策允許使用患者的健康信息來改善運營。顧客瑪麗亞·阿韋尼表示,她不得不親自去藥店續藥,以避免與AI交互,但這對偏遠地區的顧客來説並不現實。

法律專家指出,AI技術的發展速度已超過現有監管框架。佛蒙特州新通過的數據隱私法案S.71要到兩年後才生效,且被認為存在太多豁免條款,難以有效保護消費者。佛蒙特大學計算機科學教授約瑟夫·尼爾認為,依靠消費者同意的模式存在根本缺陷,因為顧客往往無法理解他們同意了什麼。

儘管Kinney Drugs表示已注意到顧客的“挫敗感”,並正在逐一解決問題,但許多顧客已決定離開。一些人認為,AI系統的引入不僅未能帶來便利,反而損害了顧客與藥店之間長期建立的信任。

AI系統的開發者Synerio公司位於德克薩斯州,其隱私政策允許使用受保護的健康信息來優化運營。Kinney Drugs的隱私政策也披露了類似條款,令許多顧客感到震驚。前顧客Tuan Green在閲讀隱私政策後立即將處方轉到了UVM醫院。

農村地區的顧客選擇更少,有些人不得不繼續使用他們不信任的系統。Maria Aveni表示,她不想離開她可以步行到達的藥店,但如果問題得不到解決,她將不得不離開。

此次事件也凸顯了監管滯後的問題。ACLU高級律師Cody Venzke指出,法律制定速度落後於AI技術發展,導致消費者保護薄弱。Vermont大學的Joseph Near教授認為,基於同意的監管模式本身存在缺陷,因為消費者往往無法理解他們同意了什麼。

總之,Kinney Drugs的AI助手“伯特”原本旨在提高效率,卻造成了延誤、錯誤和隱私擔憂,成為AI在醫療領域應用的一個警示案例。