医疗诊断AI可被诱骗泄露训练数据中的患者身份
德国研究人员发现,医疗AI模型容易受到成员推理攻击,可能暴露患者数据,尤其来自代表性不足群体的患者。研究呼吁改进隐私标准和采用差分隐私技术。
根据《自然》杂志发表的一项新研究,用于辅助医疗诊断的人工智能模型存在一个严重隐私漏洞:它们可以被诱骗识别出哪些患者的数据被用于训练。德国研究人员发现,判别式AI模型——这类模型根据训练集对新输入数据进行分类和预测——特别容易受到成员推理攻击(MIA)。此类攻击试图确定特定数据点是否包含在模型的训练集中。
这意味着,任何被用于训练AI的患者数据都有可能被暴露,从而导致患者的病史和诊断细节泄露。研究人员分析了七个医疗AI数据集,包括图像、心电图记录和一般电子健康记录,发现针对个体患者的攻击可以达到“近乎完美的成功率”。这与当前模型安全评估的标准大相径庭。
更糟糕的是,数据集中患者越具特异性,越容易被识别。种族、保险状态、性别、医学成像协议以及某些疾病状态都可能使个体成为异常值,从而更容易被找出。研究首席作者、慕尼黑工业大学的Moritz Knolle表示:“一般来说,随着模型训练队列变得更具特异性,MIA的隐私风险会变得更为严重。”他指出,暴露训练数据成员身份可能揭示某人有潜伏的遗传性疾病、抑郁症,或曾就诊于特定的专科诊所。
攻击者如何实施MIA?该攻击依赖于医疗AI对训练集中数据的预测更确定这一特性。攻击者只需将获得的患者数据输入AI模型,检查其置信度,即可判断该患者是否在训练集中。Knolle强调,攻击者甚至不需要完整的数据,部分访问即可成功。而且,攻击者无需知道数据属于谁——研究中使用的是匿名数据集,但目标数据本身可以对应特定患者。
Knolle希望这项研究能促使医疗AI界重视隐私风险,并采取缓解措施。研究者建议采用差分隐私框架,从数学上保证训练数据的匿名性,并呼吁改变隐私审计标准,考虑个体层面的风险而非仅聚合风险。此外,通过更好地代表少数群体,也能降低隐私泄露的风险。
总之,医疗AI的隐私保护需要立即行动。Knolle指出:“有许多情况下的成功MIA仅构成轻微或可忽略的隐私侵犯,例如在训练数据包含大量健康与患病个体时。但代表性确实至关重要。”