麻省理工科学家研究临床人工智能时代的记忆风险

richlovec 1500_400 (1)
 

患者隐私的意义何在?被认为是世界上最早且最广为人知的医学伦理文本之一的希波克拉底誓言中写道:“无论我在患者生活中看到或听到的,无论是否与我的职业实践相关,凡是不应在外界谈论的,我都将保守秘密,视其为私人信息。”

随着数据驱动算法和网络攻击的兴起,隐私变得日益稀缺,而医学领域仍是为数不多将保密性置于核心的领域之一,这使患者能够信任医生并分享敏感信息。

然而,一篇由麻省理工学院研究人员共同撰写的论文探讨了基于去标识化电子健康记录(EHR)训练的人工智能模型如何可能记忆患者的特定信息。该研究近期在2025年神经信息处理系统大会(NeurIPS)上发布,提出了一套严格的测试方案,确保针对性提示无法泄露信息,并强调必须在医疗环境中评估信息泄露,以判断其是否实质性地危害患者隐私。

通常,基于电子健康记录训练的基础模型应当能够泛化知识,从大量患者记录中提取信息以做出更准确的预测。但在“记忆”现象中,模型会依赖单一患者的记录来生成输出,可能侵犯患者隐私。值得注意的是,基础模型已知存在数据泄露的风险。

“这些高容量模型中的知识可以为多个社区提供资源,但对抗性攻击者可能通过提示模型提取训练数据中的信息,”论文第一作者、麻省理工学院和哈佛大学Broad研究所Eric和Wendy Schmidt中心的博士后Sana Tonekaboni表示。鉴于基础模型可能记忆私人数据的风险,她指出,“这项工作是确保社区在发布模型前采取实际评估步骤的重要进展。”

为了研究电子健康记录基础模型在医疗领域可能带来的风险,Tonekaboni联系了麻省理工学院副教授、Abdul Latif Jameel健康机器学习诊所(Jameel Clinic)负责人及计算机科学与人工智能实验室成员Marzyeh Ghassemi。Ghassemi是麻省理工学院电气工程与计算机科学系及医学工程与科学研究所的教员,领导专注于健康领域稳健机器学习的Healthy ML团队。

研究团队设计了一系列测试,旨在评估攻击者需要多少信息才能暴露敏感数据,以及泄露信息带来的风险。这些测试测量不同类型的不确定性,并通过多层次的攻击可能性评估其对患者的实际风险。

“我们特别强调实用性;如果攻击者必须知道你记录中十几个实验室检测的日期和数值才能提取信息,那么实际造成的伤害风险非常小。如果我已经能访问这些受保护的原始数据,为什么还要攻击大型基础模型获取更多信息呢?”Ghassemi说道。

随着医疗记录数字化的不可避免,数据泄露事件日益频繁。过去24个月,美国卫生与公共服务部记录了747起影响超过500人的健康信息泄露事件,其中大多数属于黑客攻击或信息技术事件。

患有罕见疾病的患者尤其脆弱,因为他们更容易被识别。“即使是去标识化数据,泄露的个人信息类型也决定了风险大小,”Tonekaboni说,“一旦识别出身份,你就能获得更多信息。”

在结构化测试中,研究人员发现攻击者掌握的患者信息越多,模型泄露信息的可能性越大。他们展示了如何区分模型的泛化能力与患者级别的记忆,以准确评估隐私风险。

论文还强调,不同类型的信息泄露危害程度不同。例如,模型泄露患者年龄或人口统计信息可能被视为较为无害的泄露,而泄露如艾滋病诊断或酗酒等敏感信息则更具危害性。

研究人员指出,患有罕见疾病的患者因易被识别,可能需要更高层次的保护。“即使是去标识化数据,泄露的具体信息类型决定了风险,”Tonekaboni说。团队计划将研究扩展为更具跨学科性质,邀请临床医生、隐私专家及法律专家共同参与。

“我们的健康数据之所以私密,是有原因的,”Tonekaboni强调,“没有理由让他人知晓这些信息。”

本研究得到麻省理工学院和哈佛大学Broad研究所Eric和Wendy Schmidt中心、Wallenberg人工智能基金会、Knut和Alice Wallenberg基金会、美国国家科学基金会(NSF)、Gordon和Betty Moore基金会、谷歌研究学者奖及Schmidt科学AI2050项目的支持。研究资源部分由安大略省、加拿大政府通过CIFAR及Vector研究所赞助企业提供。


分享:


发表评论

登录后才可评论。 去登录