ECRI:AI聊天机器人滥用成2026年首要健康技术风险

richlovec 1500_400 (1)
 

ECRI在最新发布的《2026年十大健康技术风险》报告中将“医疗领域AI聊天机器人滥用”列为年度首要风险。ECRI是一家独立、无党派的患者安全组织,每年发布该风险榜单。

报告指出,基于大型语言模型(LLM)的聊天机器人——包括ChatGPT、Claude、Copilot、Gemini和Grok——能够生成听起来专业、接近人类表达的回答。ECRI称,这类工具并未作为医疗器械受到监管,也未经过医疗用途验证,但临床医生、患者及医疗从业人员的使用正在增加。根据OpenAI近期分析,每天有超过4000万人使用ChatGPT获取健康信息。

ECRI表示,聊天机器人在部分场景下可能提供帮助,但也可能输出错误或误导性内容,从而引发严重患者伤害。报告提醒,在使用聊天机器人获取可能影响患者护理的信息时应保持谨慎。ECRI解释称,AI系统并非真正理解语境或含义,而是通过预测基于训练数据学习到的词序列来生成回答;同时,这类系统往往以自信语气给出答案,即使内容并不可靠。

ECRI总裁兼首席执行官Marcus Schabacker博士在报告中表示,医学是一项以人为本的工作,算法无法替代医疗专业人员的专业知识、教育和经验。他称,要在发挥AI潜力的同时保护公众,需要严格监管、明确指导方针,并对AI局限性保持清醒认识。

报告列举称,聊天机器人曾出现错误诊断、建议不必要检测、推广劣质医疗用品,甚至在回答医疗问题时“虚构人体部位”等情况。ECRI还举例称,当其询问是否可将电外科回路电极放置于患者肩胛骨上时,一款聊天机器人错误表示该放置方式合适;若采纳相关建议,患者将面临烧伤风险。

ECRI同时提到,随着医疗费用上升以及医院或诊所关闭导致医疗服务可及性下降,更多患者可能转而依赖聊天机器人替代专业医疗建议,从而进一步放大相关风险。ECRI的患者安全专家计划于1月28日举行直播网络研讨会,讨论医疗领域AI聊天机器人的潜在危险。

报告还提示,聊天机器人可能加剧既有健康差距。ECRI称,训练数据中的偏见会影响模型对信息的解读,导致回答强化刻板印象与不平等现象。Schabacker表示,AI模型会反映训练数据中的知识与信念,包括偏见;若医疗相关方缺乏审慎态度,AI可能进一步加剧健康系统中的不平等问题。

在使用建议方面,ECRI提出,患者、临床医生及其他用户应了解工具局限,并始终通过可靠来源核实聊天机器人提供的信息。对医疗系统而言,可通过建立AI治理委员会、为临床医生提供AI培训、定期审计AI工具性能等方式,推动负责任使用。

报告公布的2026年十大健康技术风险依次为:

  1. 医疗领域AI聊天机器人滥用
  2. 对“数字黑暗”事件(电子系统及患者信息突然失效)准备不足
  3. 劣质及伪造医疗产品
  4. 家庭糖尿病管理技术召回沟通失败
  5. 注射器或导管与患者线路连接错误,尤其是在ENFit和NRFit推广缓慢的情况下
  6. 围手术期药物安全技术利用不足
  7. 设备清洁说明不充分
  8. 遗留医疗设备带来的网络安全风险
  9. 健康技术实施导致不安全临床工作流程
  10. 器械灭菌过程中的水质差

ECRI表示,该年度榜单已发布至第18年,旨在识别关键医疗技术问题。报告选题通过严格评审流程形成,结合事件调查、报告数据库以及独立医疗器械测试的相关信息。ECRI称,自2008年推出以来,该报告已被用于帮助医院、医疗系统、门诊手术中心及制造商降低风险。

ECRI称,《十大健康技术风险》报告执行摘要可供下载,完整报告仅向ECRI会员开放,包含组织与行业可采取的风险降低及患者安全改进措施。更多信息可访问www.ECRI.org。


分享:


发表评论

登录后才可评论。 去登录