人工智能在辅助医生诊断患者和个性化治疗方案方面展现出巨大潜力。然而，由麻省理工学院（MIT）牵头的国际科学家团队提醒，目前设计的AI系统存在过度自信而导致错误决策的风险，可能会误导医生。

研究人员提出，防止此类错误的一个方法是让AI系统变得更加“谦逊”。这类系统能够在诊断或建议不确定时主动表达不自信，并鼓励用户在诊断不明确时收集更多信息。

“我们现在把AI当作神谕，但其实可以把AI当作教练，真正成为医生的‘副驾驶’。这不仅能提升我们获取信息的能力，还能增强我们连接信息点的主动性，”MIT医学工程与科学研究所高级研究科学家、贝丝以色列女执事医疗中心医生、哈佛医学院副教授Leo Anthony Celi说道。

Celi和团队提出了一个框架，指导AI开发者设计具备好奇心和谦逊特质的系统。研究人员表示，这种新方法能让医生与AI系统成为合作伙伴，避免AI对医生决策产生过度影响。

该研究发表在《BMJ健康与护理信息学》杂志上，首席作者是MIT Critical Data研究员Sebastián Andrés Cajas Ordoñez。

注入人文价值

MIT团队指出，过度自信的AI系统在医疗环境中容易导致错误。以往研究发现，重症监护室医生即使直觉与AI建议相悖，也倾向于信赖他们认为可靠的AI系统。医生和患者更容易接受权威性强但错误的AI建议。

研究人员建议，医疗机构应采用更具协作性的AI系统，与临床医生共同工作，而非提供过度自信的单方面建议。

“我们希望将人类纳入人机系统，促进集体反思和重新构想，而不是让孤立的AI独自完成所有任务。我们希望通过AI激发人类更大的创造力，”Cajas Ordoñez说。

为此，团队设计了包含多个计算模块的框架，可集成到现有AI系统中。首个模块要求AI模型在做出诊断预测时评估自身的确定性。由墨尔本大学的Janan Arslan和Kurt Benke开发的“认知美德评分”（Epistemic Virtue Score）充当自我意识检测，确保系统的信心与临床情境的固有不确定性和复杂性相匹配。

具备自我意识后，模型能根据情况调整回应。如果系统发现自身信心超过了证据支持的程度，它会暂停并标记这种不匹配，建议进行特定检测或病史采集，或推荐专家会诊。目标是打造不仅给出答案，还能提醒用户谨慎对待答案的AI。

“这就像有个副驾驶提醒你需要请另一双眼睛来更好地理解复杂患者，”Celi说。

Celi团队此前开发了可用于训练AI系统的大型数据库，包括贝丝以色列女执事医疗中心的重症监护医学信息库（MIMIC）。他们正致力于将新框架应用于基于MIMIC的AI系统，并在贝丝以色列拉希健康系统中向临床医生推广。

研究人员表示，这种方法也适用于分析X光影像或为急诊患者制定最佳治疗方案的AI系统等多种场景。

迈向更具包容性的AI

该研究是Celi及其团队推动设计由最终用户参与的AI系统的更大努力的一部分。许多AI模型（如MIMIC）基于美国公开数据训练，可能引入对医疗问题的单一视角偏见，排斥其他观点。

Celi强调，引入更多视角对于克服这些潜在偏见至关重要，全球联盟的每位成员都为集体理解贡献独特观点。

现有诊断AI系统通常基于电子健康记录训练，而这些记录最初并非为诊断设计，缺乏许多有助于诊断和治疗建议的上下文信息。此外，许多患者因地理或资源限制未被纳入数据集，如农村地区居民。

在MIT Critical Data举办的数据研讨会上，数据科学家、医疗专业人员、社会科学家和患者等共同设计新AI系统。研讨开始前，所有参与者都会被引导思考所用数据是否涵盖了预测目标的所有驱动因素，避免无意中将结构性不平等编码进模型。

“我们让他们质疑数据集，是否对训练和验证数据有信心？是否有患者被有意或无意排除？这将如何影响模型？”Celi说。“当然，我们不能停止或延缓AI的发展，不仅在医疗领域，在所有行业都是如此。但我们必须更有意识、更谨慎地推进。”

该研究由韩国健康产业发展院通过波士顿-韩国创新研究项目资助。