新研究:让非AI专业人士参与,有望提升可信赖AI应用的构建

非AI专业人士也能参与塑造可信赖AI

一项最新研究表明,在人工智能应用的开发和评估过程中,主动邀请没有AI专业背景的人参与,有助于打造更优质、更公平、更值得信赖的自动化决策系统。来自英国多所大学的研究人员在招募公众成员评估两个真实AI应用的潜在影响后,提出了“参与式AI审计”(participatory AI auditing)的概念,并将在一场重要的国际计算机会议上分享他们的研究成果和未来建议。

解决AI开发中的关键缺口

研究团队指出,当前AI在公共和私营部门被广泛用于减轻工作负担、提升效率,但如果缺乏对潜在偏见和不公的充分审查,AI系统也可能做出质量低劣甚至有害的决策。

目前,确保AI系统“公平、公正”的责任主要落在工程师和数据科学家身上。当开发者没有充分理解那些会受到AI决策影响人群的社会、经济处境时,系统就容易出现意料之外的问题。

“参与式审计”的目标,是在AI应用开发的早期阶段就引入更广泛的利益相关者,提前发现并预防这些问题。尽管参与者通常不具备技术层面的专业知识,但他们能从社会和伦理角度提出传统技术审计容易忽略的观点。

研究展示:公众愿意参与,也能提供独特洞见

这项研究的论文将于本月晚些时候在巴塞罗那举行的ACM计算机-人机交互(CHI)会议上发表。论文显示,无AI专业背景的参与者不仅愿意从开发初期就介入AI应用的设计与评估,还能提出开发团队此前未曾意识到的意外见解。

不过,研究也发现,这些参与者需要较多支持和合适的工具,才能在审计过程中给出最有价值的反馈。因此,如何设计能引导他们完成审计流程的新工具,是推动参与式审计落地的关键一环。

让生活经验转化为审计能力

格拉斯哥大学计算机科学学院的 Simone Stumpf 教授是该项目的首席研究员。她指出:

全球范围内,政府、金融机构和私营部门对AI决策的依赖正在不断加深,未来几年AI应用的使用只会进一步扩大。

她提到,2024年推出的欧盟《AI法案》等监管举措,正试图限制设计不良的AI系统对相关人群造成的伤害。该研究的目标,是提供一套系统化的框架和工具,让没有AI专业背景的人也能利用自身的生活经验,通过参与式审计识别并报告这些潜在伤害,从而更积极地参与构建可信赖的AI系统。

以真实AI应用为例的工作坊

论文基于一系列与17名无AI专业背景人士共同开展的工作坊。这些参与者被邀请审计两个用于医疗和教育场景的AI工具:

  • SPARRA(苏格兰患者再入院及入院风险评估):由苏格兰国家医疗服务体系(NHS Scotland)使用,用于预测哪些患者在未来一年内可能需要住院。
  • SAM(学校依恋监测器)原型:由格拉斯哥大学开发,帮助儿童心理学家和精神科医生通过分析5至9岁儿童的语言,了解他们与照护者之间的依恋关系。

参与者包括患者代表、教师和家长等多元群体,他们要么是这些应用的潜在终端用户,要么会直接受到这些系统决策的影响。

在工作坊中,审计员的任务包括:

  • 识别应用可能带来的各种影响;
  • 思考如何衡量这些影响;
  • 提出支持参与式审计的工具应具备哪些功能、如何运作。

参与者的共识:被影响的人应从一开始就参与

所有志愿者都强烈认同:

  • 受AI应用影响的人群应参与系统的开发;
  • 最好从设计阶段就介入,并持续参与整个开发周期。

他们认为,参与式审计应:

  • 清晰说明AI应用的目标和用途;
  • 对谁在进行审计、审计目的为何保持透明。

工作坊还强调,审计不应只关注负面风险:

  • 需要同时记录应用的正面和负面影响;
  • 应允许审计员记录那些难以简单归类的“模糊结果”。

虽然研究团队最初更关注识别风险和伤害,但参与者特别希望,系统对相关群体可能带来的益处也能被系统化地记录下来。

此外,参与者认为,不应只用“通过/未通过”这样的二元结果来标记系统的某些方面,而是需要第三种选项,用于表示那些无法用简单二元分类概括的影响。

不过,当被要求对工具的整体影响进行量化或系统性衡量时,许多参与者表示感到压力和不安。

需要工具与引导,帮助非专业人士评估影响

格拉斯哥大学的 Eva Fringi 博士是该研究的第一作者之一。她表示:

参与者很容易就能指出这两个应用可能带来的问题,有些见解甚至是开发者此前没有考虑到的。

但在独立思考“如何恰当地衡量这些问题的影响”时,参与者普遍感到困难。研究团队发现:

  • 当提供分步骤的提示;
  • 并展示以往如何使用指标的案例时,

参与者的反应非常积极。这表明,只要在审计过程中提供足够的支持和引导,他们就能对指标设计和影响评估提出有价值的意见。

协作式AI开发有望提升公众信任

研究团队正在继续构建一个更完整的“负责任AI审计”框架。他们认为,以协作方式开发AI应用,不仅有助于提升公众对AI的信任,也能为开发和部署这些系统的组织带来长期收益。

论文的另一位第一作者 Patrizia Di Campli San Vito 博士指出:

参与式审计为AI系统提供了一个潜在的新卖点:从一开始,这个应用就经过了多元群体的审视,因此比那些奉行“快速行动、先破后立”理念的软件更安全、更可靠。

她表示,希望这项研究能推动构建“从根本上就被设计为做出更好决策”的可信赖AI应用。

多校合作与会议发表

本研究由多所英国高校合作完成,除格拉斯哥大学外,谢菲尔德大学、斯特灵大学、斯特拉斯克莱德大学和约克大学的研究人员也参与其中,并共同署名论文。

该论文题为:

《赋能利益相关者参与预测性AI的参与式审计:无AI专业背景的终端用户和决策主体视角》

论文将于 2026年4月16日(星期四) 在西班牙巴塞罗那举行的 CHI会议 上正式发表。


分享:


发表评论

登录后才可评论。 去登录