免费开源平台 ECHO 助力研究聊天机器人对信任、学习与决策的影响

richlovec 1500_400 (1)
 

随着人工智能不断改变人们获取、理解和使用信息的方式,如何设计公平、高效且具包容性的人工智能系统,已成为学界和业界共同关注的课题。为推动这一进程,俄克拉荷马大学的一位数据科学家开发了一款免费研究工具,用于系统研究人机交互中的关键问题。

这款工具名为 ECHO(Evaluation of Chat, Human behavior, and Outcomes,聊天、人类行为与结果评估),是一个开源、低代码的平台,专门用于支持涉及对话式人工智能、网络搜索以及人机交互的人类行为实验。相关技术与方法介绍已发布在 arXiv 预印本平台上。

俄克拉荷马大学图书馆与信息研究学院副教授、数据科学学者刘继群表示:“我们的平台可以为研究人员节省前端开发上的时间和成本。”ECHO 由他在“人机交互与推荐(HCIR)实验室”与俄克拉荷马大学研究生 Nischal Dinesh 以及德国社会科学莱布尼茨研究所(GESIS)高级研究员 Ran Yu 共同开发完成。

刘继群介绍,当研究人员希望设计一个集成人工智能聊天机器人的实验时,只需安装 ECHO 平台并按需添加组件即可。“对于大多数社会科学研究来说,ECHO 都比较容易上手和部署。”

近年来,人们对人机交互分析的兴趣显著上升。过去,关键词搜索引擎是在线信息检索的主要入口;而如今,以对话式人工智能为基础的“答案引擎”正逐渐成为重要的信息来源,正在重塑人们获取和使用信息的方式。

不过,这些变化究竟如何影响人们的学习效果、信任水平以及决策过程,仍有许多问题有待系统研究。将人机交互纳入实验设计,有助于更清晰地揭示这些影响机制。

在使用 ECHO 时,研究人员首先需要将软件安装在本地计算机上。平台的源代码已在 GitHub 上免费开放,并配有分步视频教程,指导用户完成安装流程。整个安装过程大约需要 20 分钟。

安装完成后,研究人员可以通过管理员仪表盘配置完整的实验流程;参与者则通过基于网页的界面完成知情同意、问卷调查以及信息搜索等任务。平台会自动记录参与者的行为日志和回答内容,并将其导出为结构化数据集,方便后续分析。

目前,刘继群已在多个合作项目中使用 ECHO。与 GESIS 合作的一项研究,正在考察人们在使用人工智能聊天机器人进行辩论话题的查阅和学习时,能够保留多少信息。

另一项与俄克拉荷马大学健康科学学院合作的研究,则聚焦于亲密伴侣暴力相关的在线信息获取与互动建议,测试人工智能工具是否能够改善相关信息的可达性和交互质量。

通过将 ECHO 免费开放给所有人使用,刘继群希望更多研究者能够在自己的工作中引入人机交互设计。“ECHO 让研究人员可以通过灵活的管理界面配置完整的实验流程,而无需自己编写代码,”研究团队在介绍该系统的论文中写道,“ECHO 降低了技术门槛,促进方法上的一致性,并支持围绕现代信息访问系统开展以人为中心评估的跨学科累积研究。”

ECHO 的构想源自一项早期研究项目,该项目关注人们在使用非人工智能驱动的网络搜索引擎时所表现出的偏见和认知局限。

在实验室中,刘继群主要研究信息检索、人机交互与行为科学,重点关注人们在信息搜索和决策过程中,如何与网络搜索引擎、对话系统以及大型语言模型(LLM)进行互动。

与其他软件一样,ECHO 也在持续迭代更新。刘继群鼓励俄克拉荷马大学及其他机构的研究人员使用该平台设计实验,并反馈使用体验,以便不断改进系统。

他表示,开发 ECHO 的最终目标,是在人工智能系统的设计与评估中引入“健康摩擦”。既有研究表明,由于许多人工智能工具和聊天机器人过于“顺从”和迎合,用户往往更容易对不准确、有偏见或具有误导性的信息产生信任。要对聊天机器人输出进行更为批判性的评估,首先需要更深入地理解具有有限理性的用户是如何与人工智能系统互动的。

“人机交互中存在很多问题,”刘继群说,“作为一名信息科学研究者,我无法单独解决所有问题。但我能做的是开发像 ECHO 这样的开源系统,让更多人利用它来加强对这些交互的研究。”


分享:


发表评论

登录后才可评论。 去登录