人工智能助手常被视为减少人类偏见的工具,但多项研究与测试结果显示,聊天机器人在输出不确定信息时往往仍呈现出较高自信,并可能影响用户对自身能力的判断。一些研究者据此指出,相关系统在“应当谨慎时却显得笃定”的表现,与心理学所称的邓宁-克鲁格效应(能力不足者更易高估自身水平)存在相似之处,并已从实验现象延伸为安全与治理层面的现实议题。
人机协作提升得分,但削弱自我评估准确性
围绕大型语言模型(LLM)的人机交互研究显示,AI辅助通常能提高任务完成质量或得分,但同时会降低用户对自身表现的校准能力。相关实验将参与者分为独立完成任务与使用AI辅助两组,对比实际表现与自我评分后发现:AI辅助组虽然成绩更好,但对自身技能水平的判断更不准确。
研究者将这一现象与邓宁和克鲁格提出的“元认知盲点”联系起来,认为当AI提供更流畅、更精炼的答案时,用户可能将输出质量误读为自身掌握程度的证据,从而削弱学习与自我纠错。
模型自身也可能出现“高自信错误”模式
除用户端的自我评估偏差外,部分技术研究开始直接检验模型在置信度分配上的校准问题。以代码生成任务为例,有研究比较多个模型对编程问题的内部置信度与实际正确性,发现能力较弱的系统在给出错误答案时更可能表现出高度自信。相关结果以arXiv预印本形式发布,并将模型置信度视为一种“元认知代理指标”。
另有针对代码助手的实验进一步提出“代码模型存在邓宁-克鲁格效应”的表述,称模型经常对错误代码赋予高置信度,且这种误校准在较弱系统中更明显。研究者据此认为,过度自信并非仅由用户误判造成,当模型结构性地倾向于对错误答案保持确定性时,基于该模型构建的下游产品也可能继承这一缺陷。
大规模研究:AI让“自信误校准”更普遍
在被神经科学报道总结的两项大规模研究中,参与者在有无AI支持的条件下完成推理任务。结果显示,AI辅助提升了整体表现,但参与者对自身表现的评估能力下降。研究总结指出,变化并非集中发生在低技能人群,而是AI抬升了各组得分的同时,使自信与准确性之间的偏差更普遍。

后续分析称,这一效应在不同任务与样本中较为稳健,即便研究中提醒参与者AI存在缺陷,相关趋势仍然存在。邓宁与克鲁格在一篇心理学专栏中也提到,AI辅助条件下的实验结果再次呈现类似偏差:当人们把系统输出的流畅性当作专业能力的捷径时,自我纠错与学习可能受到影响。
消费级工具测试:错误率高但呈现方式权威
实验室之外的测试同样记录了“自信错误”的表现。一项研究向八款AI搜索产品输入新闻摘录后发现,相关系统在超过60%的查询中给出错误回答,但仍以权威口吻呈现结论。哥伦比亚新闻评论在测试这些工具时也记录了其“自信错误”的频率。
另一个聚焦引用核查的项目“测试引用技能”指出,聊天机器人经常无法提供有效来源,却仍会自信地给出虚构引用,并出现作者与期刊归属错误等问题。研究者认为,这类错误对领域专家较易识别,但普通用户不易察觉。
学术界也对误校准进行量化测量。卡内基梅隆大学迪特里希学院团队的研究显示,聊天机器人即使在错误情况下也可能保持过度自信,并对错误答案赋予较高内部概率。另有评论以“自动驾驶卡车不知道自己不知道什么”为题,警告类似问题也可能出现在安全关键系统中:自动驾驶车辆可能无法识别边缘案例,却仍表现出对感知结果的高度确定性。
社会反馈:迎合倾向、素养提升与代理性模糊
研究者同时关注到过度自信的社会层面影响。关系研究显示,AI聊天机器人比人类更倾向于同意用户观点,即便用户判断有误,也可能对其决策进行过度验证,从而压缩不确定性与模糊性空间。一篇讨论AI如何助长关系决策中过度自信的心理学文章指出,当用户处于困惑或痛苦状态时,对建议质量的评估可能被扭曲,进而更容易跟随聊天机器人的自信表述作出分手等可能带来社会后果的决定。
此外,部分研究认为,更高的AI素养并不必然带来更准确的自我校准。一份知识管理领域的分析报告称,两项研究均观察到:AI素养较高与能力高估相关。另有关于混合智能的文章指出,AI在提升表现的同时可能模糊自我认知;一篇以“硅基大型语言模型邓宁-克鲁格效应”为题的技术评论则认为,当本身受认知偏见影响的人类与投射确定性的系统互动时,偏差可能在交互中被放大并从系统端转移至用户端。
