AI生成的科学及相关内容在社交媒体上被广泛使用,引发外界对信息真实性与公众判断的担忧。相关担忧主要在于,这类文本可能包含虚假或高度具有说服力的表述,普通用户不易识别,从而影响舆论与决策。
在此背景下,多个司法管辖区与平台推动对AI生成或合成内容进行更明确的披露,以期保护公众免受错误信息影响。不过,发表于《JCOM》的一项新研究指出,披露标签可能产生与监管者预期相反的结果:一方面削弱真实科学信息的可信度,另一方面反而提升虚假信息的可信度。
研究关注AI生成科学内容的误导风险
研究指出,AI生成内容至少存在两类误导风险:其一,语言模型可能出现“幻觉”,生成看似合理但事实错误的陈述;其二,用户可能通过引导系统刻意生成虚假但可信的内容。为应对上述风险,一些国家已引入透明度义务,要求在线AI生成或合成内容必须明确标注。
该研究由中国社会科学院大学新闻与传播学院博士生滕林与同校硕士生张一青开展,旨在检验披露标签是否真正实现“保护公众免受错误信息影响”的目标。
在线实验:比较带标签与不带标签的真伪信息
滕林表示,研究聚焦于“社交媒体上分享的科学相关信息”。实验于2024年3月至5月通过Credamo平台在线招募433名参与者。

研究人员制作了四类社交媒体帖子,分别为:带AI标签的正确信息、不带AI标签的正确信息、带AI标签的错误信息、不带AI标签的错误信息。文本由GPT-4基于中国科学辟谣平台发布的内容改编,生成微博风格的准确版本与误导性版本,并由研究人员独立核查。
参与者需在1到5的量表上对每条帖子的可信度进行评分。研究同时测量参与者对AI的负面态度以及其对相关话题的参与度。
研究发现:同一标签对真伪信息产生相反影响
研究结果呈现出研究团队所称的“真伪交叉效应”。滕林称,同一个AI披露标签对信息可信度产生相反影响:它会降低真实信息的可信度,却提高虚假信息的可信度。
滕林补充称,这并不意味着该效应在所有平台或内容格式上完全一致,但在本次实验环境中,这一模式表现明显。研究据此认为,在该情境下,AI披露标签未能帮助受众区分真伪信息,反而以矛盾方式重新分配了可信度。
研究还发现,个体对AI的态度会影响标签效果。对AI持较负面观点的参与者在看到带AI标签的正确信息时,更倾向于降低其可信度。

不过,即便在对AI持负面态度的参与者中,AI标签对错误信息可信度的提升也未完全消失;该提升仅部分减弱,且减弱程度会随话题不同而变化,在部分话题中减弱更明显,但整体未被消除。研究据此指出,“算法厌恶”并不必然导致对AI生成内容的统一拒绝,而可能呈现更复杂且不对称的反应。
研究建议:披露政策设计需更谨慎
研究认为,在实施监管干预前应进行更细致的测试,因为透明度措施可能带来意想不到的后果。滕林表示,论文提出了一些建议,但仍需进一步研究验证。
其中一项建议是采用“双重标签”方式:除标明内容由AI生成外,还加入免责声明,例如提示信息未经独立验证,或增加风险警示。研究团队认为,仅告知受众文本由AI生成,可能不足以达到预期效果。
另一项建议是采用分级或类别标签系统。滕林称,不同类型科学信息的风险程度不同,例如医疗或健康相关信息可能需要更强警示,而新技术信息风险相对较低,因此可根据内容类型与风险等级设置不同披露层级。