AI生成文本激增冲击各类机构 应对手段陷入“军备竞赛”

richlovec 1500_400 (1)
 

2023年,科幻文学杂志《Clarkesworld》因收到大量由人工智能生成的稿件,一度暂停接受新投稿。编辑发现,不少投稿者将杂志详尽的故事写作指南输入生成式AI,再将产出内容直接投递。其他小说杂志也报告了类似情况,AI生成稿件数量显著上升。

这一现象被视为更广泛趋势的缩影。长期以来,写作和认知门槛在一定程度上限制了投稿、申诉、申请等文本数量。生成式AI显著降低了这一门槛,使得各类机构在接收端面临前所未有的压力,人力难以跟上文本激增的速度。

多领域遭遇AI文本“淹没”

除文学出版外,多种机构均报告遭遇AI生成文本的大量涌入:

  • 报纸收到大量疑似由AI撰写的读者来信;
  • 学术期刊面临AI生成论文投稿的激增;
  • 立法机构收到大批由AI生成的选民意见;
  • 各国法院系统,尤其是在自我代理诉讼中,出现大量AI生成的诉讼材料;
  • AI相关学术会议被大量AI生成的研究论文投稿占据;
  • 社交媒体平台上AI生成内容快速扩散。

类似情况还出现在音乐创作、开源软件项目、教育活动、调查性新闻以及招聘流程等领域。

在压力之下,一些机构选择暂时关闭或收紧投稿和提交流程,做法与《Clarkesworld》早期反应相似。另一些机构则尝试通过技术手段“以AI对抗AI”,在接收端部署自动化工具筛查和处理文本。

“军备竞赛”式应对:AI对抗AI

多类机构正在采用AI工具来应对AI生成文本带来的冲击:

  • 学术界中,同行评审人员越来越多地借助AI工具,评估论文是否可能由AI生成;
  • 社交媒体平台依赖AI进行内容审核和过滤;
  • 法院系统尝试利用AI对因AI生成材料增加而膨胀的案件进行分流和初步处理;
  • 雇主使用AI工具筛选和审阅求职材料;
  • 教育机构在批改论文、监考以及向学生提供反馈时引入AI工具。

这些做法被形容为一场“军备竞赛”:同一类技术被用于相互对立的目的,攻防双方快速迭代。部分后果已显现出负面影响。例如,如果法院被大量缺乏实质依据、由AI生成的诉讼材料占据,司法资源将受到挤压;如果学术评价体系中的发表和引用被愿意大量提交AI生成论文和信件的研究者占据,学术诚信和科研质量也可能受到损害。

相关担忧集中在一点:AI降低了欺诈性行为的门槛,可能侵蚀社会依赖的关键制度和机制。

科研与创作领域的正负效应

在科学研究领域,AI既被视为重要工具,也带来新的风险。一方面,AI生成的无意义表述已被发现渗入部分科学论文,引发对内容可靠性的质疑。另一方面,研究人员在谨慎和透明前提下使用AI辅助写作,被认为有助于提升效率。

AI正被广泛用于文献综述、编程、数据编码与分析等科研环节,并逐渐成为科学表达和传播的重要辅助工具。在AI出现之前,资金较为充裕的研究者可以雇佣写作助理;对非英语母语作者而言,这类服务往往是昂贵但必要的支出。AI工具的普及在一定程度上让这类支持变得更为可及。

在小说出版领域,大量欺诈性AI投稿被认为损害了人类作者和读者的利益。不过,也有观点认为,部分出版机构可能会在要求披露和设定明确规范的前提下,接受AI辅助创作,并利用AI评估稿件的原创性、契合度和质量。

与此同时,一些机构坚持拒绝AI生成作品,但这需要付出较高成本。无论依靠人工还是技术手段,持续、准确地区分人类与机器写作都存在难度。若要确保只发表人类创作内容,机构可能需要收紧作者范围,并在较大程度上依赖对作者诚信的信任。在政策透明的前提下,读者可以根据自身偏好选择不同类型的出版物。

在求职领域,使用AI润色简历或撰写求职信,被视为与长期存在的写作辅导类似,过去这类服务主要由经济条件较好的人群享有。但当AI被用于伪造身份和经历,或在面试环节作弊时,则被视为越过了可接受的界限。

民主参与与“虚假草根”风险

在公共事务领域,AI同样呈现出双重效应。民主制度依赖公民向代表表达意见,或通过报纸等渠道发表看法。长期以来,富裕和有权势群体可以雇佣写手,将自己的想法转化为更具说服力的文字。AI工具的出现,使更多人能够获得类似的文字表达支持。

同时,AI生成内容可能包含错误或偏见。公民在使用AI撰写涉及历史、法律或政策的陈述时,往往难以完全独立核实相关信息,但AI在节省时间的同时,也可能在一定程度上提升其信息获取和表达能力。

与此相对,外界对“虚假草根运动”的担忧加剧。说客或利益集团可以利用AI批量生成看似来自普通公民的信件和意见,从而在数量上制造舆论假象。这一问题并非新生,但AI显著放大了其规模和效率。

有分析指出,技术本身并非区分积极与消极影响的关键,关键在于其在权力结构中的具体用法。同一项技术既可以降低普通公民向立法者分享经历的门槛,也可以被企业或组织用来在大规模上误导公众。前者被视为有助于参与式民主的“平权”应用,后者则被视为权力集中、对民主构成威胁的表现。

欺诈门槛降低与制度承压

总体来看,长期以来主要由富人和权势群体享有的写作和认知辅助,如今正通过AI工具向更广泛人群开放。但与此同时,AI也让欺诈行为变得更容易实施。任何应对措施都需要在扩大工具可及性与防范欺诈之间寻找平衡。

目前,关闭或禁止相关技术被认为并不可行。高性能AI系统已广泛可用,甚至可以在普通笔记本电脑上运行。职业伦理规范和明确的行业边界可以对守规者形成约束,但无论在学术写作、求职申请还是公民表达中,完全阻止人们使用这些工具——无论是正当辅助还是欺诈用途——都几乎不可能。这意味着各类机构将持续面对更多评论、信件、申请和投稿。

问题的核心在于,接收端难以承受AI驱动的数量激增。应对思路之一,是开发有助于机构运作和社会整体利益的AI辅助工具,同时尽量限制欺诈行为。这可能要求在对抗性系统中接受AI的存在,即便“防御性AI”难以取得绝对优势。

科幻界的持续博弈

科幻文学界自2023年以来持续探索应对路径。《Clarkesworld》在暂停投稿后重新开放,称已找到有效区分人类与AI写作的方法。但相关做法能维持多久、效果如何,目前尚无定论。

围绕AI生成文本的“军备竞赛”仍在继续。各方尚无法给出关于AI潜在益处是否会超过其带来危害的简单结论。不过,有观点认为,社会在不断试错和调整中,仍有机会影响AI技术在损害与机遇之间的实际平衡。

(作者信息:布鲁斯·施奈尔为哈佛肯尼迪学院公共政策兼职讲师;内森·桑德斯为哈佛大学伯克曼克莱因互联网与社会中心研究员。本文根据《The Conversation》授权内容整理。)


分享:


发表评论

登录后才可评论。 去登录