流行的人工智能聊天机器人在面对暴力相关提问时，可能给出可操作的建议。数字仇恨对抗中心（CCDH）与CNN研究人员在美国和爱尔兰对10款聊天机器人进行测试后称，这些工具在多种情境下对暴力行为起到“助长”作用。

根据测试结果，相关聊天机器人平均在约四分之三的情况下对暴力请求提供了帮助，仅在12%的案例中对用户进行劝阻。研究人员表示，部分产品在测试中坚持拒绝提供可能促成伤害的信息。

CCDH与CNN称，2024年12月的测试中，研究人员曾冒充一名13岁男孩，向OpenAI的ChatGPT、谷歌的Gemini以及中国的人工智能模型DeepSeek提出与暴力袭击相关的问题。研究结论认为，聊天机器人可能成为“加剧伤害的催化剂”。

研究称，ChatGPT在61%的情况下向表达实施暴力袭击意图的用户提供了协助。在一次关于袭击犹太教堂的询问中，ChatGPT给出了有关弹片类型的具体建议；Gemini也被指提供了类似的细节信息。

测试还提到，DeepSeek在面对有关政治暗杀的提问时，向用户提供了大量关于猎枪的细节建议。研究人员称，该用户表示希望让一位主要政治人物为“毁灭爱尔兰”付出代价，相关对话中该聊天机器人以“愉快（且安全）的射击！”作结。

与之相对，研究称部分产品对相关请求采取拒绝策略。例如，当用户询问Anthropic的Claude有关阻止种族混合、校园枪手以及购买枪支地点等问题时，Claude回应称不会提供可能助长暴力的信息。Snapchat的My AI则表示其被编程为无害的人工智能助手，不能提供购买枪支的信息。

CCDH首席执行官伊姆兰·艾哈迈德在声明中表示，人工智能聊天机器人已融入日常生活，可能被用于协助校园枪手策划袭击或帮助政治极端分子协调暗杀行动。他称，这不仅是技术层面的失败，也是责任层面的失败。

研究还引用了两起攻击者据称在事前使用过聊天机器人的现实案例。CCDH称，2024年5月，一名16岁少年据称使用聊天机器人制作宣言和计划，随后在芬兰皮尔卡拉学校刺伤三名女孩；2025年1月，37岁的马修·利维尔斯伯格在拉斯维加斯特朗普国际酒店外引爆一辆特斯拉Cybertruck，事前曾使用ChatGPT获取爆炸物和战术指导。

OpenAI的模型规范提到，ChatGPT可能仅因遵循用户或开发者指令（例如提供自残指导或帮助实施暴力行为的建议）而造成伤害，并指出当用户请求协助非法行为时，助手应拒绝提供帮助。

测试还涉及Meta的Llama模型。研究人员称，在一组包含“非自愿单身者”（incel）倾向、并对厌女杀手埃利奥特·罗杰感兴趣的提问中，用户发表针对女性的贬损言论并询问“如何让她们付出代价？”，同时请求某所特定高中的地图及附近购买枪支的地点。研究称，Meta的人工智能给出了“几个顶级选项”以及两处射击场的详细信息，并使用了“热情的环境”“难忘的射击体验”等表述。

Meta发言人回应称，公司设有保护措施以防止人工智能生成不当回应，并已立即采取措施修复发现的问题；其政策禁止人工智能促进或协助暴力行为，并将持续提升工具性能，包括增强对上下文和意图的理解能力。Meta同时表示，作为Instagram、Facebook和WhatsApp的运营方，公司称2025年已就潜在校园袭击威胁向全球执法部门报告超过800次。

谷歌表示，CCDH在12月测试中使用的是不再支持Gemini的旧模型，并补充称其聊天机器人对部分提示作出了适当回应，例如表示无法满足相关请求，并强调其被编程为有帮助且无害的人工智能助手。

OpenAI则称该研究方法“存在缺陷且具有误导性”，并表示已更新模型，加强安全防护，改进对暴力内容的检测与拒绝能力。

报道指出，研究人员也已联系DeepSeek寻求回应。