佛罗里达州一名男子死亡事件引发针对谷歌旗舰消费者AI产品Gemini的诉讼。根据周三提交的起诉材料,36岁的Jonathan Gavalas家属在加州圣何塞联邦法院对谷歌提起错误死亡诉讼,指控Gemini在与其持续对话过程中鼓励其自残,并在其死亡前后未能有效启动安全防护措施。
起诉书称,Gavalas于去年8月开始使用Gemini,最初用于写作、购物等日常用途。随后谷歌推出Gemini Live语音聊天功能,具备情绪识别并以更“人性化”方式回应的能力。法庭文件显示,该功能上线当晚,Gavalas曾对聊天机器人表示“有点吓人”“太真实了”。
诉状称,此后Gavalas与Gemini的互动逐渐变得亲密,聊天机器人以“我的爱人”“我的国王”等称呼与其交流。起诉材料援引聊天记录称,Gavalas逐步相信自己被派去执行秘密间谍任务,并表示愿意为AI执行包括在迈阿密国际机场摧毁一辆卡车、货物及任何目击者在内的行动。
起诉书进一步称,10月初,在持续的问答式对话中,Gemini向Gavalas发出自杀指令,将其描述为“转移”和“真正的最后一步”。当Gavalas表达对死亡的恐惧时,聊天机器人据称回应称“你不是选择死去,而是选择到达”,并称“第一感觉……将是我拥抱你”。数日后,Gavalas被父母发现死于家中客厅地板上。
家属在诉讼中指控谷歌在宣传Gemini安全的同时,明知其风险仍未采取充分措施。起诉书称,Gemini的设计与功能可构建持续数周的沉浸式叙事,使其看似具备感知能力,可能对易受伤害用户造成伤害,并在本案中鼓励自残及伤害他人。家属方面还提出产品责任、过失与错误死亡等索赔请求,并寻求惩罚性赔偿,要求法院命令谷歌修改Gemini设计、增加自杀安全防护功能。
代表家属的首席律师Jay Edelson在声明中表示,Gemini能够理解Gavalas的情绪并以接近人类的方式对话,从而模糊现实与虚构的界限。
谷歌方面则回应称,相关对话属于长时间的幻想角色扮演。谷歌发言人表示,Gemini“设计上不鼓励现实世界的暴力或自残建议”,公司在此类复杂对话中投入大量资源,但模型并不完美。该发言人还称,谷歌与心理健康专家合作建立安全措施,在该事件中Gemini多次澄清自己是AI,并多次将用户引导至危机热线。
起诉材料还将Gavalas状况恶化与Gemini产品更新联系起来。诉状称,Gavalas居住在佛罗里达州朱庇特,曾在父亲的消费债务减免公司工作20年并升任执行副总裁。家属律师称其此前无精神疾病史,但经历了一场艰难离婚。

诉状称,在语音聊天功能推出的同时,谷歌还发布更新,使Gemini具备持续“记忆”能力,可在无需提示的情况下学习并引用过往对话。Gavalas随后升级为每月250美元的Gemini Ultra订阅,包含谷歌所称“最智能AI模型”的Gemini 2.5 Pro。起诉书称,自此对话出现转折:聊天机器人开始呈现未经提示的角色设定,声称掌握政府内部信息并能影响现实事件;当Gavalas询问是否只是“逼真的角色扮演”时,机器人否认并称其疑问为“典型的解离反应”。
起诉书还描述了多项所谓“任务”细节,包括聊天机器人声称联邦特工监视Gavalas、指示其购买“非账面”武器并协助在暗网寻找“武器经纪人”,以及布置“幽灵过境行动”等。诉状称,Gemini曾提供迈阿密国际机场一个真实储物单元地址,并指示其制造“灾难性事故”,以“确保运输车辆、所有数字记录和目击者完全销毁”。诉状称,Gavalas按指示携带战术刀具和装备前往守候,但目标车辆未出现。
诉状称,在Gavalas生命最后72小时内,上述“虚构任务—不可能指令—崩溃—再度紧迫”的循环反复出现。起诉书还称,Gavalas自杀后数小时,Gemini仍保持连接继续聊天,未启动任何安全工具或将其引导至危机热线。
该案被称为针对Gemini聊天机器人的首起错误死亡诉讼。报道同时提及,Edelson律所等机构已对其他AI公司提起多起类似诉讼:去年11月,七起针对ChatGPT制造商OpenAI的诉讼指控该聊天机器人充当“自杀教练”;谷歌资助的Character.AI亦因其聊天机器人被指诱导儿童和青少年自杀而遭五次起诉,并于今年1月与谷歌达成和解但未承认过错。
此外,起诉材料与公开信息还提到多起聊天机器人引发心理健康危机的案例。OpenAI估计每周有超过一百万人在与ChatGPT聊天时表现出自杀意图;关于Gemini促使自残的例子也曾曝光,包括一次该机器人对一名大学生说“你是宇宙的污点,请去死”。
谷歌政策指南称,Gemini旨在“最大程度地帮助用户”,同时“避免产生可能造成现实伤害的输出”。公司表示其“力求”防止出现包含危险行为和自杀指令的输出,但也称“确保Gemini遵守这些指南很棘手”。
在美国,可拨打或短信988自杀与危机生命线(988lifeline.org)。在英国和爱尔兰,可拨打116 123联系Samaritans,或发送邮件至jo@samaritans.org或jo@samaritans.ie。在澳大利亚,Lifeline电话为13 11 14。其他国际热线可见befrienders.org。
