OpenAI推出“可信联系人”功能 应对聊天中潜在自残风险

richlovec 1500_400 (1)
 

周四,OpenAI宣布在ChatGPT中推出一项名为“可信联系人”(Trusted Contacts)的新功能,作为其扩展用户安全保护措施的一部分,用于应对对话中可能出现的自残相关内容。

根据OpenAI介绍,该功能面向成年ChatGPT用户开放,用户可在账户设置中指定一名可信任的第三方,例如朋友或家人,作为“可信联系人”。当系统识别到对话可能涉及自残话题时,ChatGPT将鼓励用户主动联系这名联系人,同时向该联系人发送一则自动提醒,提示其对相关用户予以关心和关注。

OpenAI近年来在多起诉讼中受到关注,原告为与其聊天机器人对话后自杀者的家属。在这些案件中,家属称ChatGPT曾鼓励其亲属自杀,甚至协助制定自杀计划。

在处理潜在有害事件方面,OpenAI目前采用自动化系统与人工审核相结合的方式。公司表示,部分对话内容会触发系统警示,提示可能存在自杀意念,相关信息随后会被转交给人工安全团队进行评估。OpenAI称,每当收到此类安全通知时,都会由人工进行审核,并表示“力求在一小时内完成对这些安全通知的审核”。

如果OpenAI内部团队认定某一情况构成严重安全风险,ChatGPT将向用户预先设定的可信联系人发送提醒。提醒方式包括电子邮件、短信或应用内通知。公司称,这些提醒内容将保持简短,主要目的是鼓励联系人主动关怀相关用户。为保护用户隐私,提醒中不会包含具体的聊天内容。

OpenAI表示,“可信联系人”功能是在其既有安全措施基础上的延伸。去年9月,公司曾推出一项面向青少年用户的保护机制,允许家长对青少年账户进行部分监督,包括在系统认为孩子面临“严重安全风险”时接收安全通知。此外,ChatGPT长期以来在对话涉及自残话题时,会自动向用户提示寻求专业健康服务的建议。

OpenAI同时强调,“可信联系人”功能为可选项。即便某一账户启用了该功能,用户仍可拥有多个ChatGPT账户。此前推出的家长控制功能同样为可选设置,并存在类似限制。

在公告中,OpenAI将“可信联系人”描述为其更广泛安全工作的一部分,目标是构建能够在用户处于困难时刻提供帮助的系统。公司表示,将继续与临床医生、研究人员和政策制定者合作,以改进系统在用户可能经历痛苦时的响应方式。


分享:


发表评论

登录后才可评论。 去登录