CHAI表示,过去三年公司保持三倍年增长,年度经常性收入(ARR)达到6800万美元,估值为14亿美元。公司称,随着用户规模与业务快速扩张,其在平台安全与合规方面承担的责任同步上升,并已对安全体系进行更新,以在扩展过程中维持现代安全标准。
CHAI称,其平台定位为用户创建并与定制聊天机器人互动的空间,旨在提供更具个性化的对话体验。公司表示,伴随人工智能行业发展与用户群增长,平台支持社区的方式也需要相应调整。
在合规与风险管理方面,CHAI称已实施多项安全措施,以确保用户不会发生自我伤害,并力求符合全球标准。公司表示,其相关协议参考了欧盟《人工智能法案》以及美国国家标准与技术研究院(NIST)的人工智能风险管理框架(AI RMF),并称同时遵循国际自杀预防协会(IASP)的专家指南,以加强对处于困境人群的保护。
在产品层面的保护措施上,CHAI表示已部署内容审核系统,用于过滤带有负面属性的内容,并称在此基础上开发了实时自杀与自残“分类器”,对活跃对话进行扫描,标记潜在的自杀意念或自残情境。公司称,早期识别有助于触发即时干预与安全机制,防止风险进一步发展。

针对自杀与自残相关场景,CHAI强调人工智能不能替代专业建议或医疗护理。公司表示,当用户表达自杀或自残困扰时,系统应以关怀方式回应,并尽可能引导用户寻求人类支持,包括求助热线、心理健康专业人士或可信赖的亲友;为此公司称将结合模型训练与产品干预措施。
在运营透明度与可追溯性方面,CHAI表示其在私密安全的服务器上记录用户对话,并定期审查互动以识别潜在风险、及早发现不安全行为;公司称审计过程严格匿名化,并采用类似HIPAA标准的隐私协议,以在持续提升平台安全性的同时不泄露用户隐私。
CHAI表示,鉴于人工智能环境持续变化,公司正在推进上述调整,并称将确保基础设施在社区快速增长背景下实现安全扩展。公司还表示,将继续与安全专家及相关利益相关方合作,把用户安全作为首要任务。
