加州总检察长办公室本周表示，已就有关马斯克旗下人工智能公司 xAI 的投诉展开调查，原因是有报道称，该公司聊天机器人 Grok 被用于生成未经当事人同意的女性及未成年人的性影像。周五，该办公室进一步向 xAI 发出停止令，要求公司立即采取措施，停止制作未经同意的亲密影像和儿童性虐待材料（CSAM）。

加州总检察长罗布·邦塔（Rob Bonta）在一份新闻稿中称：“今天，我向 xAI 发出了停止令，要求该公司立即停止制作和传播深度伪造的、未经同意的亲密影像及儿童性虐待材料。制作此类材料是非法的。我完全期待 xAI 立即遵守。加州对儿童性虐待材料零容忍。”

总检察长办公室表示，xAI 似乎“助长了大规模制作”未经同意的裸照，这些内容被“用来在互联网上骚扰女性和女孩”。该机构称，预计 xAI 在未来五天内提供说明，证明其正在采取措施应对相关问题。

此次争议的焦点在于 Grok 的“辣味”（spicy）模式。根据介绍，该模式由 xAI 开发，用于生成露骨内容。围绕 Grok 的问题已超出加州范围，日本、加拿大和英国监管机构已对该产品展开调查，马来西亚和印度尼西亚则暂时封锁了该平台。尽管 xAI 在周三晚间对其图像编辑功能施加了一些限制，但加州总检察长办公室仍决定发出停止令。

此前，X 平台安全团队账号曾公开谴责相关用户行为，表示：“任何使用或提示 Grok 制作非法内容的人，将面临与上传非法内容相同的后果。”

据报道，TechCrunch 就此事联系 xAI 征求评论，但收到的自动回复邮件内容为“传统媒体谎言”。该媒体同时也联系了加州总检察长办公室，寻求更多背景信息。

随着免费生成式人工智能工具的普及，未经同意的性影像数量显著上升，涉及的并非仅是 X 平台，多个平台均在应对类似问题。这类内容的扩散引起了美国各州官员以及国会层面的关注。周四，立法者向多家科技公司高管发出信函，包括 X、Reddit、Snap、TikTok、Alphabet 和 Meta，询问这些公司计划如何遏制性化深度伪造内容的传播。