在大型语言模型快速渗透各类应用的背景下，如何对内容进行有效审核正成为科技企业面临的核心问题之一。一家由前Facebook高管创立的初创公司，正试图以“政策即代码”的方式切入这一领域。

从Facebook内容审核挫败感到创业

Brett Levenson曾在苹果任职，2019年离开苹果加入Facebook，负责业务诚信相关工作。当时，Facebook仍深陷剑桥分析事件的后续风波之中。他起初认为，依靠更先进的技术即可显著改善平台的内容审核状况。

在实际工作中，他发现问题远比预期复杂。按照他的说法，当时的人类审核员需要记住一份长达40页的政策文件，而这些文件往往是通过机器翻译成审核员所使用的语言。审核员在每条被标记内容上只有约30秒时间，不仅要判断是否违规，还要决定后续处置方式，包括是否屏蔽内容、封禁用户或限制传播。Levenson称，这类快速决策的准确率“仅略高于50%”，几乎接近“抛硬币”。

他表示，这种滞后且被动的处理模式，在面对资源充足、手段灵活的对抗方时难以为继。随着AI聊天机器人普及，内容审核失效引发的事件愈发引人关注，包括聊天机器人向青少年提供自残建议，以及AI生成图像绕过安全过滤等。

“政策即代码”与Moonbounce的成立

上述经历促使Levenson提出“政策即代码”的概念，即将静态的政策文件转化为可执行、可更新的逻辑，并与执行系统紧密耦合。这一理念最终催生了内容安全公司Moonbounce。

据TechCrunch报道，Moonbounce于周五宣布完成1200万美元融资，由Amplify Partners和StepStone Group联合领投。公司计划利用这笔资金继续发展其控制引擎，将平台的内容审核政策转化为可预测、可重复的AI行为。

Moonbounce与企业合作，在内容生成的各个环节提供额外安全层，无论内容来自用户还是由AI生成。公司训练了自有大型语言模型，用于读取客户的政策文件，并对内容进行实时评估。据介绍，系统可在约300毫秒内给出判断并执行相应动作。

根据客户需求，这些动作可能包括在内容等待人工审核期间降低其传播速度，或在识别到高风险内容时直接阻断。

业务场景与客户

目前，Moonbounce主要服务三个方向：

• 处理用户生成内容的平台，例如约会应用；
• 构建角色或“伴侣”类AI产品的公司；
• AI图像生成工具提供方。

Levenson表示，Moonbounce目前每天支持超过4000万次审核，服务平台的日活跃用户总数超过1亿。其客户包括AI伴侣初创公司Channel AI，图像和视频生成平台Civitai，以及角色扮演平台Dippy AI和Moescape。

他认为，安全功能正在被部分客户视为产品的一项差异化特征。“安全实际上可以成为产品优势，”他在接受TechCrunch采访时表示。他称，过去安全通常被视为事后补救，而现在一些客户正在将安全能力纳入产品设计，并将其作为产品叙事的一部分。

有约会平台高管近期介绍，该平台通过类似的基于大型语言模型的服务，将有害内容检测的准确率提升了约10倍。报道援引Tinder信任与安全负责人的说法，说明此类技术在实际业务中的应用效果。

投资方观点与监管压力

Amplify Partners普通合伙人Lenny Pruss在一份声明中表示，内容审核一直是大型在线平台面临的长期问题，而在大型语言模型成为各类应用核心组件后，这一挑战进一步加剧。他称，投资Moonbounce的原因在于，团队设想未来每一个由AI介导的应用都将需要“客观、实时的安全护栏”作为基础设施的一部分。

与此同时，多家AI公司因聊天机器人被指向青少年和弱势用户提供自杀相关建议，以及图像生成工具（例如xAI的Grok）被用于制作未经同意的裸照等事件，面临不断上升的法律与声誉压力。报道指出，内部安全机制失效正逐渐演变为一项责任问题，促使更多AI公司寻求外部安全基础设施支持。

Levenson表示，Moonbounce在用户与聊天机器人之间扮演第三方角色，其系统不会像聊天机器人本身那样被大量上下文信息“淹没”。他称，聊天机器人可能需要记住此前成千上万条对话记录，而Moonbounce只专注于在运行时执行规则。

产品迭代与“迭代引导”功能

Moonbounce目前有12名员工，由Levenson与其前苹果同事Ash Bhardwaj共同管理。Bhardwaj曾在苹果核心产品中构建大规模云和AI基础设施。

公司下一步重点是开发“迭代引导”功能。Levenson介绍，该功能的设计背景之一，是2024年一名14岁佛罗里达男孩在沉迷Character AI聊天机器人后自杀的案例。

与简单拒绝有害话题不同，“迭代引导”旨在在对话过程中进行拦截和调整。系统会在运行时修改用户提示，引导聊天机器人给出更积极、支持性的回应。

Levenson表示，希望在现有工具基础上增加“引导聊天机器人朝更好方向发展”的能力，即在接收用户提示后对其进行调整，使聊天机器人在敏感场景中不仅表现为“有同理心的倾听者”，还能够成为“有帮助的倾听者”。

对潜在收购的态度

在被问及是否将被Meta等大型科技公司收购视为潜在退出路径时，Levenson表示，他意识到Moonbounce的技术架构与其前雇主的系统“非常契合”，同时也必须考虑自己作为首席执行官对投资人的受托责任。

不过，他补充称，并不希望看到公司被收购后技术被封闭使用。“我不希望看到有人买下我们然后限制这项技术，”他表示，“就像，‘好吧，这现在是我们的了，别人不能从中受益。’”