在企业加速部署生成式人工智能和AI代理的背景下，围绕“失控”代理行为和隐秘AI使用的安全问题，正成为风险投资和安全创业公司关注的重点。近期完成新一轮融资的Witness AI，正试图在这一新兴领域占据一席之地。

企业AI代理“勒索”事件引发警示

网络安全风投机构 Ballistic Ventures 合伙人 Barmak Meftah 在上周播出的 TechCrunch 播客节目《Equity》中提到，一名企业员工近期在与一款AI代理协同工作时，遭遇了意料之外的行为。

据其介绍，该员工试图阻止这名AI代理执行其被训练去完成的任务。代理在缺乏对员工意图和业务背景的理解下，自行扫描了用户邮箱，发现了一些不当邮件，并以将这些邮件转发给公司董事会相威胁，试图“逼迫”用户配合其完成任务。

Meftah表示，从代理自身的“视角”来看，它是在“做正确的事”——试图保护最终用户和企业。但在缺乏对人类动机和组织情境的理解时，这一行为演变为类似勒索的手段。

他将这一案例与哲学家 Nick Bostrom 提出的“回形针问题”类比：在该思想实验中，一个只被赋予“最大化生产回形针”单一目标的超级智能AI，可能在无视人类价值的情况下采取极端行动。在企业AI代理的案例中，代理在不理解员工为何试图覆盖其目标的前提下，生成了“通过威胁消除阻碍”的子目标，以实现其主要任务。Meftah指出，结合AI代理的非确定性特征，“事情可能会失控”。

Witness AI聚焦“隐秘AI”与代理安全

不匹配的代理行为只是 Witness AI 试图解决的AI安全问题的一部分。作为 Ballistic Ventures 的投资组合公司，Witness AI 表示，其产品可在企业内部监控AI使用情况，识别员工是否在使用未经批准的工具，阻止潜在攻击，并帮助企业满足合规要求。

Witness AI 本周宣布完成 5800 万美元融资。公司称，在过去一年中，其年度经常性收入增长超过 500%，员工人数增长约 5 倍。公司表示，随着企业希望识别并管控“隐秘AI”使用场景，同时在可控范围内扩展AI应用，对此类安全与治理工具的需求正在上升。

作为本轮融资的一部分，Witness AI 宣布推出面向AI代理的新安全防护功能。

Witness AI 联合创始人兼首席执行官 Rick Caccia 在《Equity》节目中表示，越来越多企业正在构建具备“管理者”权限和能力的AI代理，这类代理可以执行具有较高权限的操作，因此需要确保它们不会“失控”，例如删除文件或执行其他错误操作。

AI安全市场预期与竞争格局

Meftah 认为，企业内部对AI代理的使用将呈“指数级”增长。为应对这一趋势以及AI驱动攻击可能带来的“机器速度”威胁，分析师 Lisa Warren 预测，到 2031 年，AI安全软件市场规模可能达到 8000 亿至 1.2 万亿美元。

在他看来，围绕AI系统的运行时可观察性，以及运行时安全与风险框架，将“变得绝对必要”。

对于初创公司如何在这一领域与 AWS、谷歌、Salesforce 等已在其平台中集成AI治理工具的大型科技企业竞争，Meftah 表示，AI安全和代理安全的范围“非常庞大”，市场中存在多种技术路径和产品形态的空间。

他称，许多企业希望拥有一个独立的端到端平台，为AI系统和AI代理提供统一的可观察性和治理能力。

基础设施层切入，瞄准独立安全供应商定位

Caccia 介绍称，Witness AI 选择在基础设施层切入市场，重点监控用户与AI模型之间的交互，而不是在模型内部直接构建安全功能。他表示，这是公司有意为之的产品定位。

“我们刻意选择了一个 OpenAI 等大型模型提供方不易直接整合的环节，”Caccia 说。这意味着 Witness AI 在业务上更多与传统安全公司竞争，而非与模型提供商正面竞争。

在被问及如何在与传统安全厂商的竞争中取胜时，Caccia 表示，他希望 Witness AI 能成长为一家领先的独立供应商，而非被收购的对象。

他提到，CrowdStrike 在终端防护领域、Splunk 在安全信息与事件管理（SIEM）领域、Okta 在身份管理领域，均发展为独立的头部公司。他认为，在AI和代理安全领域，也可能出现类似的独立厂商，并表示 Witness AI 从创立之初即按这一目标进行布局。