在新德里近日举行的一场人工智能峰会上，OpenAI 首席执行官 Sam Altman 表示，超级智能的早期形态可能在 2028 年出现，并警告人工智能有可能被武器化，用于制造新型病原体。他称，民主社会需要在被自身创造的技术超越之前采取行动。
类似担忧在人工智能领域内广泛存在。被称为“人工智能教父”的诺贝尔奖得主 Geoffrey Hinton 此前指出，创造比人类更智能的数字生命体构成“真正的生存威胁”。微软人工智能部门首席执行官 Mustafa Suleyman 在其著作《即将来临的浪潮》中也写道，人工智能与合成生物学的结合，可能使单个个体就能掌握制造致命大流行病的工具。
相关争议已经开始在现实中显现。上周，一场围绕“谁控制人工智能以及在何种条件下控制”的冲突，导致一家人工智能公司与美国国防部之间的合作关系完全破裂。业内将此视为企业在采购和部署人工智能系统时面临治理风险的一个信号。
制药监管类比的局限
在政治和商业领域，部分决策者试图借鉴制药行业的监管模式来应对人工智能风险。美国参议员 Richard Blumenthal 就曾提出，美国政府对制药行业的监管方式可以为人工智能监管提供参考。该模式的直观吸引力在于，通过严格许可和监管，有望在不扼杀创新的前提下限制潜在威胁。
类似思路也在企业内部得到应用。许多公司通过阶段门评审、部署前测试和上线后监控等流程管理人工智能风险，实际上是在沿用制药式的“测试—批准—上市—监控”逻辑。这一模式在实践中已成为事实上的治理框架。
但有观点认为，这一框架并不适用于人工智能，差异不仅体现在技术层面，更涉及生存风险的性质。
三个关键差异
分析人士指出，制药监管之所以能够发挥作用，依赖于三个前提：进入门槛高、产品具备实体形态且可控、开发周期足够长以便监管跟上。而人工智能在这三方面均与制药行业存在根本不同。
第一，进入门槛截然不同。
一项发表于 2020 年《美国医学会杂志》的研究显示，一款新药上市的平均成本约为 11 亿美元。实验室、临床试验网络和制造设施等基础设施投入，使得药品开发和生产高度集中在少数可识别的大型企业，监管机构可以对其进行重点监控。
相比之下，构建功能强大的人工智能模型所需成本远低于这一水平，模型可以在消费级硬件上进行微调，并从普通笔记本电脑向全球部署。潜在开发和使用主体不再局限于少数公司，而可能是任何地点的任何个人或组织，监管难度显著提高。
第二，产品形态完全不同。
制药产品是实体，需要原材料、专用设备和物流体系支撑生产和分发，这些环节为监管提供了可介入的“阻力点”，可以通过设置检查和审批环节进行控制。
人工智能则以代码和模型权重的形式存在。一旦发布，模型权重可以被逐字复制，并在跨境间快速传播，其速度远超任何实体武器或工业系统，复制的边际成本几乎为零。软件无法像受污染药品那样被召回，一旦流出便难以收回。
即便人工智能能力仅通过云端访问提供，也存在被复制的风险。Anthropic 上月披露，三家中国人工智能实验室——DeepSeek、Moonshot 和 MiniMax——通过 2.4 万个账户与其模型 Claude 进行了超过 1600 万次交互，并利用所谓“蒸馏”技术提取其先进能力。相关方无需渗透供应链或建设昂贵工厂，只需通过 API 访问和精心设计的提示，在代理网络掩护下绕过检测。制药行业不存在类似的高可复制性问题。
第三，演进速度不在同一量级。
制药审批流程建立在一个前提之上：产品在上市前将经历多年受控测试。人工智能则遵循软件迭代节奏，能力提升不仅依赖硬件进步，还取决于软件更新、新训练方法和频繁的模型版本发布，往往在数周内就能实现显著飞跃。
例如，Anthropic 在十周内连续发布了两个重要版本的 Claude 模型。迭代速度之快，使得任何仿照制药模式设计的审批流程在完成对某一版本模型的评估前，该模型可能已被更强大的新版本取代，而新的评估尚未启动。
“测试—部署—监控”难以覆盖的风险
问题并不仅限于政府监管层面。制药式思维在企业内部的风险管理实践中同样广泛存在，并因此带来新的暴露点。
传统制药风险通常被视为“产品缺陷”问题：药物可能产生有害副作用，因此需要在上市前进行测试，上市后通过监测和必要时召回来控制风险。许多企业在人工智能项目中沿用类似逻辑，通过阶段门评审、部署前测试和上线后监控来证明自身“尽职”。
这些做法在发现错误、强化流程纪律以及向董事会和监管机构提供书面证据方面具有一定价值。但有观点认为，这种框架容易制造一种“风险已被覆盖”的错觉，因为它主要针对设计阶段已被预见的风险，如产品缺陷、副作用或质量控制失败。
人工智能风险的特征则不同，更多由不可逆性、快速扩散和被滥用的潜力所定义。并非所有人工智能应用都会触发这些风险，但一旦发生，损害往往难以通过“召回”方式逆转。
在此背景下，传统风险管理工具箱被认为难以应对人工智能带来的新型风险。如果仍然依赖这些工具，组织可能在不自知的情况下承担未被识别和量化的风险。
一套以不可逆性为中心的治理思路
为应对上述挑战，有研究者提出了 OPEN 和 CARE 两套框架，用于平衡人工智能创新与风险管理。其中，CARE 框架被用于构建人工智能风险治理结构，并据此提出了若干具体建议。
CARE 框架包括四个阶段：
- 灾难化（Catastrophize）：系统性思考可能出现的最坏情形；
- 评估（Assess）：对识别出的风险进行优先级排序；
- 监管（Regulate）：设计并实施控制措施；
- 退出（Exit）：为控制失效时的应对预先制定方案。
应用到组织层面的人工智能风险暴露管理，该框架指向五项可立即执行的行动：
-
识别“影子人工智能”使用情况。
管理层被建议直接询问团队成员：正在使用哪些公司未正式提供或批准的人工智能工具。答案有助于揭示组织“官方”人工智能使用与员工实际依赖工具之间的差距。
-
绘制不可逆节点并制定应急预案。
组织需要识别依赖人工智能的关键流程中，一旦失败会造成不可逆或严重损害的环节，例如自动化客户沟通、直接推送到生产环境的人工智能辅助代码、算法招聘筛选等，并审视现有安全措施是否建立在“问题可在影响外部前被发现并纠正”的假设之上。如是，则需重新设计流程，并为失败情形制定明确的应急方案。
-
梳理并分级数据暴露。
每一个被员工或系统接入的人工智能工具，实质上都构成一条双向数据通道。建议将数据划分为公开、内部、机密和受限等等级，并明确每一等级可使用的人工智能工具范围，同时审查供应商协议中的训练数据条款。一旦专有数据进入第三方系统，组织对其的控制和“召回”能力将大幅削弱。
-
将红队测试扩展至“滥用场景”。
传统红队测试多聚焦于“如果系统出错会怎样”。在人工智能场景下，建议增加“滥用红队测试”，即假设系统完全按预期工作，但被用于错误目的时可能造成的后果。CARE 框架的“灾难化”阶段强调，两类测试都不可或缺。
-
明确高管层面的责任归属。
如果人工智能风险责任分散在多个委员会或职能之间，上述措施的执行效果将大打折扣。建议由一名高管专责管理人工智能风险，其角色类似首席财务官对财务风险的管理，并应拥有相应的决策权、预算以及直接向董事会汇报的渠道。
监管模式选择的现实考验
数十年来，制药式监管被视为在保护公众安全与维护产业创新之间取得平衡的成功范例。但在人工智能领域，越来越多业内人士认为，该模式难以应对技术的可复制性和演进速度。
在政府层面，部分参与者已开始探索不同路径。Sam Altman 在新德里峰会上呼吁建立类似国际原子能机构的全球人工智能监管机构，认为这类安排更符合当前技术的风险特征，需要与实际风险水平相匹配的监管框架，而非简单套用其他行业的模式。
对于企业而言，外界指出，政府在国际层面面对的人工智能治理问题，与大型组织在内部治理中面临的问题具有相似性。相关建议认为，企业在设计内部治理机制时，应基于自身实际使用的技术特征，而非基于对技术风险的理想化假设。
