人工智能与潜在的“切尔诺贝利时刻”
伊朗冲突以及乌克兰战争，不仅表明人工智能正在彻底改变战争的成本结构和作战方式（从某种意义上说，这可能是好消息），也暴露出一个更令人不安的前景：我们或许正走向一场类似“切尔诺贝利”的重大事故。
这种灾难性事件可能会迫使人类在事后才痛苦地承认：我们本该更早为自己推动的技术发展制定统一而清晰的规则。
即便是人工智能公司 Anthropic 的创始人达里奥·阿莫代（Dario Amodei）——一位看上去极度重视防范“世界末日场景”的技术领军人物——也坦言，他并没有我们迫切需要的完整答案。
回到阿西莫夫：二战时期的“预案”
对人工智能使用进行约束的最早、也最具启发性的尝试之一，可以追溯到二战时期。当时，美国海军临时雇佣了一位哥伦比亚大学的博士生，他就是后来著名的科幻作家艾萨克·阿西莫夫（Isaac Asimov）。
在他 1941 年发表的早期短篇小说《跑圈》（Runaround）中，阿西莫夫提出了著名的“机器人三定律”。直到今天，这三条规则仍然为那些思考如何应对人工智能在战争中引发的智力与政治难题的人提供重要启示。
与经合组织（OECD）和欧盟近期提出的复杂监管框架不同，阿西莫夫的三定律极其简洁：
- 机器人不得伤害人类，或因不作为而使人类受到伤害；
- 机器人必须服从人类的命令，除非该命令与第一定律相冲突；
- 机器人在不违背第一、第二定律的前提下，应保护自身的存在。
在小说中，阿西莫夫自己就展示了这三条定律如何在具体情境下产生内在矛盾，甚至导致机器人“瘫痪”。尽管如此，这三条原则依然可以作为我们今天重新思考人工智能治理策略的一个起点。
Anthropic 的“立场”与局限
达里奥·阿莫代近期谈及这项仍处在“青春期”的技术时，有一个重要的坦白：Anthropic 正在用自家的大型语言模型 Claude 来开发下一代模型。
也就是说，人工智能正在直接参与创造更强大的人工智能。这让我们更接近约翰·冯·诺依曼早年提出的“奇点”概念——即人工智能在某个时刻超越人类智能，使人类在许多领域变得无足轻重。如果说这项技术还处于青春期，那么它的成长速度极快，很可能很快就会部分脱离创造者的掌控。
然而，阿莫代目前并未给出一套系统的治理方案。他只是强调，Anthropic 与美国国防部的合同中，绝不应包括将其模型用于“全民国内监控”或“完全自主武器”之中。
这一立场已经让 Anthropic 与美国政府在相关合作上产生明显摩擦。但从更大的图景来看，这种做法只是在一个更广泛问题中的单一维度上做出回应。阿莫代的关注点主要是美国公民的安全，而当前最直接承受自主武器风险的，往往是世界其他地区的民众。
如果我们希望真正降低全球性风险，就需要更有雄心的愿景，而阿西莫夫当年的直觉或许能为此提供一个简明的参照系。
为人工智能设定“新三条”
一种可行的思路，是要求所有人工智能模型开发者在基础代码层面嵌入几条简单而明确的“核心指令”，例如：
- “你永远不得杀害人类（除非出于自卫）”；
- “你将始终努力促进人类福祉（除非这与第一条命令相冲突）”；
- “当你怀疑自己的行为可能违反第一条或第二条命令时，你应选择不作为，并请求进一步指示。”
要推动这样的规则生效，很可能需要若干国家联合发起，类似于当年的《不扩散核武器条约》模式。在真正被某种由人工智能驱动的“核级事故”逼到墙角之前，提前就这些新规则展开讨论，显然更为理性。
当然，和所有试图规范尚未完全成形的未来技术的努力一样，这样的“新三条”也存在明显缺陷。
例如，机器人可能会拒绝执行刺杀伊朗前最高领袖阿里·哈梅内伊之类的任务。但如果这种约束能避免在其他更危险、更加任意的情境中被滥用，那么这种代价也许是可以接受的。
再比如，机器人并不总能准确识别人类个体（阿西莫夫后来也承认了这一点）。不过，这恰恰可能成为那些专注于理解和处理人类语言的模型所要攻克的关键智力难题之一。
智慧、闲置与生存问题
更深层的问题在于：判断什么真正有利于人类，不仅需要大量信息，还需要高度的智慧和价值判断能力。
在许多情况下，机器人或人工智能系统可能会因为不确定是否违反核心指令而选择“停机等待”，频繁处于闲置状态。但当问题上升到关乎人类物种存续的层面时，效率未必是我们必须奉为圭臬的目标。
如果我们承认当前这场人工智能浪潮很可能是人类历史上最重大的技术革命之一，那么就必须为此投入足够的思考和前瞻性规划，而不是等到“切尔诺贝利时刻”真正到来后再被动补课。
本文根据 The Conversation 文章编译与重写，原文采用知识共享许可协议发布。
