德雷克塞尔大学勒鲍商学院近期一项调查显示，企业在业务中快速引入自主型人工智能系统，但在建立相应治理机制方面进展缓慢，两者之间的落差正在成为人工智能应用中的重要风险来源。

自主型人工智能使用已进入日常运营

调查由该学院应用人工智能与商业分析中心开展，覆盖500多名数据专业人士。结果显示，41%的受访组织已经在日常运营中使用自主型人工智能系统。这些系统无需持续人工指令即可独立运行，相关应用已不再局限于试点或一次性测试，而是嵌入常规工作流程。

与应用扩张形成对比的是治理建设的滞后。仅有27%的组织认为，其现有治理框架足够成熟，能够有效监控和管理这些自主系统。

研究指出，此处的“治理”并非指外部监管或额外束缚，而是指在组织内部建立一套清晰的政策与实践，用以界定自主系统的运行边界和责任分工，包括谁对系统决策负责、如何对系统行为进行检查，以及在何种情形下应由人工介入。

责任边界模糊放大应用风险

当自主系统在真实环境中独立行动时，治理缺位或不完善容易放大风险。调查引用的一个案例是旧金山在一次停电期间发生的情况：自主驾驶出租车在路口停滞，阻碍紧急车辆通行并干扰其他司机。研究认为，这一事件表明，即便系统“按设计运行”，在缺乏充分预案和治理安排的情况下，突发情境仍可能导致不良后果。

在金融服务等领域，责任边界模糊的问题尤为突出。越来越多的欺诈检测系统会在人工审核之前实时拦截可疑交易，客户往往在银行卡被拒时才意识到系统已作出判断。研究指出，如果银行卡被系统误拒，技术本身可能并未“出错”，但责任归属与申诉路径往往并不清晰。

相关研究显示，当组织未明确定义人类与自主系统的协作方式时，责任划分和干预时机就会变得模糊，进而削弱外界对系统决策的信任。缺乏针对自主性的治理设计，小问题可能在日常运行中不断累积，监督变得零散，系统行为难以被充分解释和支撑。

人工“在环”但介入时点偏后

调查还发现，在不少组织中，虽然形式上存在“人工在环”，但人工往往是在自主系统已经作出决策之后才介入。常见情形包括：价格异常被发现、交易被标记、或客户提出投诉时，相关人员才对系统决策进行复核。

在这种模式下，人工审核更多是事后纠偏，而非事前或事中的有效监督。研究指出，这种迟到的介入有助于限制个别错误决策的影响，但很难真正厘清责任归属。结果可以被修正，但谁应对初始决策负责仍不明确。

现有指导意见显示，当权责界定不清时，人工监督往往呈现非正式、临时性和不一致的特点。问题的关键不在于是否有人参与，而在于参与的时机和角色定位。如果缺乏事先设计好的治理安排，相关人员更像是“安全阀”，而不是对决策负有明确责任的主体。

治理水平影响长期收益

调查结果显示，自主型人工智能在引入初期通常能带来明显的效率提升，尤其是在首次实现任务自动化时，许多企业报告了“早期收益”。但随着系统使用范围扩大，不少组织开始不断叠加人工检查和审批环节以控制风险。

研究指出，随着时间推移，原本简化的流程可能重新变得复杂，决策速度下降，各类“变通做法”增多，自动化带来的优势被部分抵消。这并非技术本身失效，而是源于组织对自主系统缺乏足够信任。

调查显示，在同样采用自主型人工智能的企业中，治理框架更为完善的组织，更有可能将早期收益转化为持续的效率提升和收入增长。研究认为，关键差异不在于技术能力或应用雄心，而在于是否在一开始就做好制度和流程准备。

相关国际指导（如经济合作与发展组织的相关文件）强调，问责机制和人工监督应在人工智能系统设计之初就被纳入，而不是在系统部署后再被动补充。研究指出，良好的治理并不会限制自主性，而是通过明确决策归属、监控方式和干预条件，使更大范围的自主应用成为可能。

竞争焦点从“快部署”转向“强治理”

研究认为，随着自主系统在企业运营中承担的职责不断增加，竞争优势的焦点正从“更快采用”转向“更好治理”。在未来的应用环境中，那些在系统上线前就清晰界定所有权、监督机制和介入规则的组织，更有可能在保持风险可控的前提下持续扩大自主型人工智能的使用范围。

研究指出，在自主型人工智能广泛应用的阶段，市场信心更可能集中于治理机制健全的企业，而不仅仅是最早采用相关技术的企业。

文章作者为德雷克塞尔大学决策科学与管理信息系统教授穆鲁甘·阿南达拉詹。本文根据其发表于《对话》网站的文章整理。