在近期多起军事与商业实践中，人工智能被用于显著加快关键决策流程，引发外界对“人在回路中”但人类责任感和决策重量被削弱的讨论。
军事行动中AI加速目标选择
据美国媒体援引美国官员表述，在与伊朗战争的最初24小时内，美军实施了约1000次打击。一周结束时，打击总数超过3000个目标，被描述为是2003年入侵伊拉克“震慑与敬畏”阶段打击数量的两倍。
相关报道指出，这一前所未有的打击节奏依赖于人工智能系统的支持。美国中央司令部（CENTCOM）方面表示，AI被用作加速分析和辅助判断的工具，所有目标选择和打击决策“都有人类参与”，AI的角色是帮助指挥官做出“更聪明、更快的决策”。
在此背景下，外界关注的焦点之一是：在系统以如此高速度运转时，人类在决策链条中的实际作用究竟有多大，以及这种“人在回路中”的设计在实践中如何落实。
以色列“薰衣草”系统的操作方式
以色列在对哈马斯的军事行动中使用AI辅助目标识别的做法，被视为理解这一问题的另一个案例。一项于去年发布的调查报道披露，以色列军方在加沙地带部署了一套名为“薰衣草”（Lavender）的AI系统，用于识别疑似武装人员。
根据报道，以色列军方方面的说法是，所有由“薰衣草”系统生成的目标仍需经过人类评估和批准。然而，一名被介绍为该系统操作员的人士表示，随着操作人员对系统输出的信任度提高，人类核查的实际内容逐渐收缩为仅确认目标是否为男性。
这名操作员称，自己对每个目标的人工审查时间约为20秒，并表示，在这一流程中，“作为人类，我没有额外价值，除了作为批准的印章”，而这种做法“节省了大量时间”。
健康保险理赔中的算法筛查
类似的流程也出现在商业领域。2023年，调查机构ProPublica披露，美国大型健康保险公司Cigna使用一套算法对医疗理赔进行预筛查，用于标记可能被拒付的案件。
根据报道，Cigna的医生在法律上仍需对理赔案件行使临床判断，但在实际操作中，医生被安排对算法生成的大量案件进行批量签署。相关内部数据和员工说法显示，医生在每个案件上花费的时间平均约为1.2秒，有医生在单月内拒绝了超过6万份理赔申请。
一名前Cigna医生在接受采访时表示，实际流程是“我们实际上是点击并提交”，一次处理约50个案件“只需10秒”。
在这一模式下，批准一次军事打击被描述为约需20秒，而拒绝一次医疗理赔平均仅需1.2秒。相关讨论指出，形式上人类仍参与流程，但其角色在很大程度上被压缩为对系统输出的快速确认。
决策“重量”被设计性削弱
围绕上述案例，一些观点认为，AI系统的设计目标之一是减轻人类在复杂、负担沉重工作中的压力，使流程更轻、更快。在许多业务场景中，这被视为效率提升。
但相关讨论同时指出，对于某些性质特别重大的决策，例如是否实施致命打击、是否拒绝关键医疗理赔、是否轰炸特定建筑等，决策本身的“困难”和“重量”被视为制度设计的一部分，而非缺陷。这种困难会促使机构和个人在执行前停顿、审视和反思。
在这些观点看来，当AI系统显著降低决策的心理和程序门槛，使原本应当艰难的选择变得轻易时，机构在行使生杀予夺或重大资源分配权力时所应承担的责任感可能被削弱。
机构文化与问责机制的变化
有分析指出，当艰难决策被技术手段简化为快速确认时，机构内部文化也会随之改变。具体表现包括：
- 质疑和异议减少，因为系统被视为“已经做出决定”，人类角色被限定为形式上的确认；
- 个人判断被边缘化，长期处于此类流程中的人员不再被要求对每个具体决策进行深入思考；
- 问责链条变得模糊，相关参与者可能认为“是计算机在做决定”。
以Cigna案例为例，报道中提到的那位单月拒绝6万多份理赔的医生，被描述为处在一个“拒绝理赔只需点击按钮”的系统之中。有观点认为，这类系统并非单纯“腐蚀判断”，而是通过流程设计使个体判断变得不再必要，从而改变了机构对责任的理解和承担方式。
在企业层面，相关讨论将这种问责弱化概括为三方面代价：
- 责任界定：算法本身无法被起诉、解雇或直接追责，部署和使用算法的组织则可能面临法律和监管风险。形式化的“橡皮图章式”监督被视为潜在责任源头。
- 机构韧性：当人类不再真正参与复杂决策时，也就失去了从决策中学习和纠错的机会。组织可能逐渐依赖其内部已难以完全理解的系统，在关键时刻暴露出脆弱性。
- 信任关系：客户、员工和监管者不仅关心AI是否参与决策，更关心是否存在对结果真正负责的人。在许多组织中，这一问题的答案并不清晰，可能影响外界对机构的信任。
“重量测试”：决策流程简化前的四个问题
在是否用AI简化决策流程的问题上，有观点提出，机构在实施前应自问四个方面：
- 当前决策的难度在机构内部催生了哪些行为（如复核、升级、异议），一旦失去这些机制，代价是什么？
- 如果决策出现严重问题，机构是否能找到真正为该决策挣扎过的人，还是只能找到“点击批准”的执行者？
- 如何判断流程中的人类是否已经沦为“橡皮图章”？机构会通过哪些指标进行监测，是否真正进行监测？
- 如果受决策影响的一方了解决策是如何做出的，以及人类在其中花费的时间，机构是否愿意在公共场合为这一流程进行辩护？
上述问题被认为通常不会出现在技术供应商的实施清单中，但在涉及高风险、高敏感度决策的场景下，被部分观察人士视为不可回避的治理议题。
机构角色与决策者身份的界限
围绕AI在军事和商业关键决策中的应用，一种观点认为，技术确实在客观上减轻了人类在繁重流程和艰难抉择中的负担。但并非所有“负担”都被视为需要消除的低效，有些负担本身被看作是机构保持诚实和自我约束的机制。
在这一框架下，指挥官在授权打击前应感受到的压力、医生在拒绝治疗前投入的时间和精力，被视为机构行使权力时应当承担的“代价”。
相关讨论指出，那些通过技术手段剔除这类“重量”的组织，短期内可能在速度和效率上占优，但也可能在无形中改变自身作为“决策者”的角色。一旦不再承担艰难决策的代价，机构是否仍然适格担任关键决策者，将成为外界持续关注的问题。
