Ibrahim Diallo 不是被 AI 判断解雇，而是被自动化工作流解雇

Google News 曾推送过一个令人震惊的“首次”：一个 AI 网络解雇了一名员工。相关事件涉及软件开发者 Ibrahim Diallo，但这一标题掩盖了事情真正的经过。

没有任何神经网络评估 Diallo 的工作表现、将他与同事比较，或决定应当让他失去工作。一套自动化行政系统将一条已到期的合同记录视为终止雇佣的指令。

如今，这一区别比 Diallo 在 2018 年发布个人经历时更为重要。雇主正越来越多地将分析模型、工作流软件、身份系统和生成式 AI 智能体连接起来。任何一个环节出错，都可能在整个组织中触发连锁行动。

据报道，Diallo 的经理希望他继续工作。然而，他们无法阻止自动化流程撤销他的访问权限、停用他的账户，并指示安保人员将他带离。

这并不是首个得到核实的、由智能机器独立选择解雇某人的案例。它更像是对另一类问题的早期警告：组织可能在没有赋予任何人逆转权力的情况下，将实际权力交给软件。

Google News 的措辞将这种治理失效包装成了人工智能作出决定的故事。已核实证据支持的结论没那么戏剧化，却更有价值。机器没有行使判断力；它只是比周围的人更有效地执行了一套出错流程，而这些人无法纠正它。

Google News 在 AI 解雇故事中遗漏了什么

Ibrahim Diallo 是被自动化工作流移除的，而不是被神经网络评判后解雇。

Diallo 是一名合同制软件开发者，在洛杉矶一家大型公司工作。他在最初的叙述中未披露雇主身份，负责任的转述也应保留这一不确定性。

按他的说法，他签订的是一份三年期合同，已在那里工作约八个月。在他的办公楼门禁卡突然失效前，他的工作看起来很稳固。

一名安保人员起初让他进入。随后，Diallo 发现自己在公司通讯录中的状态已发生变化，多个工作系统也不再将他识别为在职员工。

据报道，他的经理和总监认为这是一项行政错误。他们告诉他工作仍在，并试图恢复他的访问权限。

但自动化流程仍在继续。更多账户被停用，其中包括用于记录工时以便发薪的系统。安保人员最终收到了将他带离大楼的指令。

Diallo 在其第一人称叙述 automated dismissal 中记录了这一过程，该文发表于 2018 年 6 月 17 日。他描述了一个一旦启动便似乎无法阻止的流程。

最终的解释涉及一次组织变动。Diallo 原来的经理离职后，新系统中一项必要的合同更新没有完成。

当记录中的结束日期到来时，系统将 Diallo 标记为已离职。这一状态继而在安保、身份管理、薪资和办公场所访问权限等系统中启动了一系列关联操作。

后续基于对 Diallo 直接 采访 的报道指出，该系统生成了数百条消息，指示不同团队停用他的访问权限。他有三周未能上班，期间也没有获得薪酬。

公司无法直接取消这次离职处理。据报道，它不得不让流程完成，然后将 Diallo 作为新员工重新办理入职。

这是一次严重失误，但并不能证明 AI 曾独立评估他。没有任何已核实叙述指出，解雇链条中存在机器学习模型、神经网络或生成式 AI 系统。

更稳妥的描述是：这是一套自动化雇佣工作流。这类工作流利用规则和互联软件，在触发条件出现时执行预先设定的操作。

最初的触发条件本身就是错误的，因为公司的记录没有反映预期的合同期限。之后的每一步行动，都在逻辑上遵循了这条有缺陷的记录。

这一区别将自动化执行与自动化判断区分开来。基于规则的系统无需推理、学习，或理解受影响者的任何情况，也可能造成巨大伤害。

Google News 是聚合服务，而不是其信息流中多数标题的原创者。它可以分发出版商的措辞，同时将读者导向出版商页面。

这种分发并不独立验证出版商的解读。一则报道出现在 Google News 中，只意味着它被索引或联合发布，并不意味着 Google 确认了其事实框架。

所提供的标题似乎还存在翻译问题。“AI network”很可能意指神经网络，但已核实案例并未表明有任何神经网络参与其中。

“首次”一词同样缺乏依据。Diallo 的经历成为广泛报道的自动化解雇案例，但无论是他的叙述还是后续采访，都无法证明这是历史上的首起同类事件。

最经得起推敲的结论更为有限：Diallo 经历了一套有记录可查的自动化移除流程，而他的直属经理无法及时将其逆转。

这一结论依然令人担忧。事实上，它揭示的风险比虚构的自主老板更常见。

真正的对手是没有人工干预机制的自动化

核心冲突不是人类对抗智能机器，而是负责任的管理对抗不可逆的自动化。

企业出于正当理由自动化离职流程。离职员工对源代码、客户记录、支付系统和实体设施的访问权限，往往必须迅速终止。

速度能够降低安全暴露风险。一致性也有助于企业避免活跃账户散落在彼此无关的系统中。

这些目标解释了为何离职工作流会同时触达多个部门。单一的雇佣状态可能控制门禁卡、电子邮件、虚拟专用网络、薪资工具、代码仓库和内部应用。

同样的互联性也提高了错误触发的代价。一个不正确的字段可能在任何人弄清指令来源前，就传播到所有系统中。

Diallo 的经理是人类参与者，但他们并非有效的人类监督者。他们能够观察到错误并提出异议，却显然缺乏暂停流程所需的权限和程序。

这就是“有人在场”与“有人掌控”之间的区别。只有当某人可以审查决定、暂停执行并对结果承担责任时，监督才真正存在。

能够提交支持工单的经理，未必是拥有权力的审核者。能够抱怨却无法恢复访问权限的总监，也不是覆盖机制。

这种弱点既是组织问题，也是技术问题。公司设计的工作流将记录中的合同日期视为比 Diallo 管理链当前陈述更具权威性的信息。

它还分散了责任。安保部门遵循指令，信息技术部门遵循账户规则，而人力资源部门似乎无法迅速逆转离职处理。

每一项局部行动单看或许都合理。但组合起来的结果并不合理，因为没有人对整条链路负责。

随着企业采用 AI 智能体，这种模式仍然具有现实意义。AI 智能体是能够规划步骤，并通过互联工具以有限干预完成任务的软件。

将智能体接入电子邮件或文档搜索，风险尚可管理。将其接入身份管理、薪资、员工评估或解雇流程，则会显著扩大可执行操作的范围。

模型不必拥有正式权限，也能行使实际权力。它只需要获准修改下游系统所信任的记录。

假设一个 AI 系统错误概括了一份绩效评估。另一套规则引擎随后可能将该员工归类为不符合晋升资格。

身份工作流可能会在这一分类后限制其访问权限。排班工具可能删除未来班次，而薪资系统则计算最终付款。

没有任何单一组件看起来是在解雇员工。但这些互联的系统共同作用，就可能以更快速度重演 Diallo 的经历。

教训并不是企业应当放弃自动化。人工离职流程同样可能出错、带来安全风险，并暴露敏感信息。

教训是，自动化需要明确的权限边界。系统应当知道哪些操作需要确认，以及哪些人员可以中断执行。

高影响操作还需要持久的审计记录。审核者应能够识别触发记录、每一项下游操作，以及负责批准最终结果的人员。

缺少这样的记录，组织可能会将程序惯性误认为正当权力。软件之所以持续运行，是因为每个组件都假设前一个组件是正确的。

Diallo 的案例揭示了这种假设的弱点。记录中的日期被视为事实，而当前的人类认知则被视为可以等待处理的例外。

为什么这起旧案在 AI 智能体时代更重要

现代 AI 可能会为那些已让 Diallo 的错误难以停止的僵化工作流，加入不确定的判断。

2018 年的事件涉及一个相对容易理解的触发条件：一条合同记录到达结束日期，系统随即执行离职流程。

生成式 AI 引入了另一类不确定性。它的输出可能变化、遗漏语境，或推断出从未被明确记录的结论。

当模型输出进入运营数据库时，这种不确定性就会变得重要。一段生成式摘要可以变成一个评分，一个评分可以变成一种状态，而一种状态又可以启动自动化操作。

因此，风险存在于预测与执行之间的边界。一款聊天机器人给出糟糕建议或许只是麻烦；一个模型修改雇佣记录，则可能影响收入、访问权限、声誉和法律权利。

组织常将人工审核描述为答案。然而，Diallo 身边有多位发现问题的人，包括直接了解其工作的经理。

他们的参与并未保护他，因为系统没有赋予他们可用的干预权。审核者无法暂停或逆转操作时，人工审核就会沦为形式。

美国国家标准与技术研究院发布的自愿性 AI 风险管理框架 强调，应在 AI 系统的整个生命周期中落实治理。该框架要求在人类与 AI 的配置中明确角色和责任。

即使底层系统在技术上并非 AI，这一原则同样适用。对于任何会产生重大影响的工作流，组织都需要为相关数据、规则、集成、例外情况和申诉流程指定明确负责人。

自动化设计者还应区分可逆与不可逆操作。发送提醒很容易纠正；撤销访问权限并通知安保人员，则可能立即造成实质性伤害。

谨慎的系统可以分阶段处理高影响变更。它可以准备离职材料、识别受影响账户，并在执行前请求两名获授权人员确认。

系统还应测试其输入是否相互冲突。如果员工有已获批准的工作安排、近期工时表以及经理确认的延期，那么合同日期到期不应触发解雇。

这不需要复杂的模型。它需要有意识的工作流设计，以及在记录相互矛盾时愿意放慢速度。

AI 系统可以帮助发现这些冲突，但不应成为一种新的、无法审查的权威来源。置信度评分和生成式解释不能取代可问责的审批。

开发者应像对待其他安全敏感操作一样对待雇佣行动。权限应遵循最小权限原则，即每个系统仅获得完成其特定任务所需的访问权限。

用于起草绩效总结的模型不需要获得更改雇佣状态的权限。建议调整账户的工具也不需要获得立即执行这些调整的权限。

每增加一项权限，幻觉、凭证遭入侵、数据错误或指令被误解可能造成的损害范围都会扩大。端到端自动化的便利性可能掩盖这种扩张。

因此，企业买家向供应商提问时，不应只关注模型准确性。他们还需要了解产品能更改什么、这些更改如何传播，以及已完成的操作是否可以回滚。

他们还应询问：当模型与权威记录不一致时，谁会收到警报。当系统影响到某人的生计时，沉默并不是安全的默认选项。

Diallo 的案例提供了一个简单的检验标准。如果经理发现系统出错，该经理能否在员工失去访问权限前停止流程？

如果答案取决于多个支持团队、未记录的升级流程，或事后重建员工身份，那么该系统就不具备有意义的人类监督。

雇佣 AI 现正面临法律与治理压力

监管机构越来越将自动化雇佣决策视为高影响系统，即使企业将其包装成普通的生产力软件。

美国尚未出台一部全面的联邦雇佣 AI 法律。当雇主在招聘、晋升、监控或解雇中使用软件时，现有的民权规则仍可能适用。

美国平等就业机会委员会已警告，自动化工具造成歧视性结果时，雇主仍需承担责任。其雇佣 AI 指引聚焦于《民权法案》第七章下的不利影响。

当一项表面中立的选拔程序以不成比例的方式排除受保护群体成员时，就会产生不利影响。在程序中加入 AI 并不会免除雇主的义务。

EEOC 也讨论了残疾歧视问题。评估工具可能会使残疾影响其与测试、摄像头、语音系统或界面互动方式的求职者或员工处于不利地位。

有关 Diallo 的案例并非作为歧视争议报道。相反，它表明组织为何需要准确记录，以及一套可供个人纠正错误的流程。

群体层面的公平性审计不一定能发现他的问题。一个工作流可以产生统计上均衡的结果，却仍因其底层记录错误而不公平地对待某个人。

纽约市的规则针对的是范围更窄的一类自动化雇佣决策工具。该市要求受监管工具接受偏见审计，并在特定条件下公开摘要和通知。

这些要求主要聚焦于在招聘或晋升中实质性协助或替代自由裁量决策的工具。它们无法解决所有形式的自动化职场伤害。

传统身份系统可能不在针对机器学习或候选人评分的定义范围内。然而，错误的身份状态仍可能产生实际上的解雇效果。

欧盟采取了更广泛的风险导向方法。其《AI 法案》将用于招聘、员工管理、晋升、监控和解雇的某些系统列为高风险应用。

该法律的雇佣相关条款反映了这些系统可能对职业、生计和劳动者权利造成的影响。受监管系统须满足涉及风险管理、记录、透明度、准确性和人类监督的要求。

法律分类仍取决于系统的预期用途及其部署细节。一条数据库规则不会仅仅因为新闻标题把它称为 AI，就自动成为 AI 系统。

这正是准确用语如此重要的原因。将每一种有害的自动化流程都称为“AI”，可能会混淆应适用哪些控制措施和法律义务。

这也可能让企业把嵌入普通软件中的选择归咎于一种抽象技术。每个自动化工作流都反映了人类对数据、触发条件、权限、例外情况和升级流程所作的决策。

相反的错误同样危险。当 AI 驱动的建议实质上决定员工机会时，公司不应将其描述为无害的行政事务。

监管机构和审计人员越来越关注功能而非营销。相关问题在于系统如何影响决策，而不是供应商将其标为助手、代理、评分还是工作流。

组织需要一份跨越部门边界的清单。人力资源部门可能负责雇佣记录，而信息技术部门则负责管理访问权限以及控制大楼门禁的安全系统。

完整评估应追踪状态变更如何在这些系统间流转。它应识别哪个组件发起变更，以及哪些组件只是执行变更。

公司还需要一个以机器速度运行的申诉流程。数周后才完成的审查无法阻止工资损失、声誉受损或医疗福利中断。

有效的申诉机制应在授权人员审查记录期间冻结非必要操作。对安全至关重要的限制可以暂时保留，但不应将存在争议的解雇视为最终结论。

这种平衡既保护组织，也保护员工。它还能防止当地团队在压力下临时应对。

这里的怀疑态度应保持精准。监管和内部控制无法消除每一个文书错误。人类决策者也可能歧视、忽视证据，或拒绝合理申诉。

自动化可以提高一致性，并产生比非正式管理更好的记录。问题始于一致性将一个错误输入变成无法阻止的结果。

Google News 说法之后值得关注的事项

下一项检验在于雇主是否赋予人们对 AI 行动的真实控制权，而不是供应商是否在产品上贴上“人工审核”标签。

第一个信号是覆盖机制的设计。买家应关注暂停控制、审批关卡、回滚支持，以及对谁能执行高影响操作的明确限制。

有用的覆盖机制必须在伤害扩散之前发挥作用。它不应要求组织先完成一次错误解雇，然后再重建员工身份。

第二个信号是事件日志的质量。公司应能够还原员工状态为何发生变化，以及哪个系统发起了每一项下游操作。

日志需要记录模型输出、源记录、审批、集成调用和人工干预。没有这些证据，申诉就会变成人员陈述与无法解释的系统状态之间的较量。

第三个信号是监管机构和法院如何区分建议与决策。供应商常称其工具只是支持人类判断，而雇主却高度依赖生成的结果。

当经理缺乏时间、信息或挑战权限时，一项名义上仅供参考的评分可能变得决定性。监督应通过实际干预来衡量，而非界面设计。

雇主可以检查审核人员拒绝自动化建议的频率。零覆盖率可能意味着准确度极高，但也可能揭示自动化偏见或审核人员没有实权。

当自动化系统实质性影响雇佣决策时，员工应收到易于理解的通知。他们还需要一条直接渠道来提交更正信息并请求人工复审。

技术团队应在部署前测试故障路径。他们应使用过期记录、相互冲突的审批、重复身份、缺失字段和不可用的下游服务进行测试。

目标不只是确认正常工作流能够成功运行，而是了解当系统自信地出错时，组织能否恢复。

企业买家还应审查集成范围。分析绩效的产品并不自动需要获得工资、身份、排班或安全系统的写入权限。

将分析与执行分离会增加摩擦，但这种摩擦可以成为一种安全控制措施。它让负责任的人有时间在软件改变某人的工作生活之前评估具体情境。

Google News 的标题容易让读者想象一位 AI 上司正在作出裁决。Diallo 已获证实的经历展现了更为普通、也更具可操作性的情况。

一条有缺陷的记录触发了僵化流程。人类经理认识到了错误，但组织赋予其软件的运营权限比这些经理能够行使的权限更大。

这才是 AI 代理时代真正的警示。能力更强的模型无法解决责任归属不清、权限过度或缺少退出通道的问题。

在将 AI 系统接入雇佣记录之前，请提出一个实际问题：如果它依据错误信息采取行动，谁能立即阻止它？

如果没有人能给出明确答案，组织就尚未准备好自动化这项决策。