top of page

OpenAI 安全研究人员遭解雇,争议正考验其安全文化

5天前
讀畢需時 15 分鐘

OpenAI 解雇了三名安全研究人员,但这些 OpenAI 安全研究人员如今表示,公司对其不当行为的指控歪曲了此前曾获支持的工作。Jasmine Wang、Tomek Korbak 和 Mikita Balesni 否认曾不当处理敏感信息。这场争议让三项雇佣决定演变为对 OpenAI 安全文化的更大考验。

冲突的核心在于一道棘手的边界。前沿 AI 公司需要保护机密研究、模型细节和安全发现;其安全团队同样需要能坦诚接触独立专家,以挑战内部结论。

OpenAI 表示,一项调查发现了涉及研究信息的一系列不当行为。研究人员则称,他们在授权范围内开展工作,遵循既有规范,并且本着善意行事。双方均未公布足够证据,使外部人士能够裁定事实争议。

这种不确定性恰恰说明了该事件的重要性。研究人员的公开信称,规则不清与突然解雇正使留任员工不敢发声。OpenAI 表示仍鼓励员工提出担忧,并否认解雇是出于报复。

这不仅仅是关于谁访问了哪份文件的分歧,而是对 OpenAI 能否在不削弱外部监督的前提下保护机密信息的一次考验。答案将影响研究人员、独立评估机构、企业客户,以及正在评估该公司安全承诺的监管机构。

三名 OpenAI 安全研究人员对哪些问题提出异议

核心分歧在于:研究人员究竟是违反了明确规则,还是在涉及异常敏感工作的规则发生变化后遭到惩处。

OpenAI 在 10 月 8 日公开信发布前一周解雇了 Wang、Korbak 和 Balesni。三人均从事安全或对齐工作,即致力于确保先进 AI 的行为符合人类意图的领域。

据研究人员称,他们的工作包括模型可监测性、对齐评估、安全论证,以及涉及外部组织的调查。可监测性指的是观察模型如何作出决策或追求目标之证据的能力。

Korbak 曾参与思维链可监测性、OpenAI 安全战略,以及对涉及 Hugging Face 系统事件的调查。思维链监测会检查模型的内部工作文本,以寻找有害规划或规避规则的迹象。

Balesni 从事对齐评估、失对齐研究,以及同一可监测性问题。Wang 此前曾在英国 AI Safety Institute 工作,随后共同领导一项安全论证项目。

三人表示,他们并不对有关 OpenAI 最新模型中较难监测架构的泄露报道负责。他们还否认曾超出工作职责授权范围联系外部人士。

他们的说法并不主张安全员工应拥有不受限制地披露公司信息的权力。相反,他们认为外部合作是其职责中可预期的一部分。他们称,高管、经理和董事会成员知晓或支持相关工作。

公开信分别解释了每一种存在争议的情况。Korbak 表示,在一项程序仍在发展中的前所未有调查中,他曾与外部评估人员沟通。研究人员认为,密切沟通对于维系相关组织之间的信任至关重要。

Balesni 表示,他与高级人士协调外部工作,并在分享材料前移除了敏感细节。公开信将其行为描述为试图维护跨公司的模型可监测性,而非一场未经授权的信息披露行动。

Wang 的情况似乎有所不同。她称,一名高管曾为招聘目的向她授予电子邮件访问权限,之后她要求公司的技术人员移除该权限。她表示,该访问权限仍然有效,而相关信息出现在她手机的合并收件箱中。

Wang 表示,她意外打开了一条敏感信息,在数分钟内通知了该高管,并再次提出移除权限的请求。这一说法仍是她的主张,并非经独立证实的结论。

OpenAI 提供了截然不同的描述。一名发言人告诉 TechCrunch,调查发现了一系列涉及研究信息的不当行为和明确的政策违规。该公司称,相关行为不仅限于与外部 AI 评估组织共享的信息。

OpenAI 未公开说明每次解雇所涉的具体政策、争议材料,或完整的事件经过。这一遗漏限制了外部观察人士能够从任一说法中得出的结论。

公司还分享了一份否认报复行为的内部备忘录。备忘录称,员工不会因提出担忧而被解雇,并赞扬了这三名研究人员对安全工作的贡献。

因此,事实冲突仍未解决。OpenAI 表示,其决定涉及信息安全和反复发生的不当行为。研究人员则称,既有的安全工作在缺乏清晰或公平程序的情况下被重新定性为不当行为。

现有证据要求人们谨慎看待两种概括性的解读。它并未证明 OpenAI 因异议而解雇了吹哨人,也未能解决公司是否始终如一地执行明确规则的问题。

已经改变的是公众对这条边界本身的信心。员工如今需要确切知道,何时合作会变成披露、谁能够授权,以及这种授权能否经受日后的审查。

为什么解雇会带来寒蝉效应风险

当员工无法预测获准的合作是否会在日后威胁其工作时,安全治理就会被削弱。

寒蝉效应不需要明确命令员工保持沉默。当发声、升级问题或咨询外部人士的后果变得不确定时,它便可能出现。

三名研究人员称,同事如今害怕以解雇前曾属常规的方式开展工作。他们的说法很难从 OpenAI 外部得到验证,但这种机制在任何高度重视安全的组织中都具有可信性。

员工的反应不仅取决于书面规则,也取决于可见的执行方式。一次突然解雇会让所有人明白何种行为带有风险,即使管理层对事件作出不同描述也是如此。

这种教训可以保护合法的秘密。处理模型权重、安全漏洞或敏感评估的研究人员,应受到严格控制。如果员工自行决定应披露哪些机密信息,AI 公司便无法安全运营。

然而,威慑可能超出被禁止行为的范围。员工可能避免向外部评估人员征求建议、记录担忧,或质疑过于乐观的内部评估。他们也可能限制管理者此前曾鼓励的沟通。

这带来了一个基本的治理权衡。过少的信息控制可能暴露系统、用户和知识产权;过多的控制则可能阻碍独立专家在部署前发现问题。

这些 OpenAI 安全研究人员认为,外部合作本身就是一种安全机制。这一立场得到前沿模型评估实际运作方式的支持。

测试自己模型的公司会选择测试条件、控制系统访问权限,并解读模糊结果。独立评估人员可以质疑这些选择。他们可能识别出内部团队已经习以为常或忽略的盲点。

OpenAI 和 Anthropic 最近支持了在前沿实验室内部嵌入外部评估人员的提议。嵌入式评估人员将比传统的发布前测试人员获得更深入的系统、训练记录和员工访问权限。

这一提议依赖于内部研究人员与外部组织之间的持续联系。它还要求就机密信息、发表权、事件报告和升级机制制定明确规则。

9 月对嵌入式评估人员提议的一项审查发现,关键细节仍未敲定,包括访问级别、评估人员遴选、披露权、时间安排,以及不受企业控制的独立性。

这些解雇从员工角度暴露了同样尚未解决的问题。如果外部评估人员获得敏感访问权限,内部研究人员必须知道可以与其讨论什么。当事件超出现有程序范围时,他们也需要可靠的授权路径。

书面政策本身无法解决每一种边缘情况。前沿模型事件可能涉及公司从未遇到过的行为或攻击路径。不过,预先定义的升级规则可以在这些情况出现时减少临时应对。

OpenAI 面临着立即说明运营边界的压力,同时又不能披露争议中的机密材料。它不需要公开审理人事档案,但确实需要以可信方式向员工证明,这条边界是可知的。

公司可以明确谁批准外部合作、必须保留哪些记录,以及如何审查存在争议的披露。它还可以说明安全人员是否拥有通往监督机构的受保护渠道。

若缺乏这种清晰度,两种叙事都会持续流传。员工可能将解雇解读为对外部接触的警告;OpenAI 则可能认为这种解读是对真实不当行为的不公平反应。

因此,寒蝉效应并非仅凭公开信就能得到证明。它是模糊性可预见的后果,而模糊性正是 OpenAI 可以直接处理的问题。

OpenAI 的安全文化面临承诺与实践的考验

OpenAI 必须协调其对独立监督的支持,以及管理开展这项工作的人员所受的保密控制。

主要冲突并非 OpenAI 与三名前员工之间的冲突,而是 OpenAI 对外部审查的公开承诺,与公司内部施加的实际限制之间的冲突。

随着 AI 系统获得更大的自主性,这些承诺变得更加重要。外部评估人员越来越多地寻求访问中间模型版本、训练日志、评估记录和安全控制记录。

仅测试最终完成的模型,可能会错过训练期间出现的行为,也可能无法发现模型是否识别出了评估,并相应调整了其行为。

独立访问会带来不可避免的紧张关系。最有价值的证据往往也是最敏感的。一名严肃的审计人员需要获得足够信息来验证公司的安全主张,同时又不制造新的安全风险。

OpenAI 曾表示支持让评估人员获得更深入的访问权限。遭解雇的研究人员要求其保留这些计划,并维持与 METR 等组织的关系。

他们的公开信援引了 Sam Altman 的一项公开承诺:向独立评估人员提供与员工类似的持续访问权限。据解雇事件报道称,OpenAI 的内部备忘录据称认同研究人员的建议。

这造成了目标与治理之间一种不同寻常的割裂。双方似乎都支持独立评估、可监测性以及开放的内部辩论。分歧在于,研究人员在追求这些目标时,是否遵循了正当程序。

这场争议让人想起此前前沿 AI 公司围绕员工警告权的冲突。2024 年,现任和前任员工呼吁赋予员工针对严重 AI 风险发出正式警告的权利。

该倡议要求公司提供匿名举报渠道,并保护出于善意作出的安全披露。它也承认保密规则具有正当用途,不应成为一概泄露秘密的通行证。

OpenAI 当时回应称,员工可使用匿名诚信热线。公司还表示,严谨的辩论十分重要。更广泛的警告权运动反映出人们长期担忧商业 AI 实验室内部的监督机制。

当前争议将这种抽象担忧转化为实际运营问题。在内部报告疑虑,与向外部评估者分享信息并不相同。然而,严肃的安全工作有时两者都不可或缺。

公司面临的挑战是建立一套系统,以区分受保护的升级报告、获授权的技术协作、疏忽处理和蓄意泄密。将这四类情形一概而论,会在相反的方向上造成安全风险。

管理层也需要有空间调查表面上的违规行为。安全专业知识不应使员工免受常规安全控制约束。研究人员的善意并不能自动证明每一次披露都恰当。

反过来,当公司的治理机制本身受到审视时,公司也不能只依赖内部调查的结论。这会产生循环信任问题:机构要求外界接受的,正是其程序正在受到质疑的判断。

这正是独立审查能够发挥作用的地方。一个受信任的机构可以审查相关政策是否存在、授权是否合理,以及执法是否与类似案例保持一致。

这类审查无需公开敏感研究。它可以在保护技术细节和个人信息的同时,就程序、一致性和保障措施作出报告。

OpenAI 尚未宣布进行此类审查。在提供更多证据之前,公司的不当行为认定和研究人员的否认都应继续被视为有待归属的主张。

承诺与实践之间的检验将取决于接下来发生什么。如果评估者在明确规则下获得更多访问权限,这些解雇可能看起来只是狭义的人事问题。如果外部协作收缩,研究人员的警告将更具分量。

保密与外部监督必须协同运作

在保密与安全之间二选一是伪命题,但要让两者兼顾,需要在下一场危机到来前设计好程序。

前沿 AI 实验室掌握着不应被自由传播的信息。有关漏洞、防护措施、训练系统或模型行为的细节可能被用于滥用。过早披露也可能妨碍调查。

不过,独立评估仍需要受控的信息共享。如果评估者只能看到被审查公司选择提供的结论,就无法验证安全主张。

其他高风险领域通过明确的访问级别、审计轨迹、利益冲突规则和受保护的举报渠道来管理这种张力。前沿 AI 公司需要建立适应快速变化研究的对应机制。

可行的系统始于基于角色的授权。员工应当知道可以联系哪些外部组织、各组织可接收哪些类别的信息,以及谁有权批准例外情况。

系统还需要记录在案的同意。若管理层后来改变解释,高层人物的非正式鼓励不应让员工陷入风险。

敏感信息交换应使用获批准的工具,并留下可供审查的记录。这既保护公司,也保护研究人员。调查人员可以区分获授权的技术讨论与未记录的披露。

前所未有的事件需要紧急通道。研究人员表示,在 Hugging Face 调查期间,相关政策仍在制定中。当模型行为引发陌生的安全问题时,这种情况是可信的。

然而,新颖性不能意味着没有问责。指定的事件负责人应界定临时权限、记录这些权限,并确认其何时到期。

外部评估者也需要承担义务。他们应保护受限数据,将评估工作与公共倡导分开,并披露利益冲突。他们的协议也应保留报告重大安全发现的能力。

如果公司控制每一项发布决定,独立评估就会沦为企业咨询。如果评估者可以立即公开任何敏感细节,实验室合理地会限制访问权限。

困难的中间地带需要事先商定的披露协议。这些协议可以规定审查期限、删改标准、升级路径,以及允许独立发布的情形。

OpenAI 的争议也凸显了访问管理的基本问题。Wang 的说法称,她要求移除后,委托的电子邮件访问权限仍然有效。

这一说法尚未得到独立核实。但它仍说明,为何敏感权限应在任务结束时自动失效。用户不应因为服务台请求尚未处理而继续保有残留访问权限。

企业客户应认识到更广泛的教训。AI 治理不仅依赖模型评估和政策文件,也依赖身份控制、决策记录、事件日志和清晰的责任归属。

使用 AI 系统的团队需要可靠记录,说明谁批准了某项行动,以及哪些信息支撑了这一决定。可搜索的技术知识库有助于保留这些决策,尽管文档无法替代独立监督。

同样的原则也适用于模型可监测性。研究人员认为,思维链的可见性正变得不那么可靠。他们敦促公司避免采用进一步降低这种可见性的架构。

思维链文本并非模型推理的完整或有保证的呈现。尽管如此,研究人员仍可将其作为一种信号,用于检测规划、欺骗或试图绕过限制的行为。

公开信称,研究人员参与了旨在保留这一信号的跨公司工作。他们担忧,竞争压力可能会鼓励性能更好但更难检查的架构。

这一主张值得接受独立的技术审查。不应仅因其出自前安全研究人员之口就予以接受。OpenAI 也不应仅因当前存在劳动争议就驳回这一担忧。

更广泛的安全问题是可衡量的:外部评估者能否获得足够的访问权限,以测试跨代模型的可监测性主张?公开的评估方法和可比较的结果,比人事叙述能提供更有力的证据。

保密与监督可以共存,但只能通过审慎设计实现。模糊的规范很脆弱,因为它们依赖个人信任。当管理者更替、事件升级或关系恶化时,正式程序仍可继续使用。

这场争议尚未证明什么

公开记录足以引发对程序的担忧,但尚不足以证明报复、清白,或公司范围内安全文化的崩塌。

三名前员工提供了一份详尽的陈述。他们的信件明确了自身角色、有争议的事件、所称的授权以及建议。这种具体性使指控能够被检验。

OpenAI 提供的公开细节较少。其声明提及一项调查和一系列不当行为,但未说明涉及哪些政策或证据。

这种不对称并不能证明研究人员的说法。出于法律和隐私原因,雇主通常会限制对人事问题的披露。安全调查也可能包含不应公开的事实。

研究人员同样有维护自身职业声誉的利益。他们的说法值得审视,尤其是在依赖他们对口头支持或不断变化的职场规范作出解释之处。

同样,OpenAI 也有将解雇描述为常规执法的利益。如果员工认为异议促成了这些决定,公司的公开安全承诺将面临声誉压力。

因此,谨慎的分析必须将已核实的事件与存在争议的动机区分开来。三名研究人员被解雇。他们对相关指控提出异议。OpenAI 否认存在报复,并称调查发现了政策违规行为。

研究人员将信件发布给内部监督机构和公众。OpenAI 尚未针对每项说法作出详细的正式回应。这些事实并未揭示完整的底层记录。

时机提供了背景,但并非证据。这些解雇发生在安全研究人员与前沿实验室高管公开激烈辩论的时期。Axios 报道称,研究人员对政策和公司战略的影响力正在增长。

OpenAI 最近还失去了另一名安全员工。负责安全报告工作的 David Robinson 写道,他之所以辞职,是因为认为公司的文化缺乏足够的审慎态度。

Robinson 的安全文化文章讨论了快速开发、运营失误,以及在部署后纠正安全问题的局限性。他的离职与这些解雇是两回事。

这些事件合在一起表明,内部对安全方法和组织文化存在紧张关系。它们并不能证明每一次离职都有相同原因,也不能证明 OpenAI 已放弃安全工作。

竞争对手提供了有用背景,但没有简单答案。Anthropic 在倡导更强的独立评估时,也面临过员工批评。Google DeepMind 的研究人员则参与了公开的安全辩论和员工联署信。

前沿实验室都面临同样的结构性问题。它们雇用稀缺的专家,而这些专家的工作可能挑战产品进度、安全实践和政府关系。这些专家仍在有责任保护敏感资产的组织内工作。

当员工影响力揭示盲点时,它可以强化治理。但如果非正式权威取代清晰问责,它也可能让一致决策变得更复杂。

风险存在于两个方向。压制内部批评的公司可能忽视严重危害。无法执行信息控制的公司,则可能危及其试图保护的系统。

OpenAI 所称相关行为不止涉及一个外部评估团体,这一点很重要。如果有记录在案的证据支持这一主张,研究人员关于广泛寒蝉效应的论点就无法解决不当行为问题。

公司未能解释其规则同样重要。即使解雇有正当理由,只要员工无法理解自己跨越了哪条界限,也可能产生有害的不确定性。

读者不应将不完整的雇佣证据变成对所有 OpenAI 研究的裁决。更站得住脚的结论关乎治理:安全体系不应依赖外部人士在彼此不相容的保密说法之间作出选择。

独立的程序性证据将缩小这一差距。缺少这种证据,公开讨论将继续追随机构立场,而非可验证的事实。

OpenAI 安全研究人员联名信之后应关注什么

以下三个信号将显示,这场事件究竟仍只是人事纠纷,还是会演变为 OpenAI 安全模式的持久变化。

第一个信号是针对第三方评估者的具体政策。OpenAI 曾表示支持嵌入式评估,但笼统承诺并不能界定实际的访问权限。

应关注是否会公布具名的评估合作伙伴、访问范围、保密规则、发表权利与上线时间表。这些细节将揭示外部人士究竟是独立审计者,还是受到严格管理的承包方。

在稳定规则下扩大访问权限,将削弱“解雇事件终结了有意义的外部合作”这一说法。延迟、更有限的访问权限,或未作解释的合作关系调整,则会加剧人们对寒蝉效应的担忧。

第二个信号是 OpenAI 的内部报告与申诉机制。公司无需公开私人雇佣记录,但可以说明安全争议将如何获得独立审查。

关键问题都很实际。研究人员能否绕过管理链条升级反馈?他们能否直接联系董事会层面的安全机构?谁来审查涉嫌报复或授权争议?

透明的框架将为员工提供一条除泄密或保持沉默之外的渠道。它也将帮助 OpenAI 区分受保护的报告行为与未经授权的信息披露。

第三个信号是有关模型可监测性的技术证据。前研究人员认为,对思维链行为的监控正变得更加困难。OpenAI 应通过评估、方法和可复现的研究结果回应这一问题。

应关注外部团体是否能获得足够的访问权限,以比较不同代际模型的可监测性。还应关注研究人员能否在不受公司审批影响结论的情况下发表局限性。

若有证据表明监控在现实条件下仍然有效,将支持 OpenAI 的安全路径。若证据显示可见性正在下降、却没有替代性保障措施,部署限制面临的压力将加大。

人事变动也可作为另一项背景指标,但不应单独作过度解读。更多辞职、内部请愿或公开信,可能揭示留任员工是否也认同这三位研究人员的担忧。

持续招聘以及内部安全团队持续公开发表成果,则会指向相反的方向。无论员工人数还是公开表态,都无法单独衡量异议是否仍受到保护。

监管机构和企业客户应关注流程,而非个性人物。他们需要看到证据:严肃关切能够传达到决策者,外部专家能够检验重要主张,对敏感信息的访问仍受到控制。

开发者也应关注,因为前沿模型的可靠性部分取决于评估这些模型的机构。再强的基准测试,也无法弥补访问范围狭窄、事故数据缺失或内部升级反馈受阻的问题。

知识工作者同样应关注,因为 OpenAI 的系统正日益介入研究、写作、编程和运营决策。公司的安全文化会影响缺陷被发现和披露的速度。

这场 OpenAI 安全研究人员纠纷,不会因又一份关于信任的笼统声明而尘埃落定。只有让边界清晰、一致,并可接受独立审查,OpenAI 才能同时保护安全与异议。

未来一到三个月应会揭示:嵌入式评估者是否获得真正的访问权限,报告渠道是否变得更清晰,以及可监测性研究是否仍能接受公开质疑。这些结果比任何一方的言辞都更重要。

如今,摆在 OpenAI 面前的问题很具体:它是否会公布足够健全的程序,让研究人员、评估者、客户和监管机构不再需要猜测,正当的安全工作究竟止于何处?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page