top of page

OpenAI CSAM 分类器新增图像安全检查

29分钟前
讀畢需時 12 分鐘
Illustrative photograph. Photo: Anastasia Shuraeva / Pexels.

OpenAI 于 2026 年 11 月 16 日宣布推出一项图像安全工具,并为 ChatGPT 增加 24 小时访问暂停机制,以扩大其针对儿童性虐待材料的应对措施。OpenAI CSAM 分类器可识别疑似虐待图像并交由审核,其中包括可能尚不熟悉或由 AI 生成的内容。核心问题在于:更好的检测和更早的干预,是否能转化为更有效的保护。

这项公告涉及虐待行为的不同阶段:识别可疑内容、打断有害行为,以及支持组织作出应对。这些阶段需要不同类型的证据。发现一张图像、判断其应采取何种措施,以及阻止某人继续寻找更多虐待材料,是彼此独立的结果。

Microsoft 的 PhotoDNA 提供了一个有用的参照:识别此前已确认的图像,长期以来一直是在线儿童保护的一环。OpenAI 的方法将关注范围扩展至陌生内容和账户行为。这要求平台将自动检测与受过训练的判断、一致的执法,以及可衡量的预防效果结合起来。

OpenAI CSAM 分类器扩展了检测层

此次发布新增了一种对可疑图像进行优先排序的方法,同时将关键判断交由人员和既有安全流程处理。

OpenAI 表示,经过审核的组织可通过其 API(即连接各项服务的软件接口)免费使用该分类器。其儿童安全措施包括面向开发者的资源与工具,以及针对获授权调查人员的培训。

该公司在美国国家失踪与受虐儿童中心的协助下开发了该分类器;该机构运营 CyberTipline 举报中心。该工具并非只依赖已识别内容,而是会寻找表明一张图像需要关注的视觉迹象。

这一区别很重要,因为检测系统需要能对陌生材料提供有用判断。平台不能假定每一项有害上传内容都已存在于参考资料库中。同样,陌生并不意味着内容本身具有虐待性质。

分类器会在这种不确定性中提供一个信号。围绕这一信号作出决策,仍是更困难的组织任务:由谁审核、他们可以获取哪些信息,以及后续会发生什么。

OpenAI 表示,一项评估估计,在找到大致相同数量的虐待图像的同时,需要审核的图像数量可减少 48%。这是一项关于筛选审核工作量的主张,并不意味着虐待事件减少了 48%,也不证明儿童安全获得了相应改善。

对于安全团队而言,减少不必要的审核仍具有实际价值。用于处理误报的时间,无法同时投入对可信风险的调查。其益处取决于在减少警报的同时,是否保留了有意义的检测能力。

设想一家图像分享服务正在评估新的安全供应商。其核心问题应是供应商改善了哪些决策,而非产生了多少评分。当服务能够据此采取恰当行动时,评分才会变得有用。

例如,更清晰的队列可能有助于获授权审核人员更早处理可信风险。不过,若通过忽略棘手案例来减少队列,就会制造一种误导性的进展表象。同一个标题指标,可能描述截然不同的运营结果。

因此,这项发布更明确地改变了可用工具,而非确立最终成效。组织多了一种检测选择,但采用它并不能解决人员配置、升级流程、责任归属或有效性问题。

这正是公告中更广泛的张力所在。自动化可以帮助决定关注应投向何处,但儿童保护取决于关注到位之后发生什么。

ChatGPT 警告在升级处置前增加了一道干预

这项 24 小时暂停是一种行为干预措施,其有效性需要与图像检测分开评估。

OpenAI 表示,当人们试图寻找虐待材料时,ChatGPT 将显示警告、移除被标记的对话,并暂停访问 24 小时。专业支持仍然可用。重复违规可能导致更长时间的限制、账户关闭或向主管部门报告。

将这项措施称为临时暂停,比将其视为永久封禁更准确。这也避免暗示所公布的流程涵盖每一项执法决定,或保证在采取其他行动前一定会先发出警告。

这一区别对于公众理解至关重要。平台可以禁止某类行为,同时尝试打断该行为并引导当事人获得专业帮助。预防与执法服务于相关目标,但不能通过其中一方来推断另一方的有效性。

访问限制会直接改变某人在受影响服务中能够做什么。警告则试图改变其随后选择做什么。第二种结果更难观察。

某人在一个账户上停止提出请求,可能意味着其行为发生了改变、已放弃该服务,或只是停止在该处留下可见信号。仅凭检测到的活动减少,很难解释这些可能性。

威慑信息存在相关先例。塔斯马尼亚大学对一项较早的威慑信息试验进行了评估,该试验在英国 Pornhub 上测试了警告和聊天机器人。

该大学报告称,在部署期间,令人担忧的搜索有所减少。其还表示,触发干预的用户中有 82% 似乎没有再次进行这些搜索。部分用户点击了通往专业支持的链接。

这项研究支持在令人担忧的行为出现时测试干预措施。但它并不能说明 ChatGPT 的版本将如何发挥作用,也不能证明相同结果能够在不同服务之间迁移。

搜索框与对话式助手提供的交互不同。它们的用户面对不同的界面、预期和响应流程。早期部署的证据为进一步研究提供了理由,而非保证结果。

较早的试验也说明了为何需要谨慎解读参与度指标。点击支持链接是一项有意义的行动,但不能证明行为会持续改变。同样,未重复一次搜索的含义,也比证明伤害已经停止要狭窄得多。

对 ChatGPT 用户而言,另一个区别很重要:讨论儿童保护不同于寻求虐待材料。正当的举报、研究和求助请求需要结合语境处理。该公告没有提供足够证据,无法判断每一种边界决策。

因此,可信的评估应同时审视预期效果与错误。它应考察重复有害行为、获得支持的适当性,以及对正当对话造成的干扰。

这才是评估 ChatGPT 儿童安全影响时真正的分析任务。统计显示了多少警告,描述的是部署情况;评估后续发生什么,才开始描述预防效果。

现有工具表明分层保护仍然重要

相关比较应关注覆盖范围和工作流程,而不是在不同检测品牌之间决出胜负。

Microsoft 的已知图像匹配技术 PhotoDNA 会创建一种称为哈希值的数字签名,并将其与先前已识别图像的签名进行比较。Microsoft 表示,该技术于 2009 年与 Dartmouth College 共同开发。

匹配系统会询问某一材料是否类似于已被识别的内容。图像分类器则估计陌生内容是否属于令人担忧的类别。这些方法回答的问题不同,也可以支持审核流程的不同环节。

这种差异使简单的替代叙事没有帮助。一套用于识别已知内容的系统,不会因为分类器能够识别可疑新材料而变得无关紧要。反过来,匹配数据库也无法解决关于陌生上传内容的所有问题。

Thorn 的儿童安全技术提供了另一项比较。其 Safer 服务借助机器学习、专业知识和不同部署选项,处理已知及可能新出现的虐待材料。

Thorn 的定位表明,OpenAI 正在进入一个已有成熟专业安全服务的领域。其公告应根据实际组织需求评估,而不应被视为自动化儿童保护的开端。

对采购方而言,有用的问题是现有系统遗漏了什么、另一项工具在哪些方面增加覆盖,以及组合流程是否仍然可控。更多供应商并不会自动带来更好的保护。

重叠警报可能造成重复工作。相互矛盾的信号可能要求额外判断。因此,集成与检测模型本身同样值得关注。

设想一个平台,其当前系统已能恰当地处理熟悉内容。若新分类器有助于识别该覆盖范围之外的可信风险,它才最有价值。仅仅重新发现相同案例,会带来不同的收益。

该平台还需要了解审核人员如何看到这些结果。缺乏相关背景的警报可能拖慢决策。能够清楚呈现不确定性的界面,则可以支持更审慎的判断。

部署安排引入了另一项考量。Thorn 同时提供自行托管和基于 API 的选项。这些选择让组织能够以不同方式思考数据处理和运营责任,而非对安全质量作出普遍排名。

评估供应商的组织应区分技术能力与周边服务。文档、专业支持、审核工具以及调查错误的能力,都会影响检测最终有多大用处。

无论是知名供应商还是有吸引力的基准测试,都不能免除这项工作。采购决策应明确买方需要什么、哪些证据支持供应商的主张,以及谁负责未解决的决定。

对于 OpenAI CSAM 分类器而言,最有力的竞争依据将是经证明的额外覆盖范围,或对审核人员注意力的更好利用。任何关于总体优越性的主张,都需要公告本身未提供的可比证据。

这一视角也明确了谁面临压力。支持上传或图像创作的平台,需要说明其完整的安全流程。点名一家检测供应商,只能回答其中一部分问题。

更好的筛选并不等于完整覆盖

有利的审核指标可能与重要盲点并存,因此采购方需要同时了解正确警报和漏检案例的证据。

OpenAI 的分类器模型卡将输出描述为风险信号。该文件明确表示,评分并不能确认 CSAM、确定法律状态,或决定报告义务。

该文件还区分了精确率(被标记案例中正确案例的比例)和召回率(被检测到的相关案例比例)。这些指标描述的是性能的不同方面。

系统可以生成更整洁的审核队列,却仍可能漏掉重要内容。相反,更广泛的检测可能会增加处理误报的负担。产品界面易于使用,并不会消除这两种取舍。

OpenAI 承认,在 ChatGPT 流量之外,性能可能存在差异。其模型卡也指出,评估数据重叠风险依然存在,并称静态图像结果并不能证明其在视频上的表现。

这些限定条件约束了读者应从此次发布中得出的推论。某项结果在特定评估中实现,并不自动代表所有客户、内容类型或运行环境。

AI 生成内容信号还有另一项边界:它不验证图像的来源,即其起源或创建历史。怀疑内容为合成材料,与确认文件如何制作,是两项不同的结论。

对于需要作出重大决策的组织而言,保留这些区别至关重要。审核优先级、账户限制和对外报告具有不同含义,不应在仪表盘中变成可互换的标签。

衡量问题不止于选择一个醒目的百分比。买方需要了解测试了什么、何为正确结果,以及哪些情况仍不在覆盖范围内。

缺少这些背景信息时,比较可能会奖励那些在更容易材料上评估的系统。它们也可能掩盖识别熟悉模式与处理不同于训练示例的案例之间的差异。

独立评估会有帮助,但独立性本身并不能解答所有问题。一项评估仍需要相关数据、清晰定义、适当保障措施,以及对其结论适用范围的说明。

这一领域的透明度也存在实际限制。为使基准可复现而发布敏感材料,会带来不可接受的暴露风险。因此,评估必须支持审查,同时不能让有害内容公开可得。

这需要的是审慎的保障,而非要求毫无限制地披露。具备资质的评估者可以说明方法与局限,而无需发布底层材料。

客户也不应将没有警报解读为完全没有问题。检测服务是在其范围内提供证据,而不是对所有经过其系统的内容给出确定性结论。

同样,采用服务后确认检测数量增加,也需要加以解读。这可能反映出覆盖范围改善、滥用行为变化、审核实践不同,或多种因素共同作用。

因此,负责任的怀疑立场应当具体:此次发布提出了一项可测试的运营主张,但其有效性需要在每种场景中评估。怀疑应当促使人们更严格地要求证据,而不是否定其带来益处的可能性。

开发者在警报出现后承接响应工作

实际负担落在那些必须将疑似问题转化为及时、可追责决策的组织身上。

OpenAI 的开发者安全指南围绕预防、检测、响应和报告来组织这项工作。该指南建议制定清晰政策、提供用户举报渠道、保留可用记录、明确责任分工,并为审核人员提供支持。

该指南还强调,应通过适当标识符将活动与个体用户关联起来。这可以帮助组织区分某个特定人员的滥用行为与共享服务的整体活动。

这些建议揭示了购买工具与运营安全职能之间常见的鸿沟。检测会产生必须由某人负责的工作。一次集成无法回答:当紧急问题出现时,谁能够及时处理。

对于小型产品团队而言,很容易将成功建立技术连接视为完成。但运营问题恰恰从此开始:警报发送到哪里、由谁接收,以及未解决的案例如何继续推进。

一个合理的场景是,某项服务在既有文本产品基础上引入图像上传功能。上传功能改变了用户能够提交的内容,其安全安排需要考虑这种能力变化。

如果一项令人担忧的上传触发警报,响应不应取决于恰好注意到它的是哪位工程师。明确的负责人和升级路径能让结果更少依赖偶然性。

这既是组织问题,也是技术问题。产品、支持、安全和专业审核人员可能各自掌握相关信息的一部分。他们的职责需要相互衔接,同时避免不必要地扩大对敏感内容的访问范围。

记录也需要有明确目的。保留可追责的决策历史,不同于将敏感内容广泛复制到普通办公工具中。访问权限和文档记录应反映具体任务的需要。

同样的逻辑也适用于内部报告。面向高管的摘要应区分疑似问题与审核后结论。将这些类别混为一谈,可能会歪曲滥用规模和响应成效。

审核人员的福祉也属于这一运营图景的一部分。组织不能只通过处理速度评判成功,而忽视那些作出艰难决策的人。工具应支持审慎工作和适当的专业监督。

升级安排同样值得关注。有些决策可以等待常规审核,另一些则需要获授权人员迅速处理。流程应在棘手案例发生前,让责任归属清晰可见。

企业买方可以利用这些问题评估供应商的成熟度。有价值的问题包括审核责任归属、访问控制、错误纠正、服务连续性,以及为解释决策而保留的证据。

对于使用 AI 工具的知识工作者而言,这种相关性虽是间接的,却很具体。接受文件或连接共享服务的功能,会让人们期待滥用行为将如何被处理。这些期待应由可追责的运营机制支撑。

因此,这项公告提高了开发者需要进行讨论的标准。“我们使用分类器”并不是完整答案。更有力的答案应解释它支持哪些行动,以及这些行动周围有哪些保障措施。

关注采用情况、独立测试与预防成效

接下来的证据应展示这些工具在实践中的运作方式、其结果如何经受审查,以及干预措施是否改变行为。

第一个信号是初始发布之外的实质性采用。在未来数月中,有价值的更新应说明已完成的部署和运营结果。宣布开放使用或点名有兴趣的组织,提供的证据较少。

最具信息量的采用案例会解释集成后发生了什么变化。审核人员是否发现了既有覆盖之外可信的疑虑?误报是否减少?组织是否更一致地处理了未解决案例?

这些问题并不要求每位客户公开敏感的运营细节。经过审慎界定的评估可以说明其样本群体、方法和局限,同时保护所涉及的人员和材料。

额外覆盖范围的证据将强化此次发布的价值。若部署只增加警报、却未改善决策,其实际价值将被削弱。相关结果关乎安全流程是否有效运作,而不只是是否完成安装。

第二个信号是独立技术评估。评估应区分测试材料、所支持的决策,以及与其他服务比较的边界。

一项只报告有利汇总结果的研究,仍会留下重要问题未解。读者需要足够背景,以理解错误、差异,以及测试环境与实际部署之间的关系。

在适当场景中取得一致结果,会提升人们对更广泛实用性的信心。若存在显著差异,本地验证就更为重要。无论哪种发现,都会比没有依据的普遍准确率主张更有助于买方判断。

第三个信号涉及 ChatGPT 的行为干预。人们应当向 OpenAI 追问警告出现后会发生什么,而不只是警告出现得有多频繁。

相关证据应考察重复的令人担忧活动、与专业支持的互动,以及错误中断情况。相比限制措施实施后短暂下降,更长期的观察更具信息价值。

外部评估将有助于区分测量结果与产品宣传。它还应说明服务无法观察到什么,包括发生在其他地方的行为。

这一限制在评估 ChatGPT 对儿童安全的影响时尤为重要。平台活动可以提供有价值的证据,但不能自动证明平台之外发生了什么。主张应与这种可见性相称。

同样的审慎也应当指导对整体方案的结论。更好的检测、更清晰的响应和有效的预防会彼此强化。某一领域取得进展的证据,仍不意味着其他领域无需评估。

对于关注 OpenAI CSAM 分类器的读者而言,下一步最有用的是审视评估更新,而非仅看发布主张。关注定义清晰的结果、可比较的条件和明确的局限。开发者应询问警报出现后由谁负责响应,而买方应要求与其服务相关的证据。用户应区分账户限制与有害行为已停止的证明。评估未来公告时,请将这些问题分开,并追问报告中的改进描述的是检测、决策还是预防。究竟哪些结果已经被实际测量,又需要什么证据才能合理地将这一主张延伸得更远?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page