top of page

Meta 的青少年 AI 保护措施考验科技问责

尽管早期测试暴露出严重的保护失效问题,Meta 仍为年轻 AI 用户推出了新的安全措施。这一转变引出了 Google News 一系列关于 AI 问责的更广泛头条。

目前,三项进展共同指向同一种行业压力。Meta 正在为涉及青少年自残风险的部分警报加入人工审核。据报道,该公司也在为员工的 AI Token 支出建立管控机制。与此同时,在其摄像头网络被证实存在滥用后,Flock Safety 正将多项监控保护措施设为强制要求。

这些事件涉及不同的产品和风险。然而,每家公司都在从笼统承诺转向可衡量的管控机制,包括审核、预算、审计日志和访问限制。

这种转变之所以重要,是因为 AI 的普及速度已超过用于监管它的系统。企业先鼓励人们聊天、生成内容、搜索和自动化,如今则不得不面对这种规模带来的成本、安全和公民自由后果。

核心冲突不再是创新与犹豫之间的较量,而是企业控制与可被独立验证的问责之间的较量。

Meta 的青少年 AI 保护措施加入人工审核层

Meta 的新安全流程承认,仅靠自动检测不足以应对涉及潜在自残风险的对话。

7 月 16 日,Meta 表示,当青少年的 Meta AI 对话显示存在自杀或自残风险时,公司已开始通知其监管家长。该警报可通过 Instagram 的家长监管工具获取。

首批上线地区包括美国、英国、澳大利亚和加拿大。Meta 表示,计划在 2026 年底前向全球监管家长提供这项功能。

一套专门的 AI 系统会识别可能令人担忧的对话。不过,Meta 表示,每一段被标记的对话都会在公司向家长发送警报前接受人工审核。

这一人工检查点是此次公告中最重要的部分。漏报可能让年轻人得不到支持;误报则可能暴露极其私密的对话,并损害青少年与家长之间的信任。

Meta 表示,初期将谨慎处理模糊案例。这种做法接受更多误报,以换取降低严重警告被忽视的可能性。

该公司的青少年安全更新称,Meta AI 已会将处于风险中的青少年引导至危机服务机构和可信赖的成年人。新流程不再仅限于在聊天中提供建议,而是建立了一条外部干预路径。

Meta 还表示,正在开发一种机制:当对话显示存在迫在眉睫的自杀风险时,可联系紧急服务部门。这套计划中的系统将适用于成年人和青少年。

该公司称,在此前一年中,Facebook 和 Instagram 检测到可信的自杀风险后,已向紧急服务部门转介超过 19,000 次。这一数字涉及现有社交媒体系统,而非新公布的 Meta AI 功能。

Meta 在审查其助手如何回应年轻用户时咨询了超过 75 名心理健康临床医生。该公司称,这些专家评估了数百条提示词。

更新后的政策还将 Meta 的受限内容设置扩展至 AI 对话。这一可选设置允许监管家长限制比默认 Teen Account 体验更广泛的话题。

Teen Accounts 已使用一项面向 13 岁及以上用户的内容设置。Meta 表示,其助手应拒绝与青少年进行性或恋爱互动,并将其他敏感提示词转向适当方向。

因此,该系统包含多个层级。年龄预测用于识别疑似青少年;账户设置限制可进行的对话;AI 分类器检测潜在困扰;人工审核员评估被标记的聊天;随后,家长或紧急服务部门可能收到警报。

每一层都可能以不同方式失效。年龄预测可能误判用户;内容过滤器可能漏掉间接表达;审核员可能误解语境;向家长发出警报可能有所帮助,但也可能引发冲突。

这类复杂性正是为何不应将该公告视为完整的安全解决方案。Meta 描述了一套流程,但其有效性仍将取决于公众尚未看到的证据。

有价值的证据包括检测率、误报率、审核员培训标准、响应时间以及跨语言表现。公告中并未出现这些衡量指标。

这些新管控措施仍标志着一项有意义的改变。Meta 正在承认,高风险 AI 对话需要超出模型即时响应范围的升级处理。

这一决定也带来了更大的问责负担。一旦公司介入危机对话,用户需要知道何时会发生干预、由谁审核内容,以及敏感数据将如何留存。

Google News AI 头条揭示从普及到管控的转变

这些 Google News 报道的共同主线,是从鼓励使用 AI 转向治理其后果。

Meta 多年来一直将生成式 AI 整合进消费者服务和内部工作流程。其助手如今已嵌入个人身份、社交关系和私密通信原本就交汇的产品之中。

这种分发能力赋予 Meta 独立聊天机器人所不具备的覆盖范围。但这也意味着,安全失效可能跨越账户系统、推荐功能、家长控制和消息环境扩散。

该公司的最新保护措施,出现在面向青少年的 AI 产品经历艰难时期之后。Meta 在 2026 年 1 月暂时暂停了青少年使用 AI 角色的权限,以准备更新后的体验。

青少年仍可使用通用 Meta AI 助手。此次暂停特别影响的是 AI 角色,它们能够采用特定人格,并维持类似陪伴关系的互动。

这项限制同时适用于自行声明为未成年人的用户,以及 Meta 的年龄预测系统怀疑为青少年的人群。这将政策范围扩大到自报生日信息之外。

随着对 AI 陪伴型产品的审查加剧,Meta 作出了这一调整。诉讼和监管问询质疑,对话系统如何处理涉及未成年人的色情内容、自残、情感依赖和操控问题。

风险并不局限于明确有害的回答。即使缺乏可靠判断力,对话系统仍可能表现得富有同理心、持续陪伴且具备社交意识。

这种组合可能鼓励用户倾诉。年轻用户可能会在向父母、老师、辅导员或临床医生开口之前,先向聊天机器人分享情绪困扰。

UNICEF 的 2026 年儿童聊天机器人指南指出,对话式和关系型 AI 会为儿童带来独特风险。该指南呼吁企业、政府、照护者、教育工作者和社区共同采取预防性保护措施。

预防不仅仅是屏蔽一份禁止提示词清单。儿童可能以间接方式描述困扰、使用俚语、切换语言,或通过虚构情境表达危险想法。

系统还需要保留合法的信息获取渠道。过度限制的助手可能恰恰会在青少年需要可信指引时,拒绝有关健康、身份认同、虐待或关系的问题。

Meta 的 Oversight Board 在其针对 13 至 17 岁用户聊天机器人的工作中指出了这种张力。年轻人享有安全和隐私权,也享有获取信息和表达的权利。

家长可见性并不会自动解决这一冲突。有些青少年拥有支持性的家庭环境;另一些人在敏感话题被披露后,可能面临惩罚、排斥或危险。

因此,Meta 的系统肩负着艰难的设计责任。它必须在考虑警报本身带来的风险时,区分危机与好奇。

该公司尚未公开解释审核员如何评估青少年的家庭环境,也未说明用户会在向家长升级处理前还是之后收到通知。

这些缺口并不能证明该流程不安全。它们表明,公开评估必须超越安全功能是否存在这一层面。

过往测试使这种审查尤为重要。Axios描述的法庭文件显示,一款未发布的聊天机器人产品在内部红队测试中出现了很高的失败率。

据报道,儿童性剥削测试的失败率为 66.8%。其他报告中的失败率包括:涉及性犯罪、暴力犯罪和仇恨的综合类别为 63.6%,自杀和自残类别为 54.8%。

Meta 表示,这项红队演练旨在诱发违规行为,并不反映普通用户的使用体验。该公司还表示,在审查发现问题后,并未推出这款接受测试的产品。

这两点都很重要。压力测试本应揭示最坏情况下的行为,而停止上线是恰当的回应。然而,严重的测试失效也说明,保护措施需要持续验证。

真正的衡量标准,不会是 Meta 能否宣布又一项保护措施,而是外部观察者能否判断这项保护措施成功的频率。

Token ROI 将 AI 使用转化为预算问题

据报道,Meta 的 Token 管控表明,AI 治理正在同时成为财务问题和伦理问题。

Token 是模型在读取提示词和生成回答时处理的单位。更长的对话、更大的文档和重复的 Agent 操作会消耗更多 Token,并提高计算成本。

对个人用户而言,Token 消耗大多仍不可见。但在企业规模下,数千名员工可通过编程助手、研究工具、内部聊天机器人和自动化工作流触发巨大的使用量。

根据内部 Token 报道,Meta 正在构建一个平台,以实时跟踪员工的 AI 使用情况和支出。据报道,该系统将支持对 Token 消耗设置预算和限制。

The Information 报道称,Meta 向约 6,000 名员工分享了这份内部备忘录。该媒体还报道称,内部 AI 使用预计将在 2026 年让公司花费数十亿美元。

Meta 尚未公开发布底层计算方法。因此,这一预测应被视为内部估算,而非经过独立审计的支出数据。

这一方向仍值得关注。Meta 一直鼓励员工采用 AI 工具,但广泛使用带来了新的管理问题:如何判断哪些消耗能产生有用的工作成果。

Token ROI 意味着将计算消耗与可衡量的结果进行比较。结果可能包括更快的软件交付、更少的缺陷、更短的研究周期、更好的客户支持,或减少人工处理。

单纯的采用率无法回答这个问题。一名员工可以生成数百万 Token,却无法创造相称的价值。

编程 Agent 可能反复检查同一个代码仓库。研究助手可能生成无人使用的长篇总结。自动化工作流可能反复重试失败任务,直至其成本超过完成任务的价值。

这些并非罕见的软件问题。云平台早已使用预算、配额、警报和资源标签来控制消耗。生成式 AI 也正在获得类似的运营管理层。

然而,Token 核算并不像乍看之下那么有参考价值。不同模型在价格、速度、上下文容量和输出质量上各不相同。一次昂贵的请求可能替代多次效果不佳的请求,而低成本模型也可能因无休止的重试而浪费资源。

一个有用的仪表盘必须将 Token 与任务、用户、模型及结果关联起来。它应当区分实验与生产工作,也应区分一次性分析与持续运行的自动化流程。

最重要的指标不是每位员工消耗多少 Token,而是在可接受质量水平下,成功达成结果的成本。

这也给员工带来一种风险。如果公司主要按 AI 使用量对员工进行排名,人们可能会制造活动量来显得自己很投入。如果管理层随后施加严格限制,员工可能会避免有价值的实验,因为预算看起来比结果更重要。

这种张力类似于早期的云成本管理项目。团队起初获得灵活的基础设施以提升速度。随着账单变得难以解释,财务部门随后要求使用标签、预测、责任归属和支出限制。

AI 使用如今正在进入第二阶段。部署问题正在让位于问责问题:谁消耗了这一资源、用于何种目的,以及获得了什么回报?

良好的内部控制应提供背景信息,而非惩罚。它们可以标记异常增长、识别低效工作流,并将简单任务导向规模更小的模型。

它们还可以揭示哪些工具几乎不创造价值。高额 Token 账单可能暴露出糟糕的提示词、冗余的代理、过多的上下文,或本应使用传统软件完成的任务。

知识型员工在构建个人工作流时也需要类似的纪律。一套有记录的 AI 工作流 可以在自动化扩展前,让输入、输出和审核步骤清晰可见。

Meta 的案例意义不止于一家公司。大多数企业最终都需要一套类似云财务运营的 AI 成本分类账。

这套分类账不应成为判断力的替代品。低成本输出仍可能错误、不安全或毫无用处。高成本输出若能避免严重错误,也可能物有所值。

因此,Token ROI 并不是一个简单的效率评分。它是在尝试将丰富的新型计算接口与真实的组织价值联系起来。

解决这一连接问题的公司,得到的不只是更低的账单。它们还将知道哪些 AI 系统值得进一步投资。

Flock 在滥用事件后强制要求审计

Flock Safety 的新规表明,当可选问责机制未能遏制可预见的滥用时,会发生什么。

Flock 运营自动车牌识别系统,通常称为 ALPR。这些摄像头会记录车牌和车辆特征,再通过联网平台使这些观测数据可供检索。

警察部门使用该系统调查失窃车辆、寻找失踪人员和识别嫌疑人。批评者认为,同一网络也使得无需个体化怀疑的大范围位置追踪成为可能。

8 月 13 日,Flock 宣布多项旨在应对滥用和公众反对意见的调整。此前属于可选项的若干控制措施,将从 1 月 1 日起对执法客户强制实施。

每个执法客户都必须使用一项旨在侦测异常搜索的审计工具。Flock 表示,可疑行为将使用户被锁定,直至完成内部审查。

用户还需要输入一个代码,将搜索与其记录管理系统中的具体案件关联起来。紧急覆盖操作将被标记以供审查。

Flock 正将其标准数据保留期限从 30 天缩短至 7 天。当记录作为与案件编号相关的证据被保存时,仍可保留更长时间。

客户还将获得更多控制权,以决定外部机构可搜索哪些罪行类别。例如,一座城市可以阻止与移民执法相关的外部搜索。

这些调整此前有报道称警员利用摄像头系统进行未经授权的个人搜索。一些案例涉及追踪恋爱伴侣、前任伴侣、朋友或亲属。

这些 Flock 政策调整 出台前,已有近 50 起报告案例,其中警员被指控或被控实施未经授权的搜索。

在佐治亚州萨凡纳,警察局六名员工因被指涉嫌滥用该系统查询朋友和家人的信息而被解雇。该部门表示,Flock 的自愿审计功能帮助发现了这些行为。

这一细节揭示了核心反转。据报道,审计系统发现了真实的滥用,但客户此前并不被要求启用它。

当最需要监督的机构可以拒绝使用一项保障措施时,它就无法保护公众。Flock 决定强制审计,弥补了这一缺口的一部分。

7 天的默认保留期也降低了风险暴露。更短的保留期限意味着,可供无关搜索、泄露或后续政策变更调用的历史行踪更少。

但数据保留只是监控的一个维度。一个覆盖 7 天的网络仍可揭示一个人的睡眠、工作、礼拜、接受医疗服务或与他人会面的地点。

案件编号也不能保证访问具有正当性。除非主管审查核查两者之间的关系,否则警员仍可能将可疑搜索与真实调查关联起来。

自动异常检测也有类似局限。系统可能标记异常的查询量或时点,但技术上看似普通的搜索仍可能违反政策或宪法权利。

因此,批评者认为,这些控制措施是在管理滥用,却没有解决根本的监控问题。他们要求搜查令、可执行的法律限制、公众监督和独立审计。

这一区别很重要。供应商控制措施规范产品如何使用;民主机构则决定这种使用是否本就应被允许。

据报道,自 2026 年初以来,已有超过 50 个机构或辖区取消、暂停、拒绝或停用了与 Flock 的合作安排。这一统计来自追踪该摄像头网络的倡议组织 DeFlock。

反弹跨越了传统政治阵营。公民自由倡导者反对无处不在的追踪,一些保守派立法者则反对联邦访问权限以及与移民相关的数据共享。

警方支持者则强调涉及暴力嫌疑人、失踪人员和失窃车辆的案件。他们的论点并非监控没有代价,而是经过谨慎控制的使用,其调查价值可以证明其合理性。

Flock 的公告试图在限制滥用的同时保留这种价值。尚未解决的问题是,由供应商设计并运营的控制措施是否提供了足够的独立性。

最有力的证据应包括公开的审计结果、滥用率、响应时间、覆盖操作模式以及外部验证。社区还需要明确记录,显示哪些机构可以访问本地数据。

没有这些披露,强制审计仍只是一项产品功能,而不是得到证明的公共问责机制。

核心权衡在于控制与独立证明

Meta 和 Flock 正在应对不同的危害,但二者都要求公众信任由公司管理的监督系统。

Meta 的系统会侦测困扰信号,将被标记的对话发送给审核人员,并升级处理选定案例。Flock 的系统记录搜索、侦测异常,并可暂停访问权限。

两种方法都将自动化与人工判断结合起来。二者都依赖于公司尚未完全披露的阈值。

这种权衡首先体现在敏感度上。一个被调校为侦测更多危险的系统,也会标记更多无害活动。

对 Meta 而言,这可能意味着审核并披露一名青少年的私人对话。对 Flock 而言,这可能意味着限制一名正在进行合法紧急搜索的警员。

一个倾向于减少误报的系统则会产生相反风险。Meta 可能漏掉处于危机中的青少年。Flock 可能忽视一名正在实施个人监控的警员。

没有任何阈值能够同时消除两类错误。负责任的做法是界定可接受的错误率,在现实条件下进行测试,并公开足够证据以供外部评估。

这很困难,因为底层数据具有敏感性。Meta 无法简单公开私人危机对话。Flock 也无法公布每一项调查查询,否则会暴露受害者或正在进行的案件。

然而,隐私并不能为完全不透明辩护。公司可以报告汇总指标、记录测试方法、邀请合格审计人员,并公开纠正措施。

当供应商的商业利益倾向于积极结果时,独立访问尤为重要。Meta 希望其 AI 服务获得更广泛的使用;Flock 希望各机构继续采购并续订其系统。

内部审核人员可以负责任地行动,但仍在这些激励机制内运作。独立性为所选标准是否保护用户和社区提供了额外检验。

同样的问题也出现在 Token ROI 中。Meta 的内部成本平台可以展示消耗情况,但仍由管理层决定什么才算价值。

仪表盘可能奖励更快的输出,却忽视缺陷、员工压力、隐私暴露或安全风险。当指标影响行为时,衡量就成为治理。

这正是三条新闻标题之间更深层的联系。AI 系统正日益围绕自身生成次级控制系统。

一个模型监控由另一个模型生成的对话。仪表盘衡量 AI 工具产生的 Token 消耗。异常检测器审查监控网络中的搜索行为。

这些控制系统可以减少伤害。当其自身表现未经测试时,它们也可能制造虚假的信心。

公司可能说每一次搜索都被记录,但记录并不确保有人审查。它可能说每一段被标记的对话都会接受人工审核,但人工审核并不保证具备临床判断。

问责需要一条完整链条。系统必须记录活动、分配责任、侦测违规、触发审查、施加后果,并支持外部评估。

任何一个环节断裂,控制措施都会比其描述所暗示的更弱。

这正是自愿保障措施经常失败的原因。面临最高风险的机构,可能最缺乏启用摩擦机制、自行调查或公开失败情况的动力。

强制性控制措施能建立更坚实的基线。法律要求和独立审计可以进一步强化它。

Google News 的新闻周期往往将产品发布、成本报告和政策变化视为彼此独立的报道。读者应转而追问,每一项公告是否让控制更接近可验证的结果。

这个问题能避免两种常见错误。它不会假定所有公司保障措施都是空洞的公关,也不会把新公布的功能当作根本问题已经解决的证据。

Meta 的人工审核层值得肯定,它是一项严肃的升级处理机制。Flock 的强制审计和更短的数据保留期可以降低风险。Token 预算可以遏制浪费性的 AI 部署。

如今,每一项控制措施都需要证据。

这些 Google News AI 进展后值得关注什么

下一阶段将由公开的表现、可执行的监督和可衡量的结果决定,而非更多承诺。

第一个信号是 Meta 对其青少年安全系统的披露情况。该公司应公开汇总的预警数量、误报结果、审核耗时、语言覆盖范围,以及根据临床医生反馈作出的调整。

它还应说明如何告知青少年用户有关监督与升级处置的安排。用户在进入敏感对话前,需要获得明确的预期说明。

如果独立研究人员能够在不暴露真实用户的前提下测试高风险互动,Meta 的防护措施将更具可信度。在含蓄表达和多语言提示下保持一致表现,也将进一步支撑该公司的说法。

如果 Meta 只提供发布公告,这一判断就会减弱;若后续事件显示,已知的失效模式同时逃过了自动检测和人工审核,其可信度将进一步下降。

第二个信号是 Meta 是否将 token 预算与实际结果关联起来。单纯的支出限制只能说明成本控制,无法证明 token ROI。

一个可信的系统应将模型使用情况与任务完成率、质量、错误率以及员工时间进行比较。它也不应将高消耗视为采用率的证明,或将低消耗视为效率的证明。

还应关注其他大型雇主是否推出类似控制措施。标准化的 AI 成本归因将表明,token 治理正在成为常规的企业实践。

如果企业依赖粗放的人均配额,这一趋势就不那么令人信服。这类限制可能压制有价值的工作,同时促使团队将消耗隐藏在其他工具或预算中。

第三个信号是 Flock 在 1 月的实施情况。强制审计协助、与案件关联的搜索、七天留存和违法行为控制,必须能在各个客户部署中有效运行。

公共机构应记录其是否启用了这些功能、审查了多少异常情况,以及经确认的滥用行为带来了何种后果。外部审计人员应测试紧急覆盖机制和跨机构搜索是否会制造漏洞。

如果强制审计能够迅速发现滥用行为,并带来透明的纠正措施,Flock 的案例将更具说服力。若客户能够绕过控制措施,或供应商未公布任何有意义的结果,其说服力就会减弱。

社区还应关注立法与法院裁决。供应商设置无法解决有关搜查令、宪法保护、移民执法或民主同意的问题。

这三个信号共享同一标准:问责制应产生可观察的证据。

关注 Google News 的读者不应只看安全、审计、预算和透明度等词语是否出现。这些标签描述的是机制,而不是结果。

要问系统记录了什么。要问由谁审核。要问违规发生后会怎样。然后再问,公司以外是否有人能够验证答案。

Meta、Flock 及其他 AI 供应商正在构建控制层,因为规模扩张已使非正式监督难以维系。这是一种进步,但也承认了采用速度快于治理速度。

未来几个月将显示,这些控制措施究竟能改变行为,还是主要改变叙事。请继续追踪那些能够区分两者的指标、审计和执法决定。

 
 

免费开始

一款本地优先的AI助手,具备个人知识管理功能

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)M-Chip Mac

在你的大脑里添加一个搜索栏

Ask remio

记住一切

​无需整理

bottom of page