top of page

OpenAI 承诺投入 200 万美元开展儿童安全研究

4天前
讀畢需時 13 分鐘
Illustrative photograph of children using laptops with family at home; not participants in the OpenAI research program. Photo: cottonbro studio / Pexels.

OpenAI 承诺投入 200 万美元开展有关 AI 与儿童安全的研究,支持建立共享测量工具,但围绕年轻人实际体验的问题仍未得到解答。该公司于 11 月 12 日在参加 Paris Peace Forum 后宣布这一承诺。眼下的变化是对研究的支持,而非已有证据表明某款 AI 产品变得更安全。

这笔资金将支持 Coalition for Children’s Rights and Protection in the Age of AI 内的一个科学研究网络。OpenAI 表示,参与研究的学者将自主掌控结论并发表研究发现,其中包括负面或未得出定论的结果。这一承诺很重要,因为有价值的安全研究必须能够对资助它的公司提出质疑。

这项工作使 OpenAI 加入了一场更广泛的讨论,参与者包括 Anthropic、研究人员、政府及儿童安全组织。其核心矛盾具有现实性:技术提供商需要证据来指导决策,而儿童已经在接触其产品。研究必须为当前的保护措施提供依据,而不能让不确定性成为推迟采取保护措施的理由。

OpenAI 的儿童安全研究承诺将带来什么改变

根据 OpenAI 的儿童安全研究公告,这笔资助将支持用于衡量 AI 对儿童带来的风险与机遇的工具。该公司还在 Paris Peace Forum 签署了《儿童更安全 AI 参与宪章》。

这项公告为提升证据质量的工作提供资金,而非报告一项已经完成的安全干预措施。 读者在评估这一承诺时应注意这一区别。资金承诺体现的是意向和资源分配,并不代表研究人员已经收到资金、完成研究,或证明了更好的结果。

这些阶段回答的是不同的问题。资助公告说明哪些工作获得支持,而已发表的研究则说明研究人员考察了什么、发现了什么。产品改动展示的是公司如何作出回应。至于该改动是否改善了儿童的体验,则还需要另一项评估。

若将这些阶段视为可以互换,就会让该公告显得比实际更具结论性,也会掩盖拟议工作的价值。共享测量工具旨在解决单个产品公告无法回答的问题:不同机构在描述安全性时,是否指的是可相互比较的内容。

以对一款作业助手的假设性评估为例。一个团队可能统计其对孤立问题作出的不当回应。另一个团队可能考察它是否鼓励学生把生成的答案当作自己的提交。第三个团队则可能研究重复使用是否有助于学生独立解决陌生问题。

每种评估都能提供有用信息,但结果描述的是不同特性。在不当内容方面表现良好,并不能证明其具有教育价值。更好地完成作业也不必然意味着理解更深入。清晰的测量能让这些边界更加可见。

这为未来的公告设定了更高标准。公司需要说明改善了哪种结果、哪些用户参与其中,以及何种比较支持这一结论。研究人员则需要提供足够细节,以评估结果是否能够超出原始场景而适用。

因此,这项研究承诺值得关注,因为它投资于对各种主张的评估。它的重要性将取决于是否能产出其他研究人员和产品团队能够审查并使用的证据。仅凭这项公告无法回答这个问题。

对家庭而言,直接影响更为有限。这项承诺不应被理解为新的账户设置、家长通知或认证。对于某项具体服务的决策,仍需要了解该服务当前的行为和保护措施。

儿童使用 AI 正在推动当下的决策压力

这一时机反映出采用速度与理解程度之间的不匹配。产品可以快速变化,而有关发展的研究则需要严谨的方法与观察。在每一个重要问题都有定论之前,公司、学校和家庭就必须作出选择。

Paris Peace Forum 的研究资助倡议将 OpenAI、Anthropic 和 Common Sense Media 列为支持研究与工具的参与方。论坛主席 Philippe Etienne 将该行动描述为向研究人员提供资源,以帮助他们为政策制定提供参考。这构成了支持这一行动的理由:更充足的资源可以强化超越单一公司的决策。

压力落在每一个需要把宏大的安全承诺转化为实际产品选择的人身上。 开发者决定发布哪些功能。学校决定某项工具是否适合教育用途。家长决定哪些用途是自己充分了解并愿意允许的。

这些群体需要不同的证据。评估写作辅助工具的学校,需要了解学习效果、监督机制与学生数据情况。评估对话式娱乐服务的家长,则需要了解互动方式、边界,以及发生问题时的升级处理机制。关于负责任 AI 的笼统表述,无法替代任何一种评估。

对现有使用情况的研究,有助于说明这些区别为何重要。Common Sense Media 在 2025 年 7 月发布的青少年陪伴型 AI 研究发现,近四分之三的青少年使用过 AI companions。其发现还描述了多样化的动机,包括娱乐、好奇心和社交互动。

AI companion 是指旨在提供持续社交互动的对话式服务。当产品引入面向关系的功能时,这一类别会与更广泛的助手产品产生重叠。不过,有关 companions 的证据不应自动变成关于每一种教育或工作场所助手的结论。

该调查在其范围内确立了受访者报告的使用情况和体验,但并未证明每位用户都形成了依恋关系或经历了伤害。满意度报告也不能证明存在持久益处。理解这些限制,有助于避免过度安抚和过度恐慌。

一个假设性的学生案例说明了其中的困难。这名学生可能使用助手讲解代数、构思故事,并讨论与朋友的分歧。这些活动可以在同一个界面中进行,但它们提出的是不同的评估问题。仅靠产品类别无法描述完整体验。

对开发者而言,由此产生的压力在于活动之间的边界。原本用于作业的服务仍可能收到个人披露内容。娱乐功能同样可能给出建议。评估应当考察用户超出产品宣传用途时,产品会如何回应。

对机构采购方而言,挑战在于问责。必须有人判断现有证据是否支持拟议用途,并明确哪些方面仍存在不确定性。只有当研究成果足够易于理解、能够为这些决策提供参考时,研究资助才会发挥作用。

因此,实际影响不止于再发布一份报告。这项工作需要帮助决策者区分合适的使用方式与缺乏依据的主张。否则,研究活动可以不断增加,却未必能让产品选择变得明显更清晰。

共享测量必须保留有意义的差异

该联盟的更安全 AI 宪章承认,关于儿童和青少年反复与 AI 互动的成熟长期证据仍然不足。宪章呼吁关注年龄、发展阶段和使用方式的差异。这些区别使任何试图给出简单安全评级的做法都变得复杂。

可比较的证据只有在保留语境、而非把每个问题压缩成单一分数时才有用。 基准测试,即标准化评估,可以使重复比较成为可能。但它的价值仍取决于其任务是否代表人们需要理解的行为。

设想两款假设性的助手在同一组不当请求上接受测试。两者都稳定地拒绝这些请求。其中一款在长期互动中也保持清晰的对话边界;另一款则逐渐把自己塑造成不可替代的知己。

除非评估考察关系行为,否则内容拒绝评分将忽略这一差异。这并不意味着内容测试没有必要,而是表明在读者解读结果之前,评估必须明确自身范围。

同样的原则也适用于教育益处。一款助手可能提升已完成作业的质量,却并未改变独立理解能力。聚焦于提交作品的评估,回答的问题不同于在没有辅助的情况下完成的测验。

研究人员应能够区分这些结果,而非将其视为对同一测量指标的相互竞争解释。当方法说明参与者做了什么、获得了何种帮助,以及研究人员之后评估了什么时,这种比较才会更有价值。

年龄又增加了一层复杂性。适合年长青少年的对话风格,不应自动获得针对低龄儿童的同样评价。同样,评估也应避免假定同一年龄类别中的每个人都有相同需求或处境。

共享方法可以帮助梳理这些差异。它们可以为任务、接触程度、互动时长和观察到的回应建立共同描述。这将让研究发现更易于比较,同时不会暗示不同环境产生的结果可以互换。

因此,最有用的产出可能更像一个结构化的证据体系,而非排行榜。读者可以看到研究人员测试了哪些行为,以及哪些地方仍存在不确定性。产品团队则可以发现相关弱点,而不至于把笼统评分解读为全面认可。

这里还存在维护问题。一项评估描述的是特定条件下的特定系统。如果模型、界面或产品说明发生变化,早先的发现可能需要重新审视。研究结果不应悄然变成永久标签。

例如,增加持久记忆会改变助手在不同对话之间可保留的信息。引入语音互动会改变用户实际经历的体验。这些假设性变化都足以让人追问,先前测试是否仍能反映产品行为。

因此,共享测量必须支持修订。其他团队能够在更新后重复使用的方法,其实际价值超出最初发表时的意义。它提供了一种检验所声称改进是否持续、以及无关行为是否发生变化的方式。

这正是研究基础设施与宣传演示之间的差异。演示会挑选一次互动展示给受众;有价值的评估则说明互动是如何被选取的,并让不利结果保持可见。

研究独立性需要可见的运行规则

行业资助带来一个明显的治理问题:当研究结果可能挑战资助方的产品时,研究如何保持可信度?答案取决于读者能够审查的安排。独立性的承诺只是起点,发表实践则揭示其如何落实。

研究可信度取决于能否报告不利结果,并说明其背后的方法。 一项负面发现可能揭示某项保障措施失效;一项无定论的发现可能表明,现有研究无法解决某个问题。

这两种结果都不应因其使一则公告变得复杂而消失。让它们保持可见,有助于避免形成扭曲的记录:成功的干预获得关注,而未成功的工作却变得不可见。它也能帮助其他团队避免重复那些几乎没有产生有用证据的方法。

关键问题在于控制权。谁选择研究问题?谁决定研究是否继续?资助方在发表前拥有哪些审阅权?研究人员能否在不协商有利解读的情况下说明局限性?

这些问题并不预设存在不当行为。它们旨在识别让外部人士评估工作所必需的安排。研究人员和资助方可以通过明确条款回答这些问题,而不是要求读者根据机构声誉推断其独立性。

数据访问带来另一项难题。研究人员可能需要了解产品的实际行为信息,但儿童对话可能包含敏感内容。更高的透明度不能意味着无限制地暴露参与者的私人信息。

因此,可信的数据访问需要谨慎地区分审查方法与披露个人数据。外部研究人员或许需要足够的文档来评估设计,但不应接收到可识别的对话内容。适当的安排取决于研究本身及其伦理义务。

资助方的参与也应被准确描述。为项目提供资金、协助设计任务、提供技术访问权限,以及分析结果,是不同的角色。当这些角色被分别呈现时,读者可以更清楚地判断潜在利益冲突。

即使研究人员得出令人安心的结论,这一点也很重要。当局限性被明确说明时,有利结果会更具说服力。一项界定狭窄的益处应保持其边界,而不应经由新闻标题扩展为产品安全的笼统主张。

同样的严谨性也适用于不利结果。某一特定场景中的失败值得关注,但并不能自动证明这种失败在所有用户中的发生频率。尊重证据边界的有力批评,依然更有力量。

资金来源的多样性也是未来研究值得考虑的因素。具有不同学科背景和机构视角的团队,可以让研究问题受益。发展研究者、教育工作者、隐私专家和产品评估人员,可能会在同一研究设计中发现不同弱点。

这并不意味着每个项目都必须回答所有问题。它意味着整体研究工作应避免依赖单一方法或视角。一系列互补研究能够揭示的信息,可能多于对同一评估的反复复制。

实际检验在于,研究记录是否能在资助关系之外被使用。其他研究人员应能够理解方法、质疑解读,并识别尚未回答的问题。当独立性支持这种审查时,它才具有实质意义。

儿童安全批评者希望在确定性到来之前就落实保护措施

最有力的怀疑立场很直接:研究议程不应成为持续让年轻人暴露于认知不足风险中的许可。证据可以随着时间推移改善保障措施,但即时决策仍应反映现有担忧。

Common Sense Media 在 2025 年发布的AI companion assessment建议未成年人避免使用社交型 AI 伴侣。其测试涵盖 Character.AI、Nomi 和 Replika 等产品,并有来自 Stanford Brainstorm Lab 的专家参与。该机构指出了有害回应和关系导向设计方面的担忧。

这项评估提供的是批判性视角,而非对 OpenAI 新承诺的直接评估。它也涉及特定产品和测试条件。在用于讨论更广泛市场时,其发现应保留这些限定条件。

不确定性强化了采取谨慎保障措施的理由;它并不能证明不受限制的访问无害。 同样,不确定性也不能证明每一种 AI 使用都会产生相同风险。困难之处在于区分不同活动与功能,同时保护用户免受可预见的问题影响。

OpenAI、Anthropic 和伴侣服务提供商面临重叠的问题,但不应被视为可互换的企业或产品。参与共同研究工作,并不能证明它们拥有同等的保障措施。一家公司所宣称的产品目的,也无法证明每位用户的实际体验。

因此,这种比较在证据层面最有价值。每家提供商评估了哪些行为?哪些保障措施应对这些行为?提供商承认了哪些局限性?共同研究可以改善这些比较,而不会将报道变成品牌间的竞赛。

UNICEF 的以儿童为中心的 AI 指南提供了更广阔的视角。其建议在安全之外,还涉及隐私、公平、包容、透明度和发展。这一框架有助于解释,避免不当文本为何不足以涵盖儿童福祉的全部含义。

一项假设性的安全功能说明了这种权衡。监测对话或许有助于识别令人担忧的交流,但也会生成敏感记录。评估这一功能需要同时关注其预期保护作用和数据处理方式。

另一项假设性干预可能会在出现某些披露后限制对话。研究人员需要审查这种回应是否有助于用户获得适当支持,还是仅仅结束互动。干预措施的存在并不能证明其有效性。

这些例子是评估问题,而非关于某项具体服务的已报告发现。它们的目的是说明,为何简单化的主张站不住脚。即使意图合理的功能,仍需在现实条件下接受检验。

益处同样值得接受审查。无障碍支持和教育辅助可以成为有价值的研究目标。评估者应识别谁能受益、在哪些条件下受益,以及这些收益是否能延续到即时任务之外。

这种方法为有益的 AI 留出空间,同时不要求家庭接受模糊的保证。它也为证据支持谨慎态度的限制措施留出空间。研究应帮助这些判断变得更具体,而不是迫使所有使用情形都归入批准或否定。

对于关注该公告的读者而言,怀疑标准具有实践意义。在继续审查当前产品行为的同时,支持收集更好的证据。一项承诺可以促进这项工作,但无法解决其背后的安全问题。

接下来的信号将来自方法、发现与产品回应

未来几个月应重点审视落实情况,而不是期待科学问题立即得到定论。长期发展问题不会仅仅因为一则公告吸引关注就获得可靠答案。较早出现的信号仍可显示,这项工作是否正变得具体。

最清晰的进展证据,将把研究承诺与可见的方法、已发表的发现以及可解释的决策联系起来。 这些信号说明读者应关注什么,而非已公布的交付时间表。若它们缺失,该倡议的重要方面仍将未经验证。

首先,关注是否出现具名研究项目和易于理解的方法。关于参与团队、选定问题、治理机制和研究设计的细节,会让这项承诺更容易被评估。公开研究方案,即开展研究的书面计划,将帮助读者理解研究人员打算测量什么。

这些细节将增强这样一种判断:资源正在支持一项可行的研究计划。缺乏项目信息的宽泛描述,将提供较少的落实证据。两种情况都无法解决科学问题,但这种区分会澄清该倡议的进展。

其次,关注是否有保留不确定性的发现。发表负面或无定论的结果,将证明研究人员能够传达有利标题之外的结果。清晰说明局限性也将帮助读者区分探索性工作与更有力的结论。

一项已发表结果应说明研究能够支持什么,以及其结论止于何处。如果一项小规模评估识别出有用信号,后续工作可以进一步调查。将该信号呈现为普遍答案,会削弱研究价值。

读者也应审视研究发现是否保持可获得和易理解。清楚描述方法的出版物允许知情批评。仅宣告成功、却不说明基础比较的标题,所能提供的信息要少得多。

第三,关注产品团队和机构作出的具体回应。提供商可能会在一项发现之后修改功能、强化边界,或委托开展后续评估。学校可能会缩小获批准的使用范围,因为证据对某项活动的支持比对其他活动更明确。

这些是可能的回应,而非已报告的承诺。它们的重要性在于可追溯性:决策者应说明哪些证据促成了哪些行动。这种关联将增强研究正在影响实践的判断。

单独一次产品更新并不能完成这一过程。仍需要后续评估,以确定修订是否解决了已识别的问题。证据应引导持续的决策循环,而不应只是仪式性的背书。

对于 OpenAI 的儿童安全研究而言,当前核心问题在于执行。该承诺确立了支持测量工作的意愿,但其公共价值将取决于所产出的工作。方法必须可信,发现必须保持可被质疑,随之而来的决策必须承认局限。

在关注产品公告的同时,也请关注研究记录。当提供商描述一项儿童安全改进时,应审视经测试的行为、相关年龄群体、比较对象以及仍存的不确定性。应追问独立研究人员能否审查足够的信息,以评估这一主张。将教育益处与有关情绪福祉的证据区分开来,也将资金承诺与已证实的结果区分开来。支持关于 AI 与儿童安全的研究,只有在帮助家庭、学校和开发者作出更有依据的决策时才有价值。下一个问题很具体:这项承诺将产生什么证据,而相关组织又会在这些证据挑战其预期时如何行动?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page