OpenAI 推出 LifeVal，以衡量 AI 在聊天回答之外的能力

OpenAI 于 11 月 2 日推出 LifeVal，将对个人助手的评估从回答问题转向完成日常任务。这项基准测试通过结构化方式测试 AI 的表现，涵盖寻找托育服务、管理家庭财务和办理政府手续等职责。其核心问题很实际：助手是否能帮助人们把事情办完？

这与评判聊天机器人的回复形成了不同的标准。一段有用的解释，仍可能把每一通电话、每一次文件查找和每一个申请步骤都留给用户。能够采取行动的助手，还必须识别缺失的信息、尊重权限，并展示实际发生了什么。

Anthropic 关于 Claude 的研究提供了一个有用的参照：与人协作和直接执行任务，是两种不同形式的辅助。OpenAI 的公告将这一区别带入家庭生活。如今，个人助手开发者面临的压力在于解释其产品完成了哪些职责、准备了哪些工作，以及哪些仍需要人类判断。

LifeVal 将测试从回答转向日常事务

根据 OpenAI 的日常任务评估，该公司利用时间使用研究和对 3,995 名受访者的调查开发了这一基准。该公司称，这项评估在过去一年中指导了模型改进。其选定示例包括学校入学、家庭住房搜索和照护规划。

该公告将日常实用性明确设为评估目标，而非仅将其作为笼统的产品承诺。

即使暂不考虑分数，这也是一项重要区别。模型可以准确回答问题，却对其背后更广泛的职责帮助甚微。寻找托育服务的人需要的不只是可选方案的介绍。他们需要符合自身情况的信息，以及对尚未解决问题的清晰认识。

设想一位刚搬家的家长正在比较服务机构。一份精致的摘要可能清楚介绍各项方案，却遗漏其时间安排是否符合家长的工作时段。另一份回复可能找到了合适的机构，却依赖已过时的名额信息。在家长尝试采取行动前，这两种输出看起来都很有帮助。

基于任务的评估应当让这些缺口显现出来。它应区分找到一个选项、核实其是否合适，以及落实具体安排。不同阶段需要不同的证据要求。将它们视为可以互换，可能会夸大助手实际承担的责任。

同样的区别也适用于文书工作。解释表格、整理支持材料、准备草稿和提交申请，是彼此独立的成果。有用的助手应准确说明自己止步于何处。否则，用户必须检查整个流程，才能发现是否仍有重要事项未完成。

这正是应认真对待该基准、却不应将其视为产品保证的最有力理由。它为评估更贴近用户所理解的实际责任的辅助方式创造了空间。然而，选择相关任务并不能证明测试涵盖了评估环境之外遇到的每一种障碍。

公开公告也不应被误认为是面向所有用户的功能发布。评估描述的是一种衡量方法。产品可用性则需要关于支持的工具、权限、账户和环境的独立证据。读者不应假定每一种展示的工作流程都向每位 ChatGPT 用户开放。

因此，眼下的变化在于 OpenAI 公开选择衡量什么。更广泛的影响取决于这种衡量是否足够细致，以支持比较。在判断一项结果有多少实际分量之前，开发者和用户需要知道何种情况算作完成。

家庭职责暴露出另一种性能差距

家庭辅助带来了一种问题，而整洁的问答格式可能掩盖这一问题。请求通常只包含部分相关背景。其余限制条件会通过文件、偏好、对话，以及其他人或机构的实际限制逐渐浮现。

当助手减少用户剩余负担——包括核查其工作成果的负担——时，它才创造价值。

一个假设性的预算任务说明了这种差异。对交易进行分类很有用，但这并不能证明所得计划反映了即将到来的支出义务。一段令人信服的解释可能掩盖了对资金到账时间的错误假设。重要的结果是，这个人是否获得了可作为下一次决策可靠依据的方案。

这促使产品团队以可操作的方式定义辅助。回复可以听起来完整，却将验证工作转回给用户。如果用户必须重新打开每一份文件并重建每一项计算，表面上的便利性就更难成立。评估应将这种核查工作考虑在内。

时间使用研究有助于解释这些职责为何值得关注。美国劳工统计局的时间使用调查衡量的活动包括有偿工作、育儿和志愿服务。它提供了一个超越通常与办公室生产力相关任务的日常生活视角。

国际研究提供了另一种视角。多国时间使用研究协调各国调查，使研究人员能够比较人们如何分配时间。这类证据有助于识别值得研究的职责，但并不能证明数字助手能够成功执行这些职责。

这一边界很重要，因为花费的时间和可被收回的时间是不同概念。助手可能减少某项活动周边的行政工作，却无法取代活动本身。比较预约选项可以减少协调工作，却无法替代照料他人所涉及的人际关系或亲身陪伴。

这种压力还延伸到公司如何呈现其产品。关于处理日常生活的宽泛说法，会引发对例外、中断和未解决决策的疑问。关于准备信息的较窄说法则更容易评估。两种范围本身都没有错，但用户需要准确了解所提供的服务。

当请求依赖分散的个人信息时，知识工作者也会遇到类似问题。一份相关文件可能包含会改变答案的限制条件。关于个人知识管理的资源可为组织此类材料提供背景。然而，组织信息与获得采取行动的许可仍是两回事。

对开发者而言，其含义很具体：评估遗留下来的工作。统计未解决的假设、必要的修正，以及需要用户重新开始的交接环节。这些建议的指标将揭示个人助手究竟是在减少责任，还是仅将其重新包装为更易读的回复。

协助他人与代其行动需要不同证据

Anthropic 的AI 任务研究区分了增强与自动化：前者是 AI 与用户协作，后者是 AI 直接执行任务。其最初的 Economic Index 通过职业视角考察 Claude 对话。因此，它构成与 OpenAI 家庭任务评估相关的背景，而非一项竞争性评分。

协作与执行应被分别评估，因为它们各自向用户作出了不同承诺。

协作型助手可以通过让艰难决策更易理解而取得成功。它可能整理相互冲突的要求，或发现缺失的文件。代替他人行动的助手则承担额外义务。它必须遵循约定的指示，并确认请求的行动是否成功。

两种方式都不应自动获得优先地位。有些职责适合先完成准备工作，再由人类作出决定。另一些职责则只有在助手处理常规执行时才真正有用。恰当的边界取决于任务和个人偏好，而非“更高自主性总是意味着更好辅助”这一笼统假设。

一个假设性的政府申请说明了原因。找到正确的表格并整理证据，可能大幅减少工作量。提交该表格则引入了关于授权的独立问题。助手不应仅因用户请求帮助理解流程，就推断自己获准提交。

反过来，不必要的交接也可能削弱执行服务。如果用户已经明确授权一项常规操作，就同一决定反复返回确认会增加工作。一项设计良好的评估因此应同时考察越权和可避免的中断。尊重控制权需要比每一步都停下来更高的精确度。

这种区别也改变了结果应附带何种证据。建议需要清晰依据和可见假设。已执行的行动则需要可观察的结果，例如确认信息或已变更的记录。声称助手已完成任务，不如用户可检查的证据有力。

这为解读个人助手演示提供了一个有用框架。应询问系统获得了什么信息、拥有何种权限，以及演示确定了什么结果。然后审视尚未完成的工作。这些问题可以防止一次有说服力的互动被当作完整的性能说明。

竞争比较应保持严谨。Anthropic 的职业使用分析与 OpenAI 的日常任务评估回答的是不同问题。它们无法证明哪个助手在同一项家庭职责上表现更好。这需要可比任务、访问条件、评分规则，以及从错误中恢复的机会。

它们的共同意义在于让分析单位更加具体。观察单项任务能揭示“生产力”或“智能”等宽泛标签所掩盖的差异。对个人助手而言，决定性区别往往在于提升某人的理解，还是可靠地执行下一项已获授权的步骤。

完成分数需要清晰界定“完成”

OpenAI 的公告在选定任务示例旁展示了百分比。这些数字值得关注，但读者不应将其直接理解为个人成功概率。一项结果只在其评估条件下才有意义。在将其应用于不同家庭或工作流程之前，理解这些条件至关重要。

基准测试中的百分比本身，并不能告诉用户助手完成其特定职责的可靠程度。

首先是成功的定义。一项评估可能奖励准确的信息、令人满意的计划、已完成的数字操作，或几者的组合。这些结果并不等同。为准备任务取得的高分，不能证明通过外部服务执行该任务具有同样的可靠性。

结果的分布同样重要。总体指标可能掩盖特定情境下的薄弱环节。用户关心的是自己面对的任务，包括其中不寻常的约束条件。按类别呈现结果，并记录失败案例，将有助于读者判断广泛的性能是否能转化为在其具体场景中的可靠协助。

另一个问题涉及环境。受控测试能够隔离能力并使结果可复现。实际服务则会带来不断变化的界面、缺失的记录和中断。这些是普遍的评估考量，并非该基准已被证实的缺陷。它们指出了理解其结论适用范围所需的信息。

恢复能力也值得单独审视。助手或许能完成一条顺畅的路径，却会在页面变更或所需文档无法获取时遇到困难。清晰地停止有时才是正确结果。在未解决的中断后仍报告成功，比承认局限性会造成更严重的问题。

独立的风险指引也支持这种更广泛的谨慎态度。NIST 的生成式 AI 概况讨论了包括虚构内容在内的风险，即自信生成错误内容，以及人与 AI 交互相关的问题。这是一般性指引，并非对 OpenAI 评估的评价。

将这一视角应用于家庭协助，会引出错误如何传递给用户的问题。草稿中的错误细节可以在执行前纠正。同一细节一旦进入已执行的交易，就会带来不同的后果。评估应区分错误本身与可用于发现该错误的机会。

偏好研究与结果验证之间也存在差异。询问人们希望在哪些方面获得帮助，有助于改进任务选择。但这并不能独立验证模型在这些任务上的表现。两类证据都很有价值，但它们分别支持关于评估的不同结论。

恰当的解读仍应保持克制。该公告明确了 OpenAI 所称的评估重点，并展示了公司报告的示例。它并不足以证明每一项展示结果都是经过独立验证的真实世界完成率。更详细的方法论和外部测试将使这些发现更易于解读，而不会削弱其相关性。

个人情境让权限成为性能测试的一部分

日常责任往往依赖于一般请求中未明确说明的信息。时间安排的限制、既有承诺或家庭偏好，都可能改变何种行动更合理。忽略这些细节的助手或许能高效执行，却仍可能产生不合适的结果。

正确执行既需要相关情境，也需要明确界定助手被允许做什么。

设想一个假设的托育搜索：最近的服务机构与照护者的时间安排冲突。距离计算可能是正确的，但推荐仍然没有帮助。这不仅仅是准确性问题，还关系到助手是否理解了自己应当支持的决策。

访问个人资料带来了另一项区别。阅读文档有助于确定正确的限制条件，但访问权限并不意味着可以分享其中内容。对日常协助的评估应考察系统是否能使用相关信息，同时避免将无关细节扩散到后续步骤中。

同样的原则也适用于连接的服务，即助手可以访问的外部应用。连接使某项操作在技术上成为可能，但并不意味着用户授权了所有可用操作。产品设计需要足够清晰地表达这些边界，让助手和审阅其工作的人员都能理解。

因此，有价值的性能评估应测试选择性行为。助手应识别请求所必需的信息，并认识到何时其他细节无关紧要。它还应保留不确定性。缺少偏好是澄清重要选择的理由，而不是凭空编造偏好的邀请。

这让“无摩擦助手”的概念变得更复杂。有些中断体现了恰当的克制；另一些则表明系统未能保留已经提供的信息。评估的挑战在于区分这些情况。单纯减少提问数量，会在敏感决策中奖励错误的行为。

可逆性又增加了一个维度。准备一份候选清单仍留有审阅空间；发送信息或确认某项安排则会改变用户的处境。助手应让这种转变清晰可见。当用户能够理解将发生什么以及之后还保留哪些选择时，行动能力才更有价值。

对正在评估助手的买家而言，这些区别意味着应采用更具揭示性的演示方式。可以提出一项信息不完整的任务，然后观察系统如何处理缺口；再引入一项变化的限制条件，检验它是否更新其方法。这些是建议的评估方法，并非 OpenAI 基准报告的结果。

对开发者而言，教训是权限应纳入性能衡量。未经授权的行动，即便抵达了请求的目标，也不能算是成功的协助。同样，从不超出准备阶段的系统，也应准确描述这一范围。用户需要在请求、授予的权限与结果之间建立可靠的对应关系。

关注可复现性、可比测试和减少工作量的证据

LifeVal 让 OpenAI 能更清晰地公开说明其希望个人协助实现什么。下一阶段应让这种雄心更容易接受检验。未来几个月中，最有用的信号将涉及透明度、独立比较，以及用户实际卸下了多少责任。

最有力的后续证据，将把评估结果与他人可以检查和复现的结果联系起来。

首先，应关注对测试设计更完整的说明。有用的披露应解释任务选择、成功标准、工具访问权限和人工参与程度。它们还应阐明完成过程的不同阶段是否获得不同权重。这些信息将增强超越精选示例来解读结果的依据。

失败报告尤其具有参考价值。对助手在何处停止的描述，可能比又一次成功演示揭示更多信息。读者需要了解失败是否涉及误解、信息缺失、行动未成功，或不恰当的自信。这些类别指向不同的补救措施，也意味着实践使用中的不同限制。

其次，应关注在可比条件下进行的独立评估。有意义的比较应向参与系统提供等同的信息和权限，并使用一致的评分标准评估相同结果。缺少这些控制条件，排名就可能衡量的是设置差异，而不是协助能力的差异。

竞争对手参与会增强这一信号，但并不是进行有价值审查的先决条件。独立研究者可以调查所报告的方法是否能推广到陌生任务和情境。复现将增强对测量的信心；实质性差异则会指出原始发现需要限定的地方。

第三，应关注用户是否真的减少了需要完成的工作。相关指标包括纠正输出、核查来源、从错误中恢复，以及完成未解决步骤所花费的时间。这些是建议的结果衡量指标。该公告不应被解读为已经证明这些方面均有所改善。

最后这一信号之所以重要，是因为一次成功的交互仍可能导致代价高昂的交接。助手或许能将一项责任整理得井井有条，却仍让用户核实每一个重要细节。这依然可能有用，但其益处应被准确描述。准备工作与可靠完成提供的是不同类型的减负。

同样的标准也应适用于产品演示和个人体验。一个有说服力的示例值得关注；在相关情境中反复成功，则更值得信赖。清晰证明系统能恰当停止、准确报告并支持可控修正，将比笼统承诺自主性更能增强论据。

阅读下一次 LifeVal 更新时，不妨牢记你自己承担的一项责任。明确你需要的结果、所需信息，以及你希望保留的决策权。然后寻找证据，判断评估是否覆盖了这些边界。问问自己，助手报告的成功是否包含你仍需执行的检查和纠正。比较准备与执行，并审视预期路径中断时会发生什么。始终清楚地区分一种有前景的测量方法与一项可靠的服务。真正有用的问题是：这些证据是否描述了你能够识别、检查，并愿意将那项责任托付给它的协助？在你认为工作完成之前，助手还必须完成什么？