top of page

Amazon Nova Act 测试与 Playwright 并行,成为 Epsilon 的共享服务

14分钟前
讀畢需時 12 分鐘

Epsilon 已将 Amazon Nova Act 测试纳入共享服务,同时保留既有的浏览器自动化框架 Playwright 作为回归测试的核心支撑。该部署将自然语言测试指令与由 AWS 管理的浏览器结合起来。其意义不在于全面取代脚本化检查,而在于改变产品团队使用测试能力的方式。

10 月 29 日发布的 AWS 案例研究介绍了一项多租户服务,即一个为不同团队提供服务、同时维持独立访问边界的共享平台。Epsilon 的 Agentic Platform 团队负责该集成。产品团队无需自行运维浏览器基础设施,便可使用这项能力。这使核心问题从智能体能否在页面中完成导航,转变为谁负责围绕它的服务体系。

更有价值的比较,是共享测试基础设施与各产品团队重复投入之间的差异。Playwright 仍是这一图景的一部分。对工程负责人而言,这项部署提出了一个实际问题:多少测试工作应留在各个应用团队内部,又有多少应成为平台职责?

Amazon Nova Act 测试进入平台层

Epsilon 的部署将浏览器测试视为可复用的组织能力,而非每个团队都必须自行运维的另一项工具。

根据这篇意图驱动测试案例研究,团队通过统一界面提交工作流。Nova Act 负责理解指令,Amazon Bedrock AgentCore Browser 则提供浏览器环境。Epsilon 周边的平台负责执行和结果处理。

这一差异很重要,因为浏览器交互只是可用测试服务的一部分。还必须有人决定谁可以运行测试、能够访问哪些应用,以及证据应保存在哪里。当多个团队共享同一项能力时,这些决策会变得更加关键。

浏览器演示通常会让操作过程一目了然:智能体打开页面、填写表单并到达目标位置。内部服务也必须让责任归属同样清晰。当执行失败时,用户需要知道问题由应用、指令还是平台引起。

对产品团队而言,这种分离改变了采用决策。当浏览器运营已有明确负责人时,评估一项测试能力会更容易。团队可以专注于测试是否描述了有意义的产品行为,以及生成的证据是否足以支持发布决策。

但对平台团队而言,责任随之扩大。共享服务需要围绕执行、访问、故障报告和支持建立明确契约。将基础设施工作从应用团队移除,意味着这些工作被转移到集中式运营模式中。

这一转移值得关注,因为它决定了该方法能否在组织层面扩展。一项对创建者有效的能力,仍可能难以支持彼此无关的应用。不同的身份验证流程、发布节奏和测试环境会带来不同预期。

不妨设想一个示例性的内部应用修改了其引导页面。应用团队希望在重新设计后验证相同的业务结果。平台服务应帮助区分无害的布局调整与实际无法完成引导流程的问题。

这种区分不只是找到另一个可点击元素。服务需要稳定地理解预期结果,并提供展示实际发生情况的证据。否则,适应能力可能演变为接受不同结果的许可。

因此,这则消息涉及更广泛的责任边界。应用团队仍对产品正确性负责,平台则负责使浏览器执行能力可用且可审查。明确这些义务,能让这种安排更易于评估。

在这里,Amazon Nova Act 测试最值得关注之处,是它作为额外服务层的角色。其价值取决于团队能否在不承担另一个维护系统的前提下,获得有用的测试覆盖。

产品团队获得访问能力,平台团队承担问责责任

只有当共享服务为团队提供从请求到证据的可靠路径时,集中化才能减少重复工作。

压力不仅落在测试工程师身上,也落在平台工程负责人身上。一旦浏览器测试可以通过统一界面使用,用户便会期待一致的行为。当该界面不再产生可用结果时,他们也会期待有人作出响应。

这改变了基础设施开销的含义。产品团队可以避免管理浏览器进程,却仍需要测试账户、合适的数据和明确的验收标准。基础设施从其任务清单中消失,但测试责任依然存在。

一个有用的组织边界,是将执行责任与场景责任分开。平台负责运行工作流的机制,应用团队负责工作流应证明什么。任何一方都无法完全替代另一方。

如果没有这一边界,集中式服务可能积累大量无法解决的请求。平台工程师或许能诊断会话故障,却缺乏判断意外确认信息所需的产品知识。应用工程师可能理解该信息,却无法访问执行细节。

因此,服务需要支持围绕失败展开协作。一份报告应帮助两组人员识别相关的应用状态和正在评估的指令。当结果看起来可疑时,仅有一个绿色状态标识并不能为任何一方提供足够信息。

产品经理和质量负责人也可能发挥作用。自然语言指令让跨职能讨论拟定场景更容易。但更广泛的参与也提高了审查的重要性,因为可读语言仍可能描述一个不完整的测试。

例如,一条示例指令可能要求智能体确认新建记录已出现。这仍留下若干未解决的问题:应出现哪条记录、应在哪个账户下出现,以及应保存哪些值?

这些细节定义了正确性。平台可以标准化指令的运行方式,但产品团队必须提供预期行为。让编写测试更易于参与,应当扩大参与度,而不应削弱对精确预期的责任。

这还涉及一个相关的知识问题。团队需要保留场景存在的原因、促成其出现的事故,以及后续修订中发生的变化。否则,可读工作流可能成为另一批无法解释的产物。

评估这一模式的工程团队,应将测试证据与现有文档实践联系起来。一个可搜索的知识库可帮助保留场景依据,并关联技术决策和故障调查。

这种组织机会并不等于消除测试工作,而是减少重复的运营准备,使团队能够将更多注意力投入产品行为。这是否能够实现,取决于支持质量和共享界面的实用性。

这使采用成为一个服务设计问题。平台负责人应评估团队能否理解结果并解决故障,而不应仅以工作流创建数量衡量成功。

托管浏览器将执行与应用所有权分离

该架构将决定做什么,与提供浏览器操作环境分离开来。

在 Epsilon 的部署中,Nova Act 提供解释层。AgentCore Browser 提供远程浏览器,即运行在用户本地机器之外的浏览器。周边服务将这些能力连接到组织访问控制和报告机制。

AWS 将托管浏览器会话描述为具备自动化连接和交互式查看能力的隔离环境。其文档还将 Nova Act 和 Playwright 列为支持的交互库。因此,托管浏览器基础设施并不要求只能选择一种测试方法。

这种分离具有战略价值。组织可以独立评估浏览器服务和驱动它的指令。基础设施适用性和测试质量仍是相关决策,但不应将其中任何一项视为另一项的证明。

托管环境可以简化浏览器运营,但定义不佳的工作流仍会产生薄弱证据。反过来,精心设计的测试在执行环境不可靠时也可能难以使用。可信的服务必须同时解决两者。

浏览器边界也使安全问题更清晰。隔离会话限制了一类风险暴露,但它并不决定应用账户能够执行什么操作。目标应用内部的权限仍决定浏览器操作会带来什么后果。

设想一个可编辑客户记录的测试账户。将其浏览器迁入托管环境,并不会让这些编辑变得无害。该账户仍需要与所检查环境和场景相匹配的权限。

同样的逻辑适用于网络访问。浏览器服务必须能够访问目标应用,但可达性应遵循经过审慎制定的策略。引导阶段的便利性不应悄然演变为对无关内部系统的无限制访问。

这些是评估要求,而非对 Epsilon 部署的指控。该案例说明,基础设施所有权与应用授权应在同一架构讨论中考虑。采用类似模式的团队应思考这些边界如何相互作用。

证据收集引入了另一层边界。浏览器产物可能包含测试账户可见的信息。因此,即使底层工作流运行在临时会话中,访问录制内容也应受到独立控制。

AWS 通过实时查看、录制、回放和运营指标介绍了浏览器可观测性。可用性需要关注配置:其浏览器文档指出,会话录制属于自定义浏览器能力。

这一限定在评估内置可见性声明时至关重要。已文档化的功能,不等同于已启用、被保留且受到恰当访问限制的产物。买方应检查实际部署配置,而非假设每项能力都会自动适用。

对于 Amazon Nova Act 测试而言,这形成了一个清晰的架构检验。共享服务应在让执行更容易的同时,保留关于权限、证据和责任的可理解边界。托管基础设施有助于达成这一结果;组织政策则使其完整。

将 Nova Act 与 Playwright 对立起来是不完整的表述

真正有意义的选择,在于解释能力何处有帮助,以及显式检查应在何处保持权威。

将讨论简单框定为 Nova Act 与 Playwright 之争,可能会忽略此次部署的核心启示:共享平台可以提供不止一种执行方式。团队无需让每个场景都依赖同一种交互模型。

Playwright 也值得获得公平的技术比较。其稳健定位器指南建议通过面向用户的属性和明确约定来识别元素,并避免不必要地依赖页面结构和样式细节。

定位器是用于识别页面元素的规则。基于按钮的角色和名称选择定位器,与依赖其在嵌套容器中的位置有所不同。因此,脚本化测试也包含会影响维护成本的设计选择。

这使得“自然语言执行天然比脚本化测试更具韧性”的说法变得复杂。比较结果取决于脚本基线采用了什么做法,以及发生了哪些变化。一个薄弱的基线对评估维护良好的测试套件几乎没有说明力。

更有价值的分析问题是:团队目前在哪些地方投入了精力,却没有获得有用的确定性。有些场景需要细致而稳定的检查。另一些场景则涉及穿越界面,其偶发性的呈现变化比预期的业务行为变化得更频繁。

在后一类场景中,解释层具有吸引力,因为它可以描述目标,而不必机械地规定每一步交互。但这种灵活性需要边界。代理应当调整路径,同时保留预期结果。

一个示例性的账户管理测试能具体说明这种区别。进入设置页面时,可以容忍菜单位置发生变化。确认某项权限已被移除,则需要对最终状态进行精确检查。

这些职责可以共存于同一测试策略中。灵活导航可以导向明确验证。有效的架构会保留这种区别,而不是将成功导航视为正确性的充分证据。

Playwright 的自动重试断言提供了相关背景。断言是将实际行为与预期结果进行比较的检查。Playwright 提供了针对文本、值、可见性、URL 和其他条件的检查。

当应用异步更新时,这种精确性依然很有价值。测试应允许预期状态在规定的限制内出现;当所需条件始终未出现时,也应当失败。

自然语言工作流同样需要对“何为成功”给出清晰答案。“完成任务”可能留下发布门禁无法容忍的解释空间。团队应在决定浏览器如何抵达结果之前,先定义结果本身。

围绕 Nova Act 与 Playwright 的讨论,在以这些职责为基础时会更有意义。组织可以针对特定场景比较维护成本、诊断清晰度和缺陷检测能力。确定总体赢家不如让每种方法承担其能够可信验证的工作。

Epsilon 保留其回归测试骨干的决定支持这种审慎解读。该服务扩展了可用的测试模型,而非证明现有的回归测试实践已无必要。

更快的编写并不等于更好的缺陷检测

编写速度、成功执行和有意义的缺陷检测衡量的是不同事物。

Epsilon 报告称,其内部测量的编写效率提升了四到六倍,已保存轨迹的回放通过率达到 100%。轨迹是记录下来的浏览器操作序列。这些结果应继续作为归属明确的主张呈现,结论也应限于所报告的条件。

该发布内容并未确立跨任意应用、经过独立验证的可靠性比率。它也未证明每一次成功回放都能检测到产品团队所关心的缺陷。通过率描述的是特定评估流程下的结果。

分母很重要。当读者知道哪些工作流进入回放集、运行之间发生了什么变化,以及失败如何分类时,回放结果会更具信息价值。缺少这些背景时,标题中的百分比无法承载更广泛的可靠性主张。

这并不意味着所报告的结果无关紧要。可重复执行是有价值的。它只是回答了一个比“测试系统能否在变化条件下识别错误行为”更狭窄的问题。

强有力的评估应有意引入故障。设想一个假设的表单:它显示成功消息,却没有保存提交的记录。只检查消息的测试可能会通过,但业务操作实际失败了。

另一个示例涉及账户边界。某个工作流可能成功找到一条属于其他账户的记录。完成导航并不能证明应用执行了预期的访问规则。

这些例子揭示了任务完成与验证之间的差异。浏览器代理自然会通过完成任务来评估,但测试需要对错误结果保持敏感。一个抵达目标的系统,需要额外证据才能批准发布。

适应性带来了进一步的权衡。如果重新设计的界面提供了替代路径,采用该路径可以保留有用的覆盖范围。但若原始路径本身是必需行为,绕过它就可能掩盖回归。

因此,团队需要区分允许的适应与应导致测试失败的行为。这是产品决策,而不是执行引擎应在没有限制的情况下自行推断的事情。清晰的预期能让韧性与问责兼容。

人工干预也需要得到明确处理。工作流在获得协助后完成,与完全无人值守的运行提供的是不同证据。将两种结果合并为未加区分的成功数字,会使运营规划更加困难。

重试也是如此。一个经过反复尝试后最终通过的测试,与始终稳定通过的测试,会带来不同的发布体验。评估应保留这种区别,而不是将其压缩为最终的绿色状态。

对于 Amazon Nova Act 测试,最有力的证据应将编写工作与缺陷检测和调查工作联系起来。只有当生成的场景仍具辨别力时,更快的创建才有价值。若模糊的检查在后续带来更多审查工作,其说服力就会降低。

因此,持怀疑态度的立场是务实的:要求证据证明该服务会因正确的原因而失败。当刻意引入的应用缺陷产生清晰、可操作的失败结果时,成功执行才更有意义。

下一阶段的证据应将采用情况与发布信心联系起来

下一阶段应展示,共享访问是否能在不断变化的应用中形成有用的覆盖范围。

在接下来的几个月中,有三个信号值得按顺序关注:更广泛的采用、变化后的行为,以及围绕每项结果的运营工作。这些是评估优先事项,并非 Epsilon 或 AWS 宣布的里程碑。

首先,关注能够区分工作流创建与持续使用的采用证据。有价值的问题是:更多产品团队是否会在初始接入后继续依赖这项服务。当团队能够说明它填补了哪些覆盖缺口时,重复使用会更具说服力。

广度同样重要。熟悉应用中的多个工作流,并不能证明与跨不同产品持续使用相同的组织成果。证据应识别应用行为的多样性,同时不暴露机密实现细节。

如果采用规模增长而定制化支持没有相应增加,这一信号将强化平台论点。如果每个团队在产出有用结果前都需要大量定制干预,则会削弱这一论点。

其次,关注应用变更和刻意引入缺陷后测试的表现。外观变化不应自动使有意义的测试失效。错误的业务行为仍应产生工程师能够理解的失败。

有说服力的评估会区分无害的界面变化与错误结果,也会区分需要修订的工作流和平台执行失败。这些类别决定了团队能否在积极开发期间信任该服务。

如果测试能容忍呈现变化,同时拒绝错误的应用状态,这一信号将增强信心。如果适应性掩盖缺陷,或普通的重新设计需要大量重写指令,则会削弱信心。

第三,关注一次完成测试周围的完整运营负担。编写只是开始。审查、执行、重试、证据检查和失败调查,都会构成获得可信结果所需的工作量。

最有力的比较应将这些活动一并考察。节省编写时间但增加模糊失败的服务,与同时减少调查工作的服务,带来的是不同权衡。团队需要足够细节来判断哪种结果适用。

如果更广泛的使用带来了可解释的结果和可控的支持需求,这一信号将强化论据。如果表面上的自动化依赖频繁的人工救援或困难的工件审查,则会削弱论据。

对于企业买家而言,这些信号提供了比泛泛的自主测试主张更具体的评估框架。对于开发者而言,它们让注意力继续聚焦于发布信心。对于平台团队而言,它们能够确定集中化是否真正消除了重复工作。

此次部署的重要性正是建立在这种组织层面的可能性之上。共享浏览器执行可为产品团队提供共同起点,同时让不同测试方法保留各自的职责。值得关注的证据,是这些职责能否经受真实应用变化的考验。

在采用 Amazon Nova Act 测试之前,应询问哪段未覆盖的用户旅程值得关注,以及什么证据能使其结果可信。选择一个具有清晰业务结果的场景,然后同时检查成功运行和刻意破坏的版本。比较编写、审查、执行和调查所需的工作量。在正确性有要求的地方保留明确检查,并记录每个边界上的失败归属。让评估始终与实际发布决策相关,而非被纯英文指令的吸引力所左右。目标是建立一项测试服务,在扩展有用覆盖范围的同时,给予工程师更清晰的理由来信任或拒绝某个构建。哪个缺失场景能为你的团队提供最有力的证据?

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page