top of page

Bedrock 上的 TwelveLabs Pegasus 1.5 将视频分析带出摘要阶段

7天前
讀畢需時 12 分鐘

TwelveLabs 已将 Bedrock 上的 Pegasus 1.5 提供给 AWS 客户,为视频加入带时间戳的信息提取能力,不再局限于回答单个片段相关的问题。Amazon Bedrock 是 AWS 用于访问 AI 模型的托管服务,如今可为用户提供一条从视频素材到应用数据的更直接路径。

这一变化的关键在于模型观看视频之后发生什么。摘要能帮助人理解录制内容;而一组带标签的时刻,则为应用提供了可供筛选、检索和呈现以供审核的内容。

这让专业的视频提取能力与同样支持视频理解的 Google Gemini 等通用模型并列竞争。核心张力在于:是生成有用的答案,还是产出足以支持持续工作流的可靠记录。

Bedrock 上的 Pegasus 1.5 实际改变了什么

AWS 于 2026 年 10 月 9 日宣布上线,并于 10 月 19 日发布详细技术演示。这两个日期区分了服务公告与对其功能的后续说明。视频元数据公告明确了其可用性时间线。

真正重要的新增能力,是围绕视频中的事件组织输出格式,而非只针对其内容给出单一答案。

元数据是附加于资产或其中某个时刻的描述性信息。在这里,时间戳将这些信息关联到原始视频素材。应用可以利用这种关联打开相关片段,而不必要求用户手动定位。

AWS 描述的方法是:客户指定希望识别的事件,模型随后返回相匹配的片段,包括描述性字段和时间边界。因此,对事件的定义本身构成了产品实用价值的一部分。

编辑团队和广告团队可以审阅同一段视频,却寻找不同的信息。编辑希望找到主题转换或访谈片段;广告团队则希望识别特定产品的出现。双方都不需要对所有可见内容作出通用描述。

这种区别至关重要,因为摘要会依照相关性压缩信息,而提取任务则要求依照既定规则实现覆盖。这两项目标有所重叠,但在其中一项上成功,并不能证明另一项同样成功。

一份简洁摘要遗漏某个并不显眼的产品露出,并不意味着它有误;但如果客户的目的就是找到该片段,产品出现日志就不能遗漏它。因此,输出形式改变了买方应当衡量的内容。

AWS 还介绍了参考图像提示功能,客户可以向模型展示一个对象,而不必完全依赖文字描述。其视频分段演示展示了产品和标志匹配。

分段是指依据指定标准,将视频划分为具有时间边界的片段。它为结果赋予位置和范围。当其他系统需要展示片段、提出剪辑建议或组建审核队列时,这些边界至关重要。

因此,这项公告应被理解为模型可被要求执行的工作发生了变化。它并不能证明每个返回的事件都正确,而是为请求、检查和使用这些事件建立了更明确的结构。

对于企业买家而言,这种结构带来了一个具体的评估问题:返回的记录能否支持人们围绕其视频素材作出的实际决策?仅凭一段令人印象深刻的描述无法回答这个问题。

视频团队面临不同的采购决策

最直接的压力将落在负责把录制内容转化为可用记录的团队,以及将这项工作作为独立环节出售的供应商身上。

设想一个包含访谈、演示和成片节目的假设性媒体档案库。工作人员可以搜索文件名和现有描述,也可以在已有转录文本时搜索它们。但可见的产品、手势或幻灯片会带来不同的检索问题。

口头提及和视觉出现是两类不同的证据。演讲者可以提到产品却不展示它;产品也可能在演讲者身后无声出现。当用户在意视觉存在时,一个有用的档案库需要保留这种区别。

这正是结构化视频分析改变采购对话的地方。客户评估的是,一项服务能否填充可运营的目录。这不仅仅是判断其文字描述听起来是否准确。

一条记录需要稳定的含义。如果“产品出现”有时指口头提及,有时指可见物体,筛选就会变得不可靠。用户必须先了解记录所声称的内容,才能信任其相关性。

潜在收益在于减少重复搜索和人工描述。不过,这项公告没有提供为其赋予普遍节省工时数字的依据。不同档案库拥有不同素材,现有工作流带来的审核负担也各不相同。

一个拥有详尽人工标签、组织良好的资料库,与一个没有标签的视频库,所面临的机会并不相同。自动化服务对前者或许增益有限,却可能让后者更易于探索。买方需要从自身的实际基线出发。

内部软件团队同样面临压力。一旦模型返回结构化记录,业务用户自然会问,为什么这些记录不能出现在现有工具中。困难的工作将转向权限、界面、纠错处理和集成。

这并不会消除专业媒体软件的作用。编辑人员仍然需要理解其制作环境的工具。当这些工具能够消费提取服务的输出,而不迫使用户进入另一个割裂的界面时,提取服务才更有价值。

同样的逻辑也适用于已录制的工作场所知识。找到相关片段很有用,但读者还需要上下文、归属信息和可访问的来源。更广泛的可搜索知识库也带来了有关可发现性和可追溯性的类似问题。

Pegasus 不会自动提供完整体验。机遇在于为能够提供完整体验的应用供应更有价值的源记录。对于界定项目范围的买方而言,提取与知识管理之间的边界仍然重要。

因此,实际的竞争压力体现在架构层面。团队应重新审视视频编目中的哪些部分需要独立组件,也应识别模型生成初始输出后,哪些职责仍不可或缺。

带时间戳的记录改变了应用能做什么

当应用能够将时间戳关联到已定义事件、源资产和审核决策时,它才具备可操作价值。

JSON 是一种应用可解析的结构化文本格式,为系统之间传递这些记录提供了常见方式。它的价值来自可预测的组织结构。下游应用应当知道在哪里找到事件描述及其对应的时间范围。

这种组织方式改变了模型响应与用户界面之间的关系。一段文字通常需要先经过解释,软件才能据此行动;结构化记录则可以成为时间线、目录或内容审核队列中的一个项目。

模型的描述仍需审查。结构化格式让信息更易处理,但并不证明其真实性。以软件可接受的格式交付错误标签,它依然是错误的。

AWS 的模型请求参数区分了通用分析和基于时间的元数据生成。文档说明其支持最长两小时、文件小于 2 GB 的视频。

这些限制的实际影响不止于标题所示的规模。时长和文件大小约束的是资产的不同属性。一段录制内容可能符合时长限制,却因编码方式而超出文件大小限制。

对买方而言,相关问题是具有代表性的源文件是否满足文档规定的输入要求。使用方便的样本成功演示,并不能说明组织的真实档案库需要进行多少准备工作。

文档还披露了响应完成信息,以及与片段定义相关的错误。应用需要区分空结果与操作失败。否则,提取失败可能会看起来与视频中没有相关事件毫无区别。

这是一项运营层面的区别,而不是晦涩的实现细节。看到“无匹配项”的审核人员,需要知道系统是否已完成搜索。只要结果会影响决策,软件就应保留这种差异。

参考图像为事件定义增加了另一个维度。设想一段假设性的产品评测,其中包含来自不同制造商的相似设备。视觉参考比宽泛的产品类别为任务提供了更具体的目标。

但预期规则仍然重要。审核人员希望找到包装、实体设备,还是屏幕上展示的图像?部分被遮挡的出现是否应计入?客户必须决定哪些证据符合要求。

这些是通过技术配置表达的编辑或业务选择。若将其隐含处理,评估会更加困难,因为审核人员可能会对模型是否出错产生分歧。精确的定义能建立共同的判断基础。

有用的记录也需要模型即时响应之外的上下文。应用应保留源身份以及提取定义的版本。如果缺少这些历史信息,任务发生变化后,比较新旧结果将变得困难。

对于 Bedrock 上的 Pegasus 1.5,产品机会来自于将这些部分连接起来。已定义的事件成为具有时间边界的记录,而该记录又成为人可以检查或应用可以组织的内容。

当最终界面保留回到原始视频素材的路径时,这种变化才最具意义。缺乏可访问证据的自信标签,只是把用户的不确定性转移到了别处。

Gemini 让竞争比较保持客观

TwelveLabs 竞争的是其视频提取工作流的实用性,而通用模型已经提供了相关的视频能力。

Google 的视频理解文档介绍了音频和视觉内容处理、问题回答与带时间戳描述生成。它还说明了可配置的视频采样,并警告默认采样可能遗漏快速变化中的细节。

因此,声称通用模型缺乏视频理解能力的绝对说法站不住脚。买方已经拥有可以检查视频素材并描述事件的替代方案。比较重点应在于达到可用结果所需的工作量。

对于偶尔需要解释一段录音的团队而言,通用模型可以是合适的起点。周边应用或许已经将该模型用于文档、图像和其他任务。复用它在组织层面颇具吸引力。

对于反复提取相同事件类别的团队,则值得评估专业接口。问题在于,其任务结构是否能够减少定制工作,并产出符合团队质量要求的记录。

两种选择都不会仅因模型类别而胜出。专业产品仍可能漏掉事件,或产生模糊的边界。通用模型在其能力与视频素材及提取任务匹配时,同样可能表现出色。

最公平的比较应使用相同的源素材和事件定义,同时保持预期输出一致。将专业提取任务与措辞宽泛的摘要请求对比,几乎无法说明问题。

买方应区分事件检测与描述质量。模型可能准确描述已识别的片段,却忽略另一个相关片段。它也可能识别出正确事件,但划定的边界会增加额外编辑工作。

这些差异至关重要,因为客户会在工作流中直接感受到错误。遗漏片段会令搜索受挫。范围过宽的片段会拖慢审阅。不正确的描述则会误导决定打开什么内容的人。

开发工作量是另一个独立问题。一款单独测试时表现良好的模型,可能需要大量周边逻辑。另一项服务可能产生略有不同的结果,却更容易融入客户现有的应用。

这使集成工作成为比较的一部分,但它不能替代质量。便捷的输出无法弥补不可接受的遗漏。同样,微小的准确率提升也未必足以证明围绕不兼容接口重建应用是合理的。

竞争焦点还延伸至供应商如何呈现证据。买方将受益于披露视频素材、定义和评分规则的任务专项评估。有关视频智能的笼统说法掩盖了决定运营实用性的差异。

因此,对这次发布更审慎的回应应是进行更深入的比较,而非直接宣布赢家。TwelveLabs 为结构化视频提取提供了更清晰的产品定位。通用模型仍是相关替代方案,客户自身的视频素材应决定每种方法适用的位置。

AWS 可用性并不能解决可靠性或治理问题

Bedrock 访问解决的是一种部署路径;客户仍需要关于提取质量、运行行为和允许的数据流动方式的证据。

Bedrock 模型卡指出,Pegasus 1.5 使用跨区域推理,会在不同 AWS 区域之间路由请求。它列出了美国地理配置文件和全球配置文件,而非区域内推理。

当买方听到处理过程留在 AWS 内部时,这一区别尤为重要。云服务提供商边界与地理处理边界回答的是不同问题。承担位置特定合规义务的组织,需要审查所选的路由安排。

模型出现在托管服务中,也不代表其支持该服务其他地方提供的每一项功能。买方应查阅模型专属文档,而非仅凭平台名称推断兼容性。

同样的谨慎也适用于可移植性。为某供应商直接服务构建的应用,不应假设所有请求细节都能原样迁移至 Bedrock。团队需要验证自己实际计划部署的接口。

这些都是可解决的集成问题,但应在试点成为依赖项之前获得关注。早期演示往往只能证明请求能够成功。投入生产使用则需要了解应用在发生故障时的行为。

质量评估同样需要严谨。看似完整的时间线并不会揭示模型遗漏了哪些事件。审阅人员需要一组参考样本,即已根据一致定义标出相关事件的视频素材。

关键指标是精确率,即返回事件中正确事件所占比例;以及召回率,即已找到的相关事件所占比例。二者的相对重要性取决于输出支持的决策。

如果用户可以快速排除无关建议,发现型界面能够容忍一定数量的无关结果。若工作流将未发现事件视为其不存在的证据,则需要更加谨慎。业务后果决定可接受的平衡。

边界质量值得单独关注。模型可能识别出正确的发生事件,却开始得过晚或结束得过早。生成的片段可能缺失审阅者理解事件经过所需的背景。

因此,人工审阅可以承担多种工作:修正标签、调整时间范围、解决定义歧义,或检查原始片段。将所有审阅视为单一负担,会使人们更难识别系统在哪些方面有所帮助。

该公告没有提供独立证据,证明客户能够消除这些职责。它描述了能力与预期用途。关于可靠自动化的主张,需要在客户自身条件下进行评估。

敏感视频还会带来访问与留存方面的额外问题。即使原始录音难以被发现,生成的记录也可能泄露信息。应用应对衍生描述以及源文件应用适当的权限控制。

这还会带来知识管理层面的后果。一旦提取的记录开始流转,人们可能失去对其来源或修订历史的追踪。个人与共享AI 知识库之间的区别,有助于界定谁应查看和维护这些记录。

对于 Bedrock 上的 Pegasus 1.5,这些因素界定了围绕模型开展的实施工作。它们并不否定可用性公告,而是明确了企业在依赖其输出前必须验证的事项。

三个信号将揭示采用趋势的走向

接下来真正有意义的证据,将涉及可量化的提取质量、下游使用情况,以及客户在模型周边保留的工作量。

第一个信号是在具有代表性的长视频素材上进行可复现评估。它应披露事件定义、预期结果,以及对返回片段进行评分的方法。缺少这些细节,醒目的准确率主张只能提供有限参考。

评估还应呈现困难案例,而不应完全依赖干净的演示。模糊的出现情形、重叠事件和不断变化的视觉条件,有助于揭示人工判断仍然必要的环节。买方既需要理解失败模式,也需要了解平均表现。

如果证据显示 Pegasus 能够稳定找到相关片段,并给出可用的边界,将强化其专业化定位。如果仍需大量人工修正,则会缩小自动化具有实际优势的任务范围。

第二个信号是在现有工作工具中的部署。能够打开相关源片段的目录,其实用性与独立响应查看器处于不同层级。它将提取结果连接到用户本就需要完成的工作。

最有力的采用证据,应说明记录如何进入工作流,以及人们如何修正这些记录。它还应解释,当定义或模型发生变化时,这些修正是否仍然可访问。这比报告试点项目成功处理了视频更具参考价值。

如果公开的客户体验能够显示重复审阅减少,同时不掩盖新增的管理工作,便会强化这一论点。若结果仅限于演示,则更广泛采用的问题仍然悬而未决。

第三个信号是周边产品与接口的响应。关注更清晰的文档、更便捷的集成,以及能够减少生成可靠事件记录所需工作的竞争性改进。这些发展决定客户仍需投入多少专业工程工作。

竞争模型不必复制同一接口,也能改变决策。更好的任务表现或更容易的集成,都可能影响比较结果。同样,Pegasus 周边更强的支持,也可以使其现有能力更易采用。

这些信号应结合考虑。更好的提取若缺乏可用的集成,工作仍未完成。便捷的集成若质量不足,则会带来另一种审阅负担。持久的产品需要兼具两者,并由客户能够理解的运行行为提供支撑。

对于开发者而言,眼下的机会是定义一个能够检验成效的狭窄任务。对于企业买方而言,是将该任务与一项业务决策连接起来。对于知识工作者而言,则是更容易获取录音中的证据。

从团队已经熟悉的一段录音和人们目前仍需手动定位的一类事件开始。在比较模型结果之前,先写下符合条件的标准,包括模糊案例。将遗漏片段与返回的匹配结果一并审查,并将修正两者所需的工作量纳入考量。然后,沿着一条记录追踪到实际有人会使用它的应用中。用户能否检查来源、理解标签,并在不丢失上下文的情况下修正错误?Bedrock 上的 Pegasus 1.5 让 AWS 客户更容易开展这项实验。请用它测试一个具体工作流,并根据人们能否找到并验证所需时刻来评判结果。

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)和M-Chip Mac 。

你的 AI 工作伙伴

和 remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page