top of page

Bedrock 上的 TwelveLabs Pegasus 1.5 讓影片分析超越摘要

7 日前
讀畢需時 11 分鐘

TwelveLabs 已將 Bedrock 上的 Pegasus 1.5 帶給 AWS 客戶,加入附時間戳記的影片擷取功能,不再只限於回答單一片段的問題。Amazon Bedrock 是 AWS 提供存取 AI 模型的受管理服務,現時可提供更直接的途徑,將影片素材轉化為應用程式資料。

相關轉變在於模型觀看影片後所發生的事。摘要可協助人們理解錄影內容;一組帶有標籤的時刻,則可讓應用程式篩選、擷取並呈現以供審閱。

這使專門的影片擷取功能與 Google 的 Gemini 等通用模型並列比較,後者同樣支援影片理解。核心張力在於:生成有用答案,與產生可靠到足以支援持續工作流程的紀錄,兩者之間存在差異。

Bedrock 上的 Pegasus 1.5 實際改變了甚麼

AWS 於 2026 年 10 月 9 日宣布推出服務,並於 10 月 19 日發布詳盡技術導覽。這些日期區分了服務公告與其功能的較新說明。影片中繼資料公告確認了推出時間表。

具關鍵影響的新增功能,是以影片中各項事件為核心組織輸出格式,而非只就內容給出單一答案。

中繼資料是附加於素材或其中某個時刻的描述性資訊。在此,時間戳記將該等資訊連結至原始影片素材。應用程式可利用這些連結開啟相關段落,而毋須要求使用者手動定位。

AWS 描述了一種做法,讓客戶指定希望識別的事件,模型其後會傳回符合條件的段落,連同描述欄位及時間邊界。這使事件的定義成為產品實際價值的一部分。

編輯團隊與廣告團隊可檢視同一段錄影,但尋找的資訊不同。編輯希望找出主題轉換或訪問片段;廣告人員則希望找出某特定產品的出現情況。兩者都不需要對所有可見內容作出通用描述。

這項區別很重要,因為摘要會按相關性壓縮資訊;擷取任務則要求按照既定規則完整涵蓋內容。兩個目標雖有重疊,但其中一項表現成功,並不代表另一項也能成功。

一段精簡摘要即使省略不顯眼的產品出現畫面,也未必有錯;但如客戶的目的在於找出該畫面,出現紀錄便不能漏掉同一段落。因此,輸出結果改變了買家應衡量的內容。

AWS 亦描述了參考圖片提示功能,讓客戶可向模型展示某件物件,而非完全依賴文字描述。其影片分段導覽展示了產品及標誌比對。

分段是指按指定準則,將影片劃分為有時間邊界的段落。它為結果提供位置及範圍。當另一個系統需要顯示片段、建議剪輯或組織審閱佇列時,這些邊界便十分重要。

因此,這項公告應被理解為模型可被要求執行的工作有所改變。它並不證明每項傳回的事件均正確,而是建立了更明確的結構,以供請求、檢視及使用這些事件。

對企業買家而言,這種結構帶來一個具體評估問題:傳回的紀錄能否支援人們對其影片素材所作的實際決策?單憑令人印象深刻的描述,無法回答這個問題。

影片團隊面對不同的採購決策

最直接的壓力落在負責將錄影轉化為可用紀錄的團隊,以及把這些工作拆分出售的供應商身上。

設想一個假設性的媒體檔案庫,當中包含訪問、簡報及完成製作的節目。其員工可搜尋檔案名稱及現有描述;若有逐字稿,亦可搜尋逐字稿。但可見的產品、手勢或投影片,會帶來另一種檢索問題。

口述提及與視覺出現是不同類型的證據。主持人可提及某產品而不展示它;產品亦可在主持人身後無聲地出現。如使用者重視視覺呈現,一個有用的檔案庫便需要保留這種區別。

結構化影片分析正是在這裡改變採購討論。客戶評估的是服務能否建立可營運的目錄,這要求的不只是判斷文字敘述聽起來是否準確。

一項紀錄需要穩定的含義。若「產品出現」這個標籤有時代表口頭提及,有時代表可見物件,篩選便會變得不可靠。使用者必須明白紀錄所聲稱的是甚麼,才能信任其相關性。

潛在好處是減少重複搜尋及手動描述。然而,該公告並沒有提供依據,讓人可套用一個通用的節省人手數字。不同檔案庫存放不同影片,而其既有流程亦帶來不同的審閱負擔。

一個具備詳盡人工標籤、組織完善的收藏,與一個沒有標籤的影片庫,所呈現的機會並不相同。自動化服務可能對前者作用不大,卻可令後者更易探索。買家需要從自身的實際基準出發。

內部軟件團隊亦承受壓力。一旦模型傳回結構化紀錄,業務使用者便可合理地追問,為何這些紀錄無法在既有工具中顯示。困難的工作轉向權限、介面、更正處理及整合。

這並不消除專門媒體軟件的角色。編輯人員仍需要理解其製作環境的工具。當那些工具可取用擷取服務的輸出,而毋須迫使用者轉到另一個割裂的介面時,該服務便更有價值。

同樣的道理亦適用於已錄製的工作場所知識。找出相關段落固然有用,但讀者亦需要語境、擁有權及可存取的來源。更廣泛的可搜尋知識庫亦提出了類似的可發現性及可追溯性問題。

Pegasus 不會自動提供整個體驗。機會在於為能做到這一點的應用程式提供更有用的來源紀錄。對正在界定專案範圍的買家而言,擷取與知識管理之間的界線仍然重要。

因此,實際的競爭壓力是架構層面的。團隊應重新考慮影片編目哪些部分需要獨立元件,亦應識別模型產生初步輸出後哪些責任仍然必要。

附時間戳記的紀錄改變應用程式可做的事

當應用程式可將時間戳記連結至已定義事件、來源素材及審閱決策時,它才具備營運價值。

JSON 是應用程式可解析的結構化文字格式,為系統之間傳遞這些紀錄提供常見方式。其用途來自可預期的組織方式。下游應用程式應知道在哪裡找到事件描述及其相關時間範圍。

這種組織方式改變了模型回應與使用者介面之間的關係。一段文字通常需要先經過詮釋,軟件才能據此行動;結構化紀錄則可成為時間軸、目錄或內容審核佇列中的項目。

模型的描述仍須仔細審查。結構化格式令資訊更易處理,並不證明其真實性。即使以軟件可接受的格式交付,錯誤標籤仍然是錯誤標籤。

AWS 的模型請求參數區分一般分析與基於時間的中繼資料生成,並記錄支援最長兩小時、檔案小於 2 GB 的影片。

這些限制的實際影響不止於表面數字。影片時長及檔案大小限制素材的不同屬性。錄影可能符合時長限制,但因編碼方式而超出檔案大小限制。

對買家而言,關鍵問題是具代表性的來源檔案能否符合文件所列的輸入要求。以方便的樣本成功示範,對機構實際檔案庫所需的準備工作說明不大。

文件亦展示了回應完成資訊,以及與分段定義相關的錯誤。應用程式需要區分空白結果與操作未成功完成;否則,擷取失敗可能看起來與影片中沒有相關事件無異。

這是營運上的區別,而非晦澀的實作細節。看到「沒有匹配項目」的審閱者,需要知道系統是否已完成搜尋。凡是結果會影響決策的地方,軟件都應保留這項差異。

參考圖片為事件定義加入另一個維度。設想一篇假設性的產品評測,當中出現來自不同製造商的相似裝置。視覺參考能為任務提供比一般產品類別更具體的目標。

然而,預期規則仍然重要。審閱者想找的是包裝、實體裝置,還是在螢幕上顯示的圖片?部分被遮擋的出現是否應計算在內?客戶必須決定哪些證據符合條件。

這些是透過技術設定表達的編輯或業務選擇。若讓它們保持含糊,評估便更困難,因為審閱者可能對模型是否出錯有不同看法。精確的定義會建立共同的判斷基礎。

有用的紀錄亦需要模型即時回應以外的語境。應用程式應保留來源身分及擷取定義的版本。若沒有這些歷史,在任務變更後便難以比較新舊結果。

就 Bedrock 上的 Pegasus 1.5 而言,產品機會源於將這些部分連結起來。已定義事件成為有時間邊界的紀錄,而該紀錄則成為人員可檢視或應用程式可組織的內容。

當最終介面保留回到影片素材的路徑時,這項改變才最具意義。沒有可存取證據支持的自信標籤,只是將使用者的不確定性轉移到別處。

Gemini 令競爭比較保持誠實

TwelveLabs 競爭的是其影片擷取工作流程的實用性,而通用模型已提供相關的影片功能。

Google 的影片理解文件說明了處理音訊及視覺內容、回答問題,以及生成附時間戳記描述的功能。文件亦記錄了可設定的影片取樣,並警告在預設取樣下,快速變化的細節可能會遺失。

因此,聲稱通用模型缺乏影片理解功能並不成立。買家已有可檢視影片及描述事件的替代方案。比較應聚焦於達至可用結果所需的工作。

對於只偶爾需要解釋錄影內容的團隊而言,通用模型可以是合適的起點。周邊應用程式可能已使用該模型處理文件、圖像及其他工作。重用同一模型在組織層面具吸引力。

對於需要重複擷取相同事件類別的團隊,則值得評估專門介面。關鍵在於其任務結構能否減少客製化工作,並產出符合團隊品質要求的紀錄。

兩者孰優,並不單由模型類別決定。專門產品仍可能漏掉事件,或產生界線模糊的結果。通用模型若其能力與片段內容及擷取任務相符,也可能表現良好。

最公平的比較應使用相同的來源素材及事件定義,並保持預期輸出一致。把專門擷取任務與措辭寬鬆的摘要要求相比,並不能得出多少有用結論。

買家應區分事件偵測與描述品質。模型可以準確描述已識別的片段,卻忽略另一段相關內容。它也可能識別出正確事件,但劃定的界線會增加後續編輯工作。

這些差異很重要,因為客戶會在工作流程中體驗到錯誤。遺漏片段會妨礙搜尋。範圍過闊的片段會拖慢審閱。錯誤描述則會誤導決定開啟哪段內容的人。

開發工作量亦是另一個問題。單獨測試時表現良好的模型,可能需要大量周邊邏輯。另一項服務或許會產生略有不同的結果,卻更容易配合客戶現有的應用程式。

這使整合工作成為比較的一部分,但不能代替品質。便利的輸出無法彌補不可接受的遺漏。同樣地,僅有輕微的準確度提升,未必足以證明值得圍繞不相容介面重建應用程式。

競爭焦點亦延伸至供應商如何展示證據。買家可受惠於披露片段、定義及評分規則的特定任務評估。關於影片智能的籠統說法,掩蓋了決定實際營運價值的差異。

因此,對這次發布較恰當的回應是作更深入比較,而非宣告勝出者。TwelveLabs 為結構化影片擷取提供了更清晰的產品定位。通用模型仍是相關替代方案,而客戶影片應決定每種方法的適用位置。

AWS 可用性並未解決可靠性或管治問題

Bedrock 存取提供了一條部署途徑;客戶仍需要有關擷取品質、運作行為及允許資料流動方式的證據。

Bedrock 模型卡指出,Pegasus 1.5 使用跨區域推論,會將請求路由至不同 AWS 區域。它列出美國地理及全球設定檔,而非區域內推論。

當買家聽到處理工作會留在 AWS 內,這個區別便十分重要。雲端供應商邊界與地理處理邊界回答的是不同問題。具有地點特定責任的機構,需要審視所選用的路由安排。

模型出現在受管理服務中,亦不代表支援該服務其他地方提供的所有功能。買家應查看模型專屬文件,而非從平台名稱推斷相容性。

同樣的審慎態度亦適用於可攜性。為供應商直接服務建立的應用程式,不應假設每個請求細節都能原封不動轉移至 Bedrock。團隊需要驗證實際打算部署的介面。

這些都是可處理的整合問題,但在試點成為依賴項目前值得關注。早期示範往往只證明請求可以成功。正式生產使用則需要了解應用程式在失敗時的行為。

品質評估亦需要同樣嚴謹。看似完整的時間軸不會揭示模型遺漏的事件。審閱者需要參考集,即在已協定定義下預先識別相關事件的影片素材。

關鍵指標是精確率,即回傳事件中正確事件所佔比例;以及召回率,即找到的相關事件所佔比例。兩者的相對重要性取決於輸出所支援的決策。

若使用者可迅速略過,探索介面可以容忍部分無關建議。若工作流程把遺漏事件視為不存在的證據,則需格外審慎。商業後果決定可接受的平衡。

界線品質值得獨立關注。模型可以識別正確事件,卻開始得太遲或結束得太早。所得片段可能缺少審閱者理解事情經過所需的背景。

因此,人工審閱可承擔多種工作。它可以更正標籤、調整時間範圍、釐清模糊定義,或檢查原始片段。把所有審閱視為單一負擔,會令識別系統在哪些方面有幫助變得更困難。

該公告並未提供獨立證據,證明客戶可以免除這些責任。它描述的是能力及預期用途。對可靠自動化的主張,仍需在客戶自身條件下評估。

敏感影片會帶來有關存取及保留的額外問題。即使難以發現原始錄影,生成的紀錄仍可能揭露資訊。應用程式應對衍生描述及來源檔案同樣套用適當權限。

此外,亦存在知識管理上的影響。一旦擷取紀錄開始流傳,人們可能失去對其來源或修訂歷史的追蹤。個人與共享 AI 知識庫之間的區別,有助界定誰應查看及維護這些紀錄。

就 Bedrock 上的 Pegasus 1.5 而言,這些考慮因素界定了模型周邊的實施工作。它們並非否定可用性公告,而是說明企業在依賴其輸出前必須驗證的事項。

三個訊號將顯示採用方向

下一批有意義的證據,將關乎可量度的擷取品質、下游使用情況,以及客戶在模型周邊保留多少工作。

第一個訊號,是針對具代表性的長篇影片進行可重現評估。評估應披露事件定義、預期結果,以及用來評分回傳片段的方法。沒有這些細節,標題式的準確度主張只能提供有限指引。

評估亦應展示困難案例,而非完全依賴乾淨的示範。模糊的出現情況、重疊事件及變化中的視覺條件,有助說明何時仍需要人類判斷。買家需要了解失敗模式,而不只是平均表現。

若證據顯示 Pegasus 能持續找到具有可用界線的相關片段,將加強其專門化定位。若證據顯示仍需大量人工修正,則會縮窄自動化具實際優勢的任務範圍。

第二個訊號,是部署至現有工作工具之中。可開啟相關來源片段的目錄,其實用程度與獨立回應檢視器不同。它把擷取工作連接至使用者本來就需要完成的事項。

最有力的採用證據,會說明紀錄如何進入工作流程,以及人們如何修正它們。它亦會解釋當定義或模型改變時,這些修正是否仍可存取。這比報告試點成功處理影片更具資訊價值。

若已公開的客戶經驗顯示減少重複審閱,而沒有隱藏新增的行政工作,便會加強論據。若結果僅限於示範,較廣泛採用的問題仍會懸而未決。

第三個訊號,是周邊產品及介面的回應。留意更清晰的文件、更方便的整合方式,以及可減少產生可靠事件紀錄所需工作的競爭性改進。這些發展決定客戶仍需要多少專門工程工作。

競爭模型毋須複製相同介面,也能改變決策。更佳的任務表現或更容易的整合,都會影響比較。同樣地,Pegasus 周邊更強的支援,可令其既有能力更容易被採用。

這些訊號應一併考慮。更佳擷取而沒有可用整合,工作仍未完成。方便整合而品質不足,則會造成另一種審閱負擔。持久的產品需要兩者兼備,並由客戶能理解的運作行為支援。

對開發者而言,眼前機會是界定一項可檢查成效的狹窄任務。對企業買家而言,則是把該任務連接至商業決策。對知識工作者而言,則是更容易取得錄影中的證據。

從團隊已熟悉的一段錄影,以及人們目前仍以人手尋找的一個事件類別開始。在比較模型結果前,先寫下何者符合條件,包括模糊案例。把遺漏片段與回傳配對一併檢視,並計算修正兩者所需的工作量。然後追蹤一項紀錄進入某人實際會使用的應用程式。使用者能否查看來源、理解標籤,並在不失去上下文的情況下修正錯誤?Bedrock 上的 Pegasus 1.5 讓 AWS 客戶更容易進行這項實驗。用它測試特定工作流程,並以人們能否找到及驗證所需時刻來判斷結果。

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page