top of page

Google Genie 4 為互動世界加入音訊及即時操控

2 小時前
讀畢需時 12 分鐘

Google 於 10 月 27 日公布 Google Genie 4,為其互動模擬加入原生音訊及即時場景編輯功能。這個研究預覽版擴大了用戶可在生成世界持續運行期間作出的改動範圍。其核心承諾是提供更直接的創作過程:調整正在發展的場景,而非反覆要求生成替換片段。

世界模型是模擬環境及其如何回應行動的 AI 系統。Genie 3 已支援導航及透過提示改變環境。新版本將聲音、角色行為及場景引導整合為更連貫的體驗。

這對創意團隊慣用的提示、生成、審閱工作流程帶來挑戰。Google 正提出一種可讓人持續引導的環境。這是否會變得實用,取決於世界能否可靠地保留用戶希望維持的選擇。

Google Genie 4 為運行中的場景加入聲音

Google 的互動模擬公告描述可隨場景展開而生成音樂、環境聲及對話的環境。用戶亦可透過自然語言指示改變天氣、鏡頭位置或角色。

首個研究預覽版正向可信測試者開放。Google 表示,Google AI Ultra 訂閱者及獲選開發合作夥伴日後可透過 Project Genie 存取。計劃中的開發途徑包括讓軟件連接 Google 模型的 Gemini API,以及 Google AI Studio。

真正有意義的改變在於,引導場景愈來愈包括引導當中發生的事,以及聽眾所聽到的內容。

試想改變已完成片段與改變持續進行中的場景之間的差異。完成片段讓創作者在生成後有內容可評估。持續運行的環境則帶來另一種可能:在構思仍在發展時作出回應。

對創作工作而言,這個分別很重要,因為決策很少會同時出現。鏡頭移動可能帶來不同的表演構想;表演會改變所需的節奏;聲音則可改變同一個場景予人平靜、擠迫、威脅或親密的感覺。

Genie 4 原生音訊讓這些關係成為所提出體驗的一部分。它為系統提供另一個表達正在展開事件的渠道,也為用戶提供另一個發現不一致之處的渠道。

一個場景的畫面可以很可信,但聲音卻講述另一個故事。腳步聲暗示地面材質;聲音表明距離;背景噪音建立鏡頭以外存在甚麼。當這些訊號互相矛盾時,額外的真實感反而可能令矛盾更容易被察覺。

因此,這項新增功能同時擴闊模型的表達範圍及其責任。音訊不能只在開頭時令人信服地配合畫面;當用戶改變情況時,它必須持續保持合適。

這對對話尤其相關。角色的回應會令人預期該角色知道、理解及記得甚麼。對話是否合理,會與周遭環境的連續性連結起來。

這些是該功能所引伸的分析含意,而非既定的效能結果。公告說明 Google 正引入甚麼,卻未能證明每一種語音、動作及介入的組合都能可靠運作。

這次發布仍屬預覽,而非普遍可用的正式生產服務。這個分別應影響今天評估它的人所抱持的期望。已公布的存取途徑描述技術的發展方向,並不保證特定工作流程可即時使用。

對讀者而言,實際重點很直接。Google 已擴大互動世界可接受的決策範圍。這個範圍是否有用,取決於這些決策能否在整個使用過程中保持可辨識。

即時引導改變創作瓶頸

Genie 4 即時操控的吸引力,在於可在修訂呈現方式時讓構思持續推進。這改變了創意團隊向 AI 系統提出的問題。

團隊不再只問提示能否產生合適結果,也可以問現有結果能否接受有用的引導。分別在於保留。修訂只有在改變目標元素,同時保留已獲批准元素時才有意義。

創作控制取決於保留既有決策的程度,並不亞於接受新指示的能力。

想像一位電影製作人正在探索繁忙街道旁的對話場景。移動鏡頭不應隨意改變說話者的身分;加入雨水不應抹去已確立的門口;改變氛圍不應暗中替換原定動作。

這些例子是假設的評估情境,並非已有報道的實際製作部署。它們說明為何即時編輯建立了嚴格標準。每次介入都成為改變場景一部分、同時尊重其餘部分的要求。

對個別創作者而言,在早期探索期間出現輕微連續性錯誤或許可以接受。對團隊來說,同一錯誤卻可能打斷討論。人們在辯論下一步應改變甚麼時,需要一個穩定的參考。

這對圍繞重複生成而設計的工具帶來壓力。若一個受引導的環境能保留足夠脈絡,重新開始整個場景便會變得較不吸引。其優勢將來自修訂之間保留有用工作。

然而,這是工作流程比較,並非證明某一產品已可取代另一產品。不同工作需要不同程度的控制。短暫的視覺實驗與獲批准的製作序列,承擔截然不同的要求。

即時受眾包括導演、設計師、創意技術人員,以及在實作前溝通構想的人。他們的共同需要是可吸收回饋的共享表述。視覺質素有幫助,但回應能力才決定這個表述能否支援對話。

單靠速度並不足夠。一項快速修訂如改變了無關細節,便會製造另一個審閱問題。一項能保留意圖的較慢修訂,當合作夥伴需要作出決定時可能更有用。

同樣道理適用於聲音。討論地點氛圍的團隊,需要與正測試的引導相對應的音訊變化。否則,參與者便會同時比較多項未受控制的改變。

這亦是為何這次發布值得在個別示例的外觀以外受到關注。其所提出的價值,在於指示與保留脈絡之間的關係。場景成為推敲決策的地方。

評估這些工具的知識工作者亦面對文件記錄問題。他們必須區分觀察與假設,並保留結果背後的條件。一個可搜尋的知識庫可在實驗及審閱之間支援這些記錄。

這些記錄很重要,因為令人印象深刻的示範可能主導後續討論。有關哪些內容改變、哪些內容持續存在、哪些內容失敗的筆記,能為採用決策提供更有用的基礎。

對 Google 而言,商業機會正源於這項實際效益。能協助團隊達成決策的系統,能在其流程中取得位置;只會產生吸引人變化的系統,則更容易被視為偶爾使用的實驗。

Gemini 為視覺生成循環加入規劃

Google 的技術說明將 Gemini 與 Genie 並置,而非把世界生成器視為獨立系統。在其世界模擬研究中,Google 描述 Gemini 觀察生成畫面、將目標拆分為步驟,並隨事件變化調整計劃。

公司亦展示一個實驗性機械人示例,涉及 Apptronik 的 Apollo 人形機械人下西洋棋。Gemini 4 Argon 提供任務步驟,而 Genie 繪製情境。這是研究示例,並非成功部署實體機械人的證據。

這個架構概念將決定應發生甚麼,與生成其呈現方式分開。

規劃系統可以明確表述一連串預期行動。視覺生成器可產生圍繞該序列的感官細節。將兩者連接,便建立一種方式,讓人比較正在展開的場景與其背後的目標。

這很重要,因為一段吸引人的序列不一定能完成所要求的任務。角色可以合理地移動,卻未有完成預期行動;物件可以出現在正確場景,卻未有正確地與任何事物互動。

規劃循環旨在處理這個分別。它引入可評估進度及修訂方向的觀察者。Google 將此描述為通向更連貫事件序列的路徑。

這項說法仍需審慎解讀。一個模型審閱另一個模型的輸出,並不等同獨立測量。若兩個系統都接受具誤導性的視覺線索,表面上的一致可能掩蓋錯誤。

當場景呈現實體工作時,這點尤其重要。所描繪的行動可以滿足觀眾預期,卻未必符合真實任務的限制。視覺完成與實體完成需要不同證據。

對創意探索而言,這個落差可以是可處理的。目的可能是傳達想法、建立調度,或討論某段序列。即使輸出不適合工程驗證,仍可能有用。

對機械人技術而言,所需證據則更嚴格。訓練環境應支援在生成場景以外仍然有用的學習。這需要測試模擬結果與真實結果之間的關係。

研究示例可以證明組件以有趣方式互相溝通,但本身無法證明所得環境支援可靠訓練。這個較廣泛的結論需要圍繞預定部署方式設計的評估。

這個機制亦提出一個有關用戶控制的產品問題。當系統在指示之間調整計劃時,它正在選擇甚麼應繼續。用戶需要明白這些選擇是否反映其意圖。

能維持推進動力的助手,可以幫助創作者保持投入;暗中重新引導場景的助手,則可能令環境更難管理。其價值取決於介入是否保持清晰可見及可逆轉。

這正是 Genie 4 即時操控遇上熟悉軟件設計問題的地方。當人們能理解自動化的後果時,自動化最能發揮效用。一個具回應能力的世界,仍需要在請求與其後改變之間建立可理解的關係。

因此,對 Google 方法最有力的解讀是具體的:它在互動過程中結合規劃與感官生成。這個組合能否產生可靠控制,仍是一個需要評估的問題。

競爭對手同樣正連接對話與視覺互動

Google 正與探索相關互動式生成形式的公司,一同踏入世界模型的發展階段。Runway 的對話角色文件介紹由其 GWM-1 通用世界模型驅動的角色。

Runway 文件列出語音、個性、知識和行動的控制項。其示例包括教育對話、品牌體驗及互動角色。這些產品層面較可自由變化的環境更為狹窄,但所處理的需求有所重疊。

競爭壓力來自令生成體驗可用,而不只是令它們看起來更精緻。

對話角色為開發者提供一個可整合的明確物件。世界模型則提供更廣闊的環境,帶來更多可能的互動。較廣的範圍帶來彈性,同時亦增加必須維持一致的關係數量。

兩種方法都不會自然勝出。聚焦的應用程式可受惠於明確界限;探索式創作過程則可受惠於自由度。真正相關的比較,應從使用者希望完成的工作開始。

例如,學習應用程式可能優先考慮穩定的角色和可預期的對話。探索場景設定的創作團隊,則可能優先考慮鏡頭自由度和環境變化。這些優先次序會帶來不同的評估準則。

Genie 4 的原生音訊令 Google 的環境更接近對話和視覺行為同步發生的體驗。這與互動角色產品形成更直接的重疊,但並不代表兩者具備相同表現或相同的開發者能力。

目前沒有依據可宣稱哪一方在基準測試中勝出。產品描述並未提供受控比較。存取方式、互動設計和預定用途的差異,令隨意排名尤其不可靠。

更有用的比較,是每個系統如何提供控制能力。開發者能否指定哪些內容必須維持不變?使用者能否修改某個特定元素?團隊能否充分檢視結果,以理解故障原因?

這些問題很重要,因為整合會產生示範所沒有的責任。應用程式必須處理意料之外的輸入、中斷,以及偏離預定路徑的工作階段。模型最吸引人的示例,很少涵蓋這種範圍。

即使較大型模型能生成視覺上更具野心的環境,這仍為專門產品留下競爭空間。受限制的體驗可能更容易說明、評估和納入既有應用程式。

Google 的機會在於,將廣泛生成能力連接至同樣易於理解的控制項。若使用者能自由探索,同時保留關鍵決定,環境便可在更廣泛的創作工作中發揮作用。

相同的廣度亦帶來挑戰。不同行業對成功有不同定義。引人入勝的虛構角色、教育模擬和機械人實驗,不能共用單一的可接受準確度標準。

因此,買家需要按特定任務作出判斷。應以相同的預期結果和相同的失敗條件比較產品。品牌知名度和視覺質感不能取代這種一致性。

對既有創作流程的壓力仍是核心故事。競爭對手透過展示多種連接生成與互動的方法,進一步強化這一點。實際競爭在於哪種方法能幫助使用者作出並保留有用決定。

「兩分鐘」說法需要清晰定義

標題中的時長比較值得更精確地說明。TechCrunch 報道場景一致性最長可達兩分鐘,是前代所述上限的兩倍。

然而,Google 最初的 Genie 3 功能說明區分了互動時長與視覺記憶。其 2025 年 8 月公告稱,環境可在數分鐘內大致保持一致,而視覺記憶則延伸約一分鐘。

這些衡量方式不應視為可互換。工作階段長度描述互動持續多久;記憶描述相關細節可保留至多早以前;一致性則描述世界是否保留本應穩定的關係。

只有當讀者知道該時段內持續保留甚麼,時長數字才有意義。

一個世界可繼續生成,卻忘記較早前的改動。它可保留某處地點的大致外觀,同時改變某件特定物件;亦可保留物件外觀,卻改變它與周邊幾何結構的關係。

當物件離開視野後仍然存在並保持穩定,這種區別稱為物件恆存性。對互動環境而言,只要使用者重返曾經遇到的事物,這便是一項實際要求。

Google 的現行模型限制承認細節和物件會出現漂移,尤其是在較長工作階段和複雜編輯期間。公司亦將音訊準確度、可讀文字、空間準確度和多代理互動列為持續研究範疇。

這項披露為真實感主張提供必要的平衡。輸出看起來更好,不代表關係穩定;移動更自然,也可與錯誤後果並存。合理的場景不足以證明這是一個物理上可靠的模擬。

對探索氛圍的電影製作人而言,某些不穩定情況或可接受。對檢視特定互動的設計師而言,這可能削弱整個練習。對工程工作而言,未經量度的不穩定性可令輸出不適合作為證據。

因此,相關問題不是模型偶爾會否出錯,而是其錯誤是否仍在建議用途的界限之內。不同應用程式需要不同界限。

用於傳達情緒的場景,不一定需要精確地理位置;作為歷史證據呈現的重建,則不能依賴同樣的容錯程度。生成細節必須繼續可與已驗證資訊區分。

同一原則亦適用於語音。令人信服的聲音,不能證明角色說法準確。在教育或專業場景中,對話需要與視聽審查分開進行事實核查。

團隊亦應區分要求的結果與觀察到的結果。提示要求一場逼真的碰撞,並不能證明最終碰撞是逼真的。指令記錄的是意圖,而輸出仍需評估。

這種區分有助避免過度解讀這次發布。Google 已推出額外功能並說明預期價值。現有證據不足以支持將該模型視為成熟模擬系統的通用替代品。

在審慎描述下,時長改善仍然重要。更長的有效連續性可擴展人們在單一工作階段內能探索的決定。關鍵詞是「有效」:單憑經過時間,無法告訴讀者任務是否保持連貫。

存取、連續性測試及重複使用將釐清其價值

Google Genie 4 的下一階段應透過存取、持續行為和重複使用來評估。這些訊號把公告與其提出的工作流程改變連結起來。

更廣泛的可用性,只有在產生有關使用者能可靠保留及修改甚麼的證據時才最重要。

第一項訊號是透過已公布的存取渠道交付。實際可用後,更多人便可在自身條件下測試系統。延遲或狹窄的存取將限制獨立證據累積的速度。

開發者存取尤其重要,因為應用程式呈現的要求與示範不同。整合會令輸入處理、工作階段管理和復原變得可見。團隊在據此開發前,文件應清楚說明受支援的界限。

第二項訊號是把連續性與視覺品質分開的評估。有用的測試應重新造訪地點、檢視較早前的改動,並引入連續編輯。目的在於觀察世界改變後甚麼仍然保持穩定。

這類評估應保留失敗運行和成功運行。否則,觀眾無法分辨一般行為與經挑選的示例。不間斷的工作階段會比短篇精華提供更多脈絡。

比較亦應區分互動時間、記憶和任務完成情況。只有相關決定得以保留時,較長工作階段才會加強論據。反覆漂移將削弱即時引導能提升實際控制力的主張。

第三項訊號是為明確任務而重複使用。團隊在同一工作階段重返系統,會比初期熱情提供更強證據。任務及其驗收準則需要明確界定。

對創作團隊而言,這可能是利用生成環境達成場面調度決定;對開發者而言,可能是一項特定互動體驗。這些是可能的評估目標,並非已確認的採用結果。

重複使用會加強「回應式生成改變創作流程」的論點;持續需要人手重建則會削弱它。分別在於系統是減少不確定性,還是只產生更多有待檢視的材料。

目前,這次發布確立的是一個可信方向,而非已定型的工作流程。Google 正把聲音、即時指令及圍繞持續生成環境的規劃結合起來。由此產生的體驗值得按這些條件審視。

當存取範圍擴大時,請以你已熟悉的任務評估 Google Genie 4。保留原始目標,記錄每次介入,並檢查其後改變了甚麼。把視覺吸引力與連續性分開,並把連續性與事實或物理準確度分開。把失敗工作階段與令人信服的工作階段一同保留,讓同事能評估相同證據。將結果與團隊目前所用流程比較,包括修復不想要的改變所需的工作量。決定應取決於該環境是否幫助人們作出能夠保留的選擇。一次受引導的工作階段能否把有用工作延續下去,還是每項新指令都迫使團隊重建共同理解?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page