top of page

Amplitude Wave 聯同 OpenAI 目標在 1–2 日內完成產品更新

11 分鐘前
讀畢需時 12 分鐘
Illustrative photograph. Photo: Sanket Mishra / Pexels.

Amplitude 表示,其由 OpenAI 支援的產品代理可協助團隊在 1–2 日內推出改進,相較之下以往約需一個月。Amplitude Wave 會研究產品行為,為編程代理準備改動方案,並衡量發佈後的成效。這項說法不僅關乎更快編程,也針對判斷哪些改動值得工程團隊投入的工作。

11 月 12 日的客戶案例描述了一項轉變:從按要求編寫軟件,轉向從客戶證據中找出值得處理的需求。負責落實改動的軟件助手——編程代理——仍需要一項有價值的任務。Wave 旨在以佐證資料和可衡量的目標,提供這項任務。

這使分析、產品規劃與工程之間的交接環節承受壓力。Mixpanel 正在探索代理活動與產品成果之間的相關連結。然而,核心競爭在於更快產出程式碼,還是更快地以證據推動產品改進。Amplitude 所報稱的結果初步呈現這項差異,但在衡量與部署方面仍有重要限制。

Amplitude Wave 將調查連接至實作

真正重要的改變,是嘗試將客戶證據一路帶進發佈決策。

根據其產品改進工作流程,Wave 結合分析數據、客戶意見、程式碼及工作階段重播,即產品內互動的錄影。團隊提供目標,Wave 則發掘機會,並可將技術方案與驗收標準——界定何謂令人滿意的實作條件——交予包括 Codex 在內的代理。

這種安排改變了人們對分析系統產出的期望。圖表可以揭示不尋常的模式,卻未必能解釋成因。重播可以展示使用者困惑,卻未必能證明其普遍程度。客戶投訴可以指出挫折,卻未必能說明哪種實作能解決問題。

將這些來源連接起來,有機會產出更有用的工程任務。最終方案應說明觀察到的問題、受影響的行為,以及預期效益。它亦應區分證據與詮釋,因為看似合理的解釋仍然只是假設。

對產品團隊而言,這種區分影響一項建議能否真正節省時間。如果審閱者在信任建議前,仍須重建整個調查過程,再精緻的規格也沒有太大優勢。有用的產出應是一套經得起檢視的論證,並為工程師提供足夠背景去質疑其假設。

時間點也需謹慎看待。OpenAI 描述客戶正在 beta 階段使用 Wave。Amplitude 於 11 月 12 日的發佈文章則另行宣布,符合資格的客戶可獲更廣泛的付費使用權。這些描述不應被演繹成該產品當日首次面世。

因此,這項公告關乎商業化及所報稱的營運結果,而非新推出的前沿模型。根本問題在於,既有模型能力能否有效地在既定產品職能之間推動工作流轉。

編程助手可以準確實作指令,卻不會觸及其商業前提。產品代理則透過建議應把努力投向何處,承擔了部分前提判斷。這擴大了潛在價值,亦擴大了其推理所附帶的責任。

這令方案階段變得關鍵。差劣的實作可能無法通過技術檢查;針對錯誤問題而執行良好的回應,卻可能通過檢查,仍然耗用工程團隊的注意力。證據必須隨任務一同流轉,讓審閱者可以檢視兩類失敗。

更廣泛的承諾,是減少在工具及團隊之間重建背景所花的時間。這項承諾能否成立,取決於建議送達後還剩下多少工作。調查質素、工程可行性及審閱成本都應納入評估。

更快編程令產品判斷承受壓力

當實作加快,選擇及評估工作便成為更明顯的限制。

Amplitude 的 Wave 發佈圍繞這項轉變定位產品。其 PixAI 例子說明人類判斷的角色:Wave 找出與留存相關的機會,而客戶則調整所建議的介入措施。Amplitude 報稱,其後 Missions 開啟次數增加 76%,第 1 日留存率增加 3%。

值得注意的是這項調整。代理的初步建議並沒有取代客戶決定何種做法適合產品的角色。證據提供起點,而團隊選擇與自身經驗及誘因一致的介入措施。

這提示我們可如何理解產品經理工作量的轉變。花較少時間整理方案,並不代表對其後果承擔較少責任。仍需要有人決定建議的成果是否值得關注,以及方案是否符合產品方向。

工程主管面對相關壓力。可供實作的建議增加,可能提高審閱需求。若每項建議未經審視便進入待辦清單,更快的調查可能只會產生另一條隊列,而非更快的改進。

設計團隊則有另一層顧慮。局部行為指標可能偏向某項介面改動,卻與整體體驗相衝突。例如,更顯眼的提示如與使用者原來的任務競逐注意力,便值得審視。即使實作直接,這仍是評估問題。

對分析團隊而言,壓力落在定義上。若一項建議針對啟動,團隊需要共同理解何謂啟動。否則,自動化調查可能優化一個方便衡量的事件,但持份者所期待的是不同的客戶成果。

這正是產品開發的說法為何超越工程生產力而重要。它問的是,組織能否以較少重複協調,從觀察到的行為走向可辯護的決策。這比更快生成程式碼,是更廣泛的營運轉變。

預期效益亦可能因應工作類型而異。被忽略的介面問題,可能比策略性的產品擴張更容易調查及測試。把這些任務視作可以互換,會誇大短暫推出時程所能證明的事情。

此外還有選擇問題。系統可透過優先處理容易描述及衡量的改動,顯得很有效率。關於定位、信任及服務不足客戶的較難問題,可能仍在其最有力的證據來源以外。

因此,買家應檢視哪些工作變快,哪些工作仍然困難。針對範圍明確的改進縮短週期可以很有價值,卻不表示路線圖決策已變成自動化。最有力的商業論據,應指出被移除的具體協調負擔。

首頁實驗展示其機制及限制

最清晰的例子,是令既有功能更切合需要,而非發明新產品。

在 Amplitude 的首頁,一項調查檢視了 100 段工作階段重播。使用者在 80 段工作階段中自行輸入問題,並在 12 段中選擇建議卡片。該公司表示,一日後,個人化卡片帶來的卡片驅動訊息較對照組多 160%。

A/B 測試,即比較不同體驗的實驗,提供了比較基礎。這項介入措施利用近期產品背景,改善建議的起點。使用者仍可自由輸入;如缺乏個人化背景,通用建議仍然可用。

無須把結果視為普遍適用,也可理解其機制。一項建議可能運作正常,但仍未切合使用者原本想完成的任務。個人化嘗試藉相關活動縮小這種落差。

這與修理失靈按鈕不同。單憑技術正確性,無法證明原有建議是否有用。行為證據有助找出介面原定用途與人們實際使用方式之間的缺口。

結果亦顯示指標措辭為何重要。卡片驅動訊息描述的是特定互動渠道。該渠道中的活動增加,並不自動證明成功對話總數更多、客戶留存更高,或收入增加。

有些使用者可能由輸入文字改為選擇卡片,另一些人則可能開始原本會放棄的對話。這些可能性有不同含義,而所報稱的標題數字未有將其區分。

更有力的產品評估,應把互動轉變連接到後續任務完成情況。使用者有否獲得有用答案?是否需要較少嘗試?他們是否因為這段體驗幫助完成有意義的事情而回來?

短暫的觀察窗口同樣重要。早期行為可以識別一項有前景的介入措施,卻不能確定其持久性。一項功能起初可以吸引注意,後來卻可能變得例行、無關,或令人分心。

實作邊界也是故事的一部分。保留自由輸入,維持了不符合卡片需要者的替代途徑;保留通用建議,則在缺乏相關背景時提供後備方案。

這些選擇說明,實作方案不能只有目標指標。它們亦需描述在首選路徑不適用時可接受的行為。否則,代理可以追求已量度互動的改善,卻在其他地方收窄體驗。

在此例中,理解 Amplitude Wave 如何運作的最佳方式,是證據引導的迭代。調查找出不匹配,方案處理該不匹配,實驗則測試具體的行為反應。每一步仍比自我改進軟件的雄心狹窄。

此案例支持進一步測試該工作流程。它並未證明自主產品決策能持續勝過經驗豐富的團隊,也未證明每個生成的機會都值得發佈。

模型選擇與人類審閱塑造工作流程

自動化產品工作流程需要可靠的交接,與有能力的模型同樣重要。

Amplitude 表示,不同任務會選用不同模型。在其調查員評估中,GPT‑6.1 Sol 獲得 5 分滿分中的 4.06 分。另一項數據科學評估中,其得分為 100 分中的 67.5 分,低於另一模型的 69.3 分。

這些結果應分開看待。調查評分準則與數據科學評估衡量的是不同工作。一項領先,並不能證明它在整個產品工作流程中都居於領先。

對買家而言,這項區分改變了評估問題。相關問題是,模型能否在可接受的營運流程內,把獲分派的任務完成得足夠好。一般排名所提供的指引,少於針對特定任務的證據。

調查錯誤可以向下游傳播。若代理誤讀問題,即使技術能力強的編程代理也可能忠實地實作錯誤回應。更佳的執行不會自動修正前提。

人手審核因此是系統設計的一部分。Amplitude 表示,團隊可控制自動化程度,較大型的變更會交由人手審核。這讓可接受的自主程度由對產品負責的組織決定。

公司早前於 6 月 10 日發布的 Wave architecture 介紹,提供了有用的歷史背景。文中描述了成熟程式碼庫中引用質素、主觀排序、環境設定及審核方面的問題。這些披露記錄的是較早期的限制,而非證明其目前的嚴重程度。

它們亦指出現時評估應檢視的失敗類型。過時的來源可能支持已不合時宜的建議;對已部署軟件理解不完整,則可能提出其實早已修正的方案。這兩類問題未必會在傳統的程式碼質素檢查中出現。

新應用程式與既有產品之間的分別尤其重要。現有軟件承載著架構決策、相容性要求和客戶期望。即使局部改動看似簡單,所提出的改進仍必須符合這些限制。

因此,Amplitude Wave 在生產環境中的運作方式,將取決於每項任務所附帶的背景資訊質素。審核者需要知道目前哪些內容已上線、哪些證據仍然有效,以及所提方案依賴哪些假設。

組織知識亦同樣如此。過往的決策往往能解釋,為何某項看似顯而易見的改動從未推出。若缺少這些理據,代理可能會反覆重新發現團隊早已基於正當理由否決的想法。

對於研究這個問題的團隊而言,可搜尋的工程知識庫 可提供有關如何讓技術決策保持易於存取的相關背景。取得資訊與獲授權據此行動,仍是兩項不同的責任。

最理想的工作流程,會因為證據和假設可供檢視而令審核更容易。它不應要求審核者僅因代理能迅速實作建議,便信任一項不透明的推薦。

客戶證據不只包括成功案例,也包括被否決的變更

實用的產品代理不僅要協助團隊推出有前景的構想,也必須協助團隊放棄薄弱的構想。

產品經理 Haley Eidem 於 11 月 9 日描述的一項 DigitalOcean onboarding experiment,提供了更全面的圖像。她的說法指出,團隊在六星期內、五個產品範疇中發現了 55 個機會。工程師實作了部分獲選的實驗,團隊其後審視結果。

其中一個付款方式橫額據報較對照組提升 3.3%,並達到該實驗設定的 80% 信心水平。另一項測試則在 Harness Runtime 登陸頁加入資訊,但結果不足以支持全面推出。

第二項結果之所以重要,是因為它把調查與確認區分開來。合理的假設未必能產生具說服力的結果。只要工作流程能協助團隊辨識這種失敗並避免繼續投入,它仍然具備價值。

所述的信心水平也應與正面結果一併考慮。統計信心描述的是在該實驗方法下的不確定性。當結果成為行銷案例時,公司的決策門檻不應被忽略。

這個客戶案例支持一項較狹窄、較可信的 Amplitude Wave 產品開發說法:它可以準備讓團隊調查、實作,有時亦會否決的工作。它並不表示系統發現的每個機會最終都會成為成功發布。

更廣泛的發布統計數字亦需要同樣審慎看待。OpenAI 表示,四分之一由客戶推出的實驗、功能旗標和指引可於同日部署。該分母包括已推出的工作,而非系統產生的所有機會。

這無法說明有多常出現建議停滯、被否決,或需要大幅修改的情況。隨附圖表亦在所提供的里程碑之間使用插值。其平滑曲線不應被視為逐一觀察到的發布紀錄。

競爭情況進一步突顯了檢視結果的必要性。Mixpanel 在其 8 月的 agent measurement 介紹中,描述如何利用重播分析改善自家的代理,亦說明為何單看原始互動數據不足以判斷成效。

Mixpanel 在 11 月發布的 agent analytics updates 延續了這個方向。其 Agent Intelligence beta 把對話活動與產品分析連結起來,其他更新則讓實驗結果和規劃更貼近既有報告。

這些產品功能是相關背景,但相關公告並未提供與 Wave 的受控比較。不同的產品描述與客戶案例,無法證明哪一家供應商能提供較佳建議或更持久的改進。

競爭壓力比競爭排名更清晰。分析供應商愈來愈需要說明其系統如何支援行動,並評估其後果。概述圖表與協助團隊決定是否發布變更,是不同層次的命題。

對企業買家而言,缺少的是對曾嘗試工作的一份完整交代。已審核的建議、被否決的實驗、被撤回的變更,以及持續的效益,全都會影響商業理據。只慶祝已推出的成功案例,會將不成功工作的成本排除在討論之外。

關注長期成果、完整流程與重複使用

下一批證據應說明,更快的決策是否能在日常工作中持續帶來客戶價值。

未來數月,首先值得關注的是對所述實驗的後續衡量。若增益能持續,並與有意義的成果相連,較長的觀察期會令論據更有力。若結果只限於最初的互動,則只支持較狹窄的詮釋。

以首頁案例而言,這代表需要超越建議選擇本身的證據。成功對話、重複使用及後續客戶行為,都有助說明個人化是否改善了體驗。若只看到輸入方式之間的轉移,這個問題仍然懸而未決。

同一標準亦適用於客戶案例。已發布的橫額可以改善某個可量度的步驟,卻未必能解決整個導覽流程問題。後續報告應保留這個區別,並展示目標改進在客戶旅程更後段是否仍然重要。

第二個訊號,是披露完整的機會流程。買家需要看到多少建議最終成為獲接納的調查、已實作的實驗,以及持續運行的發布。拒絕原因和修改所需的工作量,會令這些轉換更容易評估。

若可比較的變更持續以可管理的審核成本更快推進,更完整的報告會強化 1–2 日的估算。反之,若短時程只描述少量異常簡單的案例,則會削弱較廣泛的解讀。

這並不要求每項建議都成功。產品調查系統應產生有時會失敗的假設。問題在於,識別和測試這些假設時,是否能以較少組織投入作出更佳決策。

能迅速否決缺乏支持的構想的系統,可以節省寶貴時間。產生看似吸引、卻需要大量修正的方案的系統,則可能製造更多工作。若同時報告兩種結果,便可釐清哪一種模式較為主導。

第三個訊號,是初期採用期過後的重複使用。當團隊帶著新目標再次使用,並保留先前實驗的經驗教訓時,Amplitude Wave 的產品開發主張便更具說服力。若持續依賴供應商協助,則意味著另一種營運模式。

客戶案例應讓這個區別清晰可見。團隊在連續多次發布中獨立使用系統,會比孤立的示範提供更有力的證據。描述失敗、覆寫及審核做法改變的案例尤其有用。

競爭產品發布若提供可比較的證據,也應納入這項評估。另一項分析代理公告本身作用不大。若有文件化證據顯示決策質素、實作工作量或持續客戶成果有所改善,便更具意義。

Amplitude Wave 的故事指向分析工具更廣泛的角色:協助定義工作、把其理據帶入實作,並評估結果。現有證據比起自主改進的普遍承諾,更清楚支持有界限的產品迭代。

若你正評估這種做法,應要求一個完整的客戶案例,包括從未推出的建議。檢視原始證據、人手對方案作出的修改,以及初步測試後的結果。詢問仍需多少審核,以及哪些決策仍然需要產品專業知識。先將這些紀錄與你現有的流程比較,再擴大系統的權限。有用的問題是:你的團隊是否能以較少重複工作,作出有更多證據支持的決策。這個標準容許更快的編碼、被否決的假設,以及審慎的人手判斷。從結果足夠清晰、可以量度的產品範疇開始,然後要求證據證明改進能夠持續。

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page