top of page

Google 擴展 BigQuery 代理可觀測性

20 分鐘前
讀畢需時 12 分鐘

Google 於 11 月 13 日擴展 BigQuery 代理可觀測性,令生產環境監控更貼近企業資料,同時保留對擷取對話內容的審慎限制。公告涵蓋 Google 的資料代理、Looker 的對話介面,以及已加入監測功能的自訂代理。當中的核心取捨相當實際:更深入的檢視會產生更多需要管治的資訊,而私隱保護亦可能令調查人員只取得不完整的記錄。

對資料及平台團隊而言,這改變了有關生產環境的討論。一個回答業務問題的代理,現在需要有營運負責人能夠解釋故障、資源消耗及缺失的證據。一個可正常運作的聊天介面,並不代表其底層服務已準備好供更廣泛使用。

Amazon 的 AgentCore 已為生產環境代理監控提供另一個參考點。Google 的做法則著重將代理記錄帶入其分析型資料倉庫 BigQuery。重要的選擇在於,機構應收集多少診斷細節,以及誰應獲准檢視這些資料。

BigQuery 代理可觀測性擴展至整個資料堆疊

Google 的代理可觀測性框架連接其資料產品中的監控、對話記錄及評估。可觀測性是指收集證據,協助營運人員了解系統行為。在此,該公司希望這些證據可與企業資料團隊日常分析的資料一同使用。

據 Google 表示,受管理的對話記錄、BigQuery 監控儀表板及 Looker System Activity 儀表板現已全面推出。Looker 的回應及意見回饋審查功能仍處於預覽階段。原生第一方代理評估功能亦仍在預覽,將生產環境監控公告與仍在進行產品開發的功能區分開來。

這項擴展為團隊帶來更連貫的營運視角,但各項功能在整個堆疊中的可用性仍有差異。

這項分別影響企業如何理解這次發布。已全面推出的儀表板可支援既定的營運流程。預覽中的審查功能則需要另行判斷其成熟度是否符合機構需要。若將兩者視為同樣成熟,便會掩蓋公告中一個重要部分。

更廣泛的轉變關乎責任落在何處。當代理成為業務報告的一部分,其行為便不只影響開發團隊。資料擁有人需要了解哪些資訊支撐答案。營運團隊需要調查延誤。業務負責人需要證據,證明員工獲得有用的結果。

將這些問題放到更接近分析環境的位置,為共同審查創造機會。同時,這亦令資料平台需要承擔另一類敏感營運資訊的責任。對話記錄應被視為業務記錄而非附帶的除錯輸出,並獲得應有關注。

舉例來說,設想一名銷售分析師詢問為何某個地區的預測出現變動。即使代理誤解了業務定義,最終回應看起來仍可能合理。調查需要分辨這是答案質素問題、資料存取問題,還是底層操作緩慢的問題。

這次發布並不代表這些區分會自動完成。它只是建立了一個更廣泛的位置,用以收集及檢視相關證據。分析工作仍取決於可取得的記錄,以及審查人員帶入其中的業務期望。

這正是為何此公告的意義不止於又一次儀表板發布。Google 正令代理營運成為資料平台更明確關注的事項。採用此模式的企業必須決定,營運審查如何融入既有的資料擁有權、存取管理及事故處理流程。

即時影響在於組織層面。團隊不能再把代理的對話介面視為整個產品。其監控範圍、審查流程及證據保留安排,都會成為員工所依賴服務的一部分。

私隱保護改變調查人員可見的內容

Google 將彙總營運資訊與更豐富的對話內容分開。遙測資料,即系統運行時輸出的量度資料,可顯示活動情況,而無需保留每次互動的所有細節。這種分隔建立了不同層級的可見度,而非一份涵蓋代理所有行為的完整通用記錄。

對話記錄文件說明了可選擇記錄的內容,包括問題、答案、時間及模型使用情況。文件亦列明未有收錄的內容:底層 SQL、資料庫查詢語言及詳細工具呼叫通常不會出現。不過,如 SQL 被包含在答案中,仍可能會出現。

在記錄一次互動前,服務會檢查來源保護措施。行級存取限制、欄位政策標籤或動態遮罩均可能阻止記錄。如檢查無法確認允許記錄,系統便會略過該記錄。即使記錄失敗,聊天功能仍會繼續運作。

代理可以成功作答,同時為日後審查留下不完整的對話歷史。

這種行為帶來一項重要的詮釋限制。缺少記錄不能證明沒有發生過互動。同樣地,它亦不能證明存在不當行為或產品故障。調查人員在根據缺乏證據作出結論前,必須了解資料收集政策。

這項保護至關重要,因為提示本身可能包含機密資料。使用者可能在代理擷取任何資料前,提及客戶、尚未公布的項目,或內部假設。記錄對話會創造另一個需要妥善處理該等資訊的位置。

實際上的張力在於有用的診斷與合理的收集之間。私隱審查人員可以合理地反對廣泛保留逐字記錄。工程師亦可以合理地需要更多背景,以調查具爭議的答案。產品提供了收集邊界,但機構必須決定如何平衡這些相互競爭的需要。

設想一個連接受限制業務資料的財務助理。使用者在報告週期期間質疑其答案。如私隱保護阻止了逐字記錄被擷取,支援團隊便不應承諾可從對話記錄完整重建事件。

團隊需要另一條應對途徑。這可能包括由使用者提供示例、經核准的重現程序,或使用其他獲授權證據進行調查。合適的選擇取決於所涉及的資訊及機構規則。

另一項相關風險涉及誰可存取確實存在的記錄。獲授權維護代理的人員,不一定需要不受限制地存取每名員工的所有提問。營運責任與對話可見度需要經過審慎對齊。

這正是管治變得具體的地方。它意味著決定收集甚麼證據、其有用性可維持多久,以及誰可為何種目的使用它。受存取控制的資料表提供了作出這些決定的機制,但不會自動替人作出決定。

因此,對 Google 私隱設計最有力的解讀是有限度的。它讓企業能在維持服務連續性的同時限制收集。它亦要求企業接受,某些事故將會較難重建。

自訂代理帶來更深入的追蹤及獨立責任

Google 的代理分析文件說明了 Agent Development Kit(Google 的代理框架)及 LangGraph(用於具狀態代理工作流程的框架)的整合方式。文件所述的 LangGraph 整合標示為預覽版。

自訂應用程式需要加入監測功能,即擷取活動並傳送結構化事件供分析的程式碼。Google 文件列出框架整合及直接擷取路徑。它亦將記錄整合與其分析軟件區分,後者負責讀取及評估所產生的記錄。

這些記錄可包括請求、回應、工具呼叫及錯誤。追蹤記錄,即一份連接執行步驟的記錄,可揭示工作流程在何處改變方向。這種更深入的證據有別於透過受管理對話記錄所擷取的較有限內容。

共用同一目的地,並不代表受管理代理記錄與自訂代理追蹤記錄在細節程度或收集安全性上完全相同。

當企業聽到「統一可見度」時,這項差異尤其重要。共用的分析環境可令記錄更容易一併檢視,但不代表每個代理都會輸出等同的證據,亦不代表每項實作均遵循同一私隱政策。

自訂工作流程可能在查詢資料庫前先呼叫內部搜尋服務。其工具參數可能包含客戶識別碼或機密搜尋字詞。擷取這些參數有助解釋工作流程,但亦擴大監控系統所持有的資訊範圍。

這令監測功能成為一項資料處理決定。工程團隊需要了解每個被擷取欄位的內容。保安及私隱審查人員需要足夠背景,以判斷這些欄位是否應存在於目的地中。

從開發者角度來看,情況很直接:不完整的追蹤記錄令故障難以診斷。若工作流程產生不良答案,了解哪個工具傳回意料之外的結果,有助縮窄調查範圍。因此,更豐富的記錄可減少對調查起點的不確定性。

管治角度同樣合理。更完整的執行記錄可能會在原始應用程式邊界以外重現敏感資訊。機構必須為這個副本負責,包括能夠檢視它的人員及服務。

這兩種觀點均不代表最大程度的收集是正確預設。合適的細節程度取決於工作流程、其敏感性,以及營運人員需要回答的問題。公開資訊助理與內部人事助理面對的是不同的收集問題。

這亦影響代理之間的比較。擁有詳細工具記錄的自訂應用程式,可能看起來比刻意限制記錄的受管理代理更易調查。這項差異反映的不只是應用程式行為,亦包括收集設計。

因此,審查人員應把表面上的可見度視為整個實作的屬性。當中包括應用程式、監測功能、目的地權限及分析流程。沒有任何單一儀表板可以取代對這些部分的理解。

對維護多種代理框架的機構而言,這項公告提供一種方法,讓營運分析更集中地進行。餘下的工作是確立哪些結論在內容及收集規則不同的記錄之間仍然有效。

資源消耗儀表板不能取代支出控制

BigQuery 代理可觀測性亦令資源消耗成為營運討論的一部分。Token,即模型閱讀及生成文字時處理的單位,代表其中一種使用量來源。當代理執行查詢以回答問題時,資料庫運算則帶來另一項關注。

Google 的 agent cost controls 包括對個別查詢掃描位元組數的限制。Agent 會在執行前估算查詢的掃描量,並拒絕超出已設定界線的工作。文件所述的控制措施適用於隨用隨付計費模式,至於以預留資源為基礎的工作負載則有其限制。

同一份文件亦說明專案及使用者配額,並建議在適當情況下,把成本高昂的 agent 隔離於專屬專案中。文件亦指出,這些 BigQuery 查詢配額不會提供個別 agent 的配額;這是與較廣泛的 token 控制公告之間一項重要分別。

使用量圖表可解釋資源消耗;強制執行的界線則決定是否容許額外工作繼續進行。

這項分別改變了財務及平台團隊對監察應有的預期。儀表板可以揭示某個應用程式的營運成本是否上升,卻無法收回已消耗的資源,也不能判定這些消耗是否帶來值得的成果。

因此,有意義的成本討論需要以成果為依歸。一個解答困難業務問題的答案,可能比簡單查詢更值得投入額外資源。反過來說,簡短回覆也可能依賴不必要的資料庫活動。單憑回覆長度,幾乎不足以作出判斷。

以一個假設的分析員工作流程來看,這項挑戰會更清晰。員工要求比較不同業務期間,agent 卻選用了過於寬泛的查詢,然後在後續追問後修訂答案。審閱者需要理解,額外工作是否真的改善了結果。

消費界線可阻止規模過大的查詢,但被阻擋的請求會帶來另一個營運問題:使用者會否收到有助復原的解釋?還是 assistant 會反覆嘗試環境必然拒絕的工作?

這次發布應促使團隊一併評估這些行為。一個經常無法完成合理任務的受限 agent,未必就代表運作良好;一個雖能成功回應、卻消耗不必要資源的 agent,則帶來另一種問題。

預算責任亦需要有明確歸屬。若多個群組共用同一應用程式,平台團隊可能只看見整體消耗,卻不了解哪一個工作流程正在創造價值。業務負責人需要參與解讀這些量度結果。

這會促使組織建立更清晰的應用程式界線,並進行更具意義的審閱。組織需要知道誰可授權變更、誰負責調查意外使用量,以及誰承擔收緊限制所帶來的影響。

尚未解決的問題,是在真實情況下的經濟效益。Google 提供了可見性及控制機制,但公告並未證實營運成本必然普遍下降。任何聲稱的改善,都需要特定工作負載的證據,包括其答案品質及失敗行為。

Looker 將採用訊號連結至較慢的審閱週期

Looker agent monitoring 令討論更貼近使用對話式商業分析的人員。其 Conversational Analytics dashboards 整理參與度及 token 使用量。文件指出,該儀表板每 24 小時更新一次。

回應及意見回饋資訊,取決於是否啟用相關的預覽功能。資料收集會在啟用該功能後開始。這些細節會影響管理員可作出的歷史比較,以及介面反映活動變化的速度。

Looker 的使用量檢視可支援採用情況審閱,但不應被誤當成即時事故偵測工具或答案品質的證明。

這使不同介面承擔不同工作。審閱使用趨勢的業務負責人,需要了解員工是否會再次使用 assistant;調查當前故障的營運人員,則需要適合該事故的證據。把這些需要視為可互換,容易導致回應延誤或不完整。

競爭環境進一步突顯這項分別。Amazon 對 AgentCore observability 的文件,聚焦於追蹤、營運指標及稽核記錄。其儀表板使用 AWS 的監察服務 CloudWatch,而其遙測支援共同的儀器化標準 OpenTelemetry。

這項比較呈現另一種營運環境,並非證明任何一間供應商表現更佳。Google 的公告並未證實其調查時間較短,或答案準確度優於 Amazon 的做法。相關選擇部分取決於團隊現時在哪裏管理其生產系統。

對現有 Looker 使用者而言,吸引之處在於它貼近既有的分析工作。管理員可以在與報表使用量相同的組織情境中討論 assistant 的採用情況。只要參與者理解量度結果的意義,這可令業務審閱更容易協調。

單靠參與度仍然含糊不清。重複提問可能代表有用的探索,也可能反映困惑或不理想的答案。在有人將對話次數增長標示為生產力改善前,仍需要先作解讀。

Token 消耗亦有類似限制。變化可能反映不同問題、較長回覆,或應用程式行為的改變。缺乏背景下,這個指標描述活動的可靠程度,高於描述價值的可靠程度。

因此,業務定義與營運記錄同樣值得重視。一個答案即使無錯誤地執行,仍可能建基於對收入、留存率或其他公司指標的錯誤理解。基礎設施健康狀況無法解決這種分歧。

對於記錄這些定義的團隊而言,可搜尋的知識庫 可保留審閱者所需的背景。這類知識與生產記錄互為補充:它解釋預期,而非證明某次互動期間實際發生的事情。

其組織層面的結果,是需要更廣泛的審閱群組。開發人員理解執行方式;資料專家理解業務含義;應用程式負責人理解使用者期望。當這些觀點共同引導同一決策,而非各自產生對儀表板的不同解讀時,Looker 的可見性最具價值。

留意涵蓋範圍、控制行為及評估成熟度

BigQuery agent observability 的下一階段,值得根據具體證據審視,而非泛泛而談企業就緒程度。Google 已描述一個更互連的營運模式;其效用現在取決於團隊能否清楚理解涵蓋範圍、執行界線及評估變更。

最有力的證據,會把已記錄的活動連結至可靠的營運決策,包括在記錄不完整時作出的決策。

第一個訊號,是關於記錄涵蓋範圍的更佳證據。未來數月,應留意文件及營運案例如何展示團隊區分預期的收集缺口與意外故障。這很重要,因為看似令人安心的儀表板,可能掩蓋其代表內容的不確定性。

一個具說服力的案例,會說明哪些互動符合記錄資格,以及審閱者如何處理不符合資格的互動。它亦應展示,當預期記錄未有出現時,組織會如何回應。清晰的涵蓋證據,會加強在日常審閱中使用這些資料的理據。

持續的模糊性則會削弱該理據。若團隊無法解釋記錄為何缺失,便無法可靠地解讀從現有對話得出的趨勢。更多資料也無法消除對被量度群體的不確定性。

第二個訊號,是消費控制在合理工作期間的行為。應留意有關被阻擋查詢、復原路徑,以及資源限制與成功完成任務之關係的實際案例。這些例子比單獨查看消耗圖表更重要。

若有證據顯示員工可以從被阻擋的請求中復原,將強化營運層面的論據;若證據顯示反覆遭拒、無法解釋的失敗,或消耗被轉移,則會揭示實作上的限制。無論結果如何,都應連同最終答案的實用性一併評估。

第三個訊號,是評估成熟度。評估是指根據既定期望測試行為,而不只是觀察系統曾經運行。應留意預覽功能的發展,以及把發布前測試與生產結果連結起來的證據。

一個有用的案例,會展示團隊如何在讓使用者接觸前,捕捉到變更後出現的回歸問題,即非預期的表現下降。它應說明預期行為,以及測試識別出的失敗。這將令測試與監察之間的關係更具體。

較弱的案例,則只會報告一個正面分數,卻未解釋任務或其對使用者的相關性。整體分數無法解決對業務含義的分歧,也不能證實測試涵蓋了導致高成本生產故障的情況。

這些訊號讓公告維持適當比例。Google 擴展了可用於營運資料 agent 的工具,但這次發布並未消除判斷所需的工作:決定哪些記錄已足夠、哪些限制可接受,以及哪些答案值得信任。

在擴大 agent 的受眾前,要求其負責人解釋一個失敗答案、一項缺失記錄及一個被阻擋請求。每個例子都應指出現有證據、其限制,以及負責下一步行動的人。保留解讀未來事故所需的業務定義及營運決策。利用該審閱判斷服務能否支援員工實際需要的工作。Google agent evaluation 及 Looker agent monitoring 可為這項決策提供參考,但責任仍在營運該應用程式的組織身上。實際問題是:當儀表板未包含完整故事時,你的團隊能否作出站得住腳的決策。

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page