top of page

GS Caltex MLOps 將 Canvas 模型投入生產環境

20 分鐘前
讀畢需時 12 分鐘

GS Caltex 表示,透過自動化其工程團隊之間的交接流程,已將模型部署時間由約一星期縮短至數小時。GS Caltex 的 MLOps 做法將視覺化建模服務 Amazon SageMaker Canvas 與生產工作流程連接起來。MLOps 是指用於部署、營運及維護機器學習系統的實務方法。

這份於 11 月 13 日發布的客戶案例說明了互補的職責分工。流程工程師毋須編寫程式碼即可開發及驗證模型;機器學習工程師則負責管理模型在生產環境中的執行。該公司表示每 30 分鐘進行一次批次推論,即按預定間隔對一組紀錄運行預測。

當中的張力,在於易於使用的模型開發與可靠的營運之間。一個有用的模型仍需要一條可重複運作的途徑進入生產環境。Google Cloud 在其工程指引中也作出類似區分:建立預測模型與營運整合系統,是兩項不同的挑戰。對企業買家而言,問題在於較容易的實驗是否同時減少交付工作量。

GS Caltex MLOps 聚焦生產交接

AWS 所描述的生產交接會重用已驗證的預處理流程及已訓練模型。預處理是指將原始資料轉換為模型所預期的輸入。ML 工程師會設定生產資料位置、推論設定、審批及執行方式。

據報的改善在於進入營運階段的轉換,而非新的建模演算法。

這個區分改變了讀者評估該公告的方式。較佳的預測準確度會引發有關評估資料集及與其他模型比較的問題。較快的部署則會引發有關可重複性、責任歸屬,以及計量所涵蓋工作內容的問題。

以一個說明性的工業預測項目為例。流程專家識別出有用的量度數據,測試模型,並判斷其預測是否可支援營運決策。在生產工程師接手任何內容之前,這項判斷已代表了有價值的工作。

手動交接可能迫使接手的工程師重新建構這些工作。他們需要理解哪些資料轉換重要,以及哪些設定只屬於實驗用途。每一項未記錄的假設,都會帶來另一個需要釐清或重新實作的機會。

自動化的商業吸引力,在於減少這種重新建構的工作。可重用的交接機制可為生產工程師提供較一致的起點。他們的注意力可轉向真正需要判斷的差異。

這亦說明,評估無程式碼開發不應只看其介面。視覺化工具可令實驗更易接觸,但部署所需的人力可能大致不變。買家需要證據證明,產生的資產在原始開發工作階段結束後仍然可用。

因此,相關的進展單位是一個可由另一支團隊營運的模型。已儲存的實驗固然有價值,但與定期運行的生產工作流程相比,它承擔不同責任。後者需要擁有人、預期輸出,以及執行失敗時的既定應對方式。

單靠部署速度無法證明這些責任已獲履行。不過,它可揭示團隊之間原本昂貴的邊界。如果這個邊界變得可重複,組織便有更清晰的基礎決定哪些模型值得更廣泛使用。

這對負責將成功實驗轉化為服務的平台團隊構成壓力。當共通的交接元素可標準化時,為每個項目重新建立類似整合就更難合理化。

這也改變了與業務團隊的對話。與其只問模型表現是否良好,他們可以問在大家能依賴它之前還欠甚麼。這個問題讓營運要求更早進入討論。

更廣泛的意義很實際。當生產團隊毋須從頭再做一次項目便能接收其輸出時,易於使用的開發方式便能帶來更多價值。

無程式碼開發改變工程排隊情況

較容易建立模型,會令生產能力成為更顯眼的限制。

直接的壓力落在接收已驗證模型的團隊身上。如果更多專家能建立有用的實驗,即使每個實驗所需工作較少,生產排隊仍可能增加。開發生產力與交付能力是兩項不同的指標。

這是一項組織層面的含意,而非關於 GS Caltex 積壓工作量的主張。它源自工作分工。消除早期階段的阻力,並不會自動消除下游的限制。

對流程工程師而言,挑戰是傳達營運意圖。一項預測需要決策情境:誰會使用它、它需要多新,以及不可用時會怎樣。模型評估不會自動回答這些問題。

對 ML 工程師而言,挑戰是透過一致的介面接收該意圖。他們需要足夠資訊以營運模型,同時保留專家已驗證的選擇。非正式地交換檔案,無法有力取代明確協議。

對管理人員而言,挑戰是區分產出能力與活動量。更多實驗可反映興趣,卻未能證明業務價值。更多部署可反映交付能力,卻未能證明其持續有用。

當組織選擇成功指標時,這些區分非常重要。計算已建立模型的數目,獎勵的是實驗;計算已部署模型的數目,獎勵的是交付。單靠任何一項指標,都無法反映預測是否仍然與使用者相關。

因此,SageMaker Canvas 的生產問題不止於模型能否離開視覺化環境。它關乎接收團隊能否理解、驗證及維護所產生的工作流程。

AWS 文件已描述 Canvas 內的自動批次預測。已設定的預測可在所選資料集更新時運行。因此,外部編排應按實際營運要求來評估。

該要求可能涉及協調相依項目、整合審批控制,或管理跨系統的輸出交付。這些是潛在採用者的評估問題,而非證明每位 Canvas 使用者都需要獨立生產架構的證據。

工作流程範圍有限的小型團隊,可能重視較少的活動環節。大型組織則可能優先考慮跨項目的一致控制。正確選擇取決於模型周邊的責任。

同樣的推理適用於人手配置。將重複的整合工作自動化,並不代表不再需要專業工程人員。它改變的是這些工程工作應投放在哪裏。

少花時間重新建構實驗的團隊,可以花更多時間測試營運行為。這包括決定失敗是否應阻止下游使用,以及復原期間舊有預測是否仍可接受。

知識轉移亦成為交付能力的一部分。一個可搜尋的工程知識庫可在技術紀錄旁保存決策及營運情境。當原始開發人員無法提供協助時,它可支援延續性。

組織層面的測試是,另一位合資格人士能否為該工作流程承擔責任。如果擁有權永久依賴其建立者,交接便仍未完成。

可重用資產需要生產協議

Amazon SageMaker Pipelines 協調機器學習工作及其相依項目。其文件所述的工作流程編排功能包括執行歷史及版本追蹤。

當團隊就甚麼會跨越開發邊界達成共識時,自動化才會變得有用。

這份協議需要描述的不只是模型檔案。模型代表輸入與輸出之間已學習的關係。要讓這種關係繼續有用,生產系統必須保留這些輸入的含義。

例如,數值量度需要有明確的單位;分類項目需要有明確的表示方式;缺失值需要有一致的解讀。即使建模介面隱藏了其實作細節,這些仍是基本的語義要求。

生產協議應讓這類假設可供檢視。否則,工程師可以產生技術上有效、但含義錯誤的輸入。即使成功執行,對預測品質也難以帶來多少保障。

保留行為與複製設定之間的區分尤其重要。開發設定描述的是特定環境;生產設定必須支援不同的營運情境,同時不能改變已驗證的計算方式。

這為審查建立了有用的界線。團隊應能識別哪些變更影響基礎設施,哪些變更影響模型行為。將所有設定修改視為等同,會令這種審查更困難。

審批又增加了一層。Amazon SageMaker Model Registry支援模型版本、相關中繼資料、譜系及審批狀態。這些功能提供部署流程可使用的紀錄。

工程問題在於這些紀錄如何影響實際執行。審批決定只有在發布流程遵從它時,才具有實際價值。清晰的政策必須將審查者的決定與實際運行的設定連結起來。

版本識別同樣重要。當使用者質疑某項預測時,營運人員需要確認是哪個版本產生該預測。只根據目前所選模型作答,可能會掩蓋較早前實際發生的情況。

這正是可重現性成為營運議題的地方。可重現性是指可根據相關輸入及設定重新建立結果的能力。當業務使用者報告意外結果時,它可支援調查。

另一種情況是反覆解讀。工程師檢查資料夾、比較筆記,並詢問同事哪些設定當時處於啟用狀態。這些工作恰恰在使用者需要可靠說明時耗費時間。

因此,SageMaker Canvas 生產工作流程應被視為人與人之間的協議,同時也是服務與服務之間的連接。技術整合負責移動資產;協議則決定這些資產的含義,以及誰承擔責任。

模型審查與營運審查亦有不同目的。前者問的是預測是否有用;後者問的是周邊系統在日常運作及故障時是否表現可接受。

將這兩類審查合併成未定義的審批步驟,可能掩蓋尚未解決的問題。分開其目的可令責任歸屬更清晰,而毋須採用特定的組織結構。

核心啟示是,可重用性取決於意義能否被保留。搬移相同檔案只是這項工作的一部分。

批次推論以即時性換取排程工作

AWS 將 Batch Transform 描述為適合不需要持續運作端點的預測選項。端點是應用程式用來呼叫預測功能的已部署介面。

SageMaker 批次推論會改變交付時間安排,進而改變工作負載的經濟效益與實用性。

當使用者會根據累積資訊採取行動時,定期執行批次工作可能是合理配對。定期進行的審核流程,未必能從持續可用的預測容量中獲益。

這是工作負載的決策,而不是對部署方式的排名。服務即時請求的應用程式,與排程進行的營運審核有不同要求。兩者都可使用機器學習,但需要不同的交付安排。

關鍵問題是,預測在失去價值前可以滯後多久。要回答這個問題,必須了解模型支援的是甚麼決策。基礎設施偏好應配合這項要求。

排程執行亦會引入等待時間。新的資料可能在工作開始後才抵達,並要到下一次執行才會被處理。額外的處理時間,會拉開資訊到達與預測結果可用之間的距離。

因此,應分開評估排程頻率與結果的新鮮度。頻密觸發並不代表使用者能及時收到輸出結果。決定結果是否及時的,是由資料可用到被使用的完整路徑。

成本比較同樣需要這種嚴謹態度。團隊應比較各種架構下交付可接受結果所需的資源。若只看預測計算本身,便會忽略周邊工作。

資料準備、工作啟動、輸出處理、儲存及調查,都應納入評估。其中一些是基礎設施成本,另一些則會佔用工程時間。兩者都會影響設計是否值得採用。

這並不代表批次處理沒有吸引力,而是令比較更具參考價值。存在大量閒置時段的工作負載,應與持續接收互動式需求的工作負載採用不同分析方式。

SageMaker 批次推論亦會改變團隊對服務期望的看法。使用者或許較不在意即時回應,而更在意預期結果會否在決策截止時間前送達。

這項分別應影響監察方式。一項工作即使成功完成,所交付的資訊仍可能太遲,無法用於原定用途。技術完成與營運實用性彼此相關,但不能互相替代。

同一問題亦會在復原期間出現。重新處理延遲資料,可能恢復歷史紀錄,卻無助於已錯過的決策。團隊必須了解哪種結果才真正重要。

對採購方而言,這帶來一個比「批次是否較便宜」更好的採購問題:建議的執行模式,能否以可接受的營運成本滿足決策截止時間?

對工程師而言,這帶來一個比「管道可以多頻密啟動」更好的設計問題:當工作延遲到達,或上一次執行尚未完成時,系統會如何運作?

報道中的 GS Caltex MLOps 結果,令排程預測值得深入檢視。但這並不證明它普遍優於持續可用的服務方式。

有用的比較仍然必須具體:針對相同業務要求,在完整營運流程中進行衡量。

更快部署仍存在重要證據缺口

較短的部署流程,並不能證明預測品質、營運可靠性,或普遍的成本下降。

公開資料報告了顯著的推論節省,卻未提供量化成本比較。其結果應被視為客戶經驗,而非獨立基準測試。

這為潛在採用者留下幾個不同問題。哪些工作計入部署時間?量度開始前完成了哪些準備?例行發佈與不熟悉模型之間存在多少差異?

若沒有一致定義,比較可能會產生誤導。一個團隊可能量度設定工作,另一個則把審批延誤和營運測試計入其中。兩者都可報告部署時間,但所描述的是不同流程。

這不會否定客戶所報告的改善,但會限制其他機構把該改善轉化為預測時可抱持的信心。採購方需要可比較的界線,才可將個案研究轉化為預期結果。

可靠性需要不同證據。流程即使在驗證時成功,仍需要在延遲輸入、相依服務不可用及非預期資料等情況下接受檢視。這些狀況測試的是周邊系統,而非模型的離線評估。

輸出結果的可信度尤其值得注意。預測必須持續與正確的來源紀錄及決策情境相關聯。看似合理的輸出,可能比明顯失敗的執行更難察覺問題。

對於潛在部署而言,這意味著應測試被拒絕或不完整資料所造成的後果。團隊應了解使用者會收到部分結果、較舊結果,還是完全沒有結果。每種行為都會產生不同責任。

撤回審批是另一項有用的壓力測試。若審核者決定模型不應再執行,營運人員需要可靠方法把這項決定轉化為行動。管治必須延伸至記錄決定以外。

Google Cloud 的 MLOps architecture 提供了相關行業背景。其指引將生產環境中的機器學習視為一套系統,需要模型程式碼以外的自動化與監察。

這反映的是對工程問題的一致看法,而不是直接比較客戶成果。現有證據並不能證明 GS Caltex 的實作優於可比較的 Google Cloud 部署。

更有用的對比在於營運方式。手動重建的發佈依賴反覆的個人判斷;標準化發佈則依賴經維護的定義、驗證與控制。

兩種方式都無法消除判斷。標準化只是把判斷轉移至可重用規則與明確例外情況中。當假設改變時,這些規則仍需要維護。

有用的預測與自動化控制之間亦存在分別。讀者不應推斷排程模型輸出會獨立指揮工業設備。所描述的部署改善並不能證明這項更廣泛的說法。

對企業決策者而言,合適的回應是聚焦審視。應要求與建議工作負載相關的證據,而不是接受有關 AI 民主化或自動具備生產就緒能力的廣泛承諾。

可信的實作應令這些問題更容易回答。它應清楚揭示假設與營運行為,讓另一個團隊能夠評估。

因此,證據缺口是採購與工程上的考量,而不是否定所報告經驗的理由。

初步交接後應留意甚麼

最有力的後續證據,將顯示可重用性可經得起擴展、重複運作及擁有權變更。

第一個訊號是承諾推出的後續報告所提供的遷移證據。AWS 表示,第二部分將探討如何使用其受管基礎模型服務 Amazon Bedrock,協助把現有模型遷移至該管道。

值得留意的細節,是哪些內容仍須經人工審核。有價值的後續報告應區分由系統生成的整合工作與已驗證的行為。當團隊仍能解釋及驗證最終工作流程時,減少手動編輯才最具意義。

這些證據將加強可重複交接的論點。若每個遷移模型仍需大量重建,其好處看來便會更依賴個別專案特性。

第二個訊號是來自定期執行的營運證據。部署時間量度的是生產責任的起點;執行時間、延誤、失敗工作及復原行為,則會顯示之後的情況。

特別有用的報道,會把這些觀察與業務截止時間連結。讀者需要知道預測是否在使用者需要時送達。技術上成功的執行,若在決策窗口關閉後才完成,價值便有限。

完整工作流程的成本量度可補充背景。它們有助分辨因減少閒置容量而節省的成本,以及準備和交付每項結果所需的資源。

第三個訊號是原有實作團隊以外的採用情況。當另一個團隊可以接受同一份營運協議,而毋須依賴其作者時,可重用性便更具說服力。

這不只是要求更大的模型數量。擴展除了增加使用量,亦可能增加維護責任。更有力的證據會顯示團隊如何管理例外情況、擁有權變更及不同資料要求。

未來數月提供的是有用的觀察窗口,而非承諾的報告時間表。讀者應留意已公開的證據,而不是假設這些量度必定會出現。

對平台採購方而言,較廣泛的含意很清楚:評估無程式碼工具時,應連同它們帶來的生產責任一併考慮。流暢的建模體驗只是採購決定的一部分。

對工程領導者而言,這個個案把焦點放在一個可處理的摩擦來源。已驗證實驗與營運工作流程之間反覆轉譯的工作,值得被量度。即使模型開發變得容易,這項工作仍可能成本高昂。

GS Caltex MLOps 為這項討論提供了一個具體起點。其報告的改善,令交接成為一個獨立而可量度後果的工程問題。

在套用這項啟示前,先檢視一個貴機構已信任的模型。找出另一位工程師在毋須重建其歷史的情況下,操作它所需的資料。將該套資料與發佈流程實際保留的資訊作比較。然後評估整條交付路徑,包括驗證、決策截止時間、故障處理及擁有權。把模型的實用性與其開發介面的便利性分開看待。把所報告的部署收益視為調查自身瓶頸的理由,而不是承諾的結果。現時交接流程中,哪一部分需要反覆詮釋?而甚麼證據可顯示自動化已將其消除?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page