Accenture 報告 Bedrock 成本優化成果
Accenture 在 AWS 於 2026 年 11 月 19 日發表的文章中表示,已在四項客戶合作中降低詞元開支,其中一家企業的開支減幅達 85%。Bedrock 成本優化的發現,挑戰了一項常見採購假設:單靠較低的詞元價格,就能持續令擴大的 AI 工作負載保持可負擔。詞元是模型處理及生成的單位,只是整體計算的一部分。
該報告描述的是既有優化技術,而非 Amazon Bedrock 的新功能推出。其核心論點關乎推行次序:先建立責任歸屬及量度機制,採用較簡單的改動,然後才考慮架構調整及訓練投資。報告中最大的減幅涉及多項措施同步實施,因此無法分拆各自的貢獻。
對企業買家而言,壓力落在應用程式如何消耗智能能力。Google Cloud 亦為重複內容提供快取,反映這些能力正逐漸成為共享基礎設施。較棘手的問題是,團隊能否在維持品質、回應時間及適當管控的同時,降低完成有效工作所需的成本。
Bedrock 成本優化在四個客戶案例中接受測試
這項消息是 Accenture 對生產環境成果的說法,而這些成果所能證明的內容存在重要限制。
雙方共同撰寫的詞元優化發現描述了涵蓋電訊、保險、採礦及一家大型企業的合作項目。Accenture 基於保密理由未有披露客戶名稱。文章呈現針對特定工作負載的結果,並無獨立審計,亦未披露足夠細節讓人重現每項結果。
就該大型企業而言,Accenture 表示,在調整模型選擇、為重複內容使用快取,以及採用批次處理後,每月詞元成本下降 85%。約 15% 的工作仍需要能力最強的模型。由於這些改動同期實施,報告未有分離其個別節省成效。
該電訊合作項目結合請求路由、回應重用及內容壓縮。Accenture 報告指,輸入詞元減少 70%,年度詞元開支減少 68%。該公司表示,輸出品質已按營運商先前的效能基準核對。
其他合作項目採用了不同的快取層。保險公司重用重複的提示詞前綴,而採礦營運商則重用對相似請求的已儲存答案。報告描述這些合作項目合共節省約 40%,但未有證實每名客戶各自均達到 40% 的成果。
這些差異在企業評估醒目數字時十分重要。一個已使用較小型模型及重複內容快取的機構,起點與將所有請求發送至最大模型的機構不同。因此,同一項措施所餘下的優化空間亦不同。
這些發現支持的結論,比普遍節省承諾更為有限。部分應用程式存在可避免的重複、過於昂貴的模型選擇,以及毋須即時執行的工作。Accenture 的例子顯示,這些模式值得調查,而非為每個部署提供預測。
它們亦改變了採購討論。比較模型單位價格的買家,需要檢視周邊應用程式。若較便宜的模型需要更多嘗試、較長提示詞或額外審核,便不會自動帶來較低的已完成工作成本。
這令實施決策與採購決策並列。相關比較應是現有工作流程,與另一個符合相同業務要求的方案相比。若沒有這個共同基線,大幅百分比減幅可能掩蓋了工作負載、可接受品質或服務期望的改變。
詞元價格下跌令工作流程負責人承受壓力
應用程式負責人面對的壓力,是解釋 AI 開支產生甚麼成果,而不只是由哪個模型接收。
AI 代理是指為達成目標而選擇行動及調用工具的軟件,它可以在一次任務中提出多個模型請求。每個額外步驟都可能攜帶指示、文件、對話記錄及中間結果。較低的處理價格並不會消除重複傳送這些資料的成本。
在成為模型選擇問題之前,這已構成管理問題。財務團隊需要具問責性的開支類別,產品團隊則需要了解成功成果。工程團隊需要足夠的請求細節,把兩者連結起來,而不把每次調用都視為獨立產品。
試想一個假設的支援工作流程:搜尋政策文件、草擬回覆、核查其中說法,並將不確定個案升級處理。其成本包括整條流程。只量度草擬請求,會遺漏檢索、驗證、重試及仍然消耗資源的失敗嘗試。
因此,請求層面的折扣可以與不變的交易成本並存。若較小型模型產生更多修正,表面上的節省可在下游消失。若重用回應可避免不必要工作而不增加錯誤,改善會更直接地反映在已完成交易上。
Accenture 圍繞「每宗業務交易成本」來闡述這項量度問題,該指標匯總對成功業務輸出有貢獻的 AI 活動,包括重試、工具調用及代理交接。當中的實用啟示很直接:在慶祝較便宜的元件前,先量度整個流程。
財務歸屬仍需技術基礎。AWS 文件說明,應用程式推論設定檔可為受支援的模型請求附加所有權標籤。這些標籤會流入帳單工具,讓團隊按應用程式、團隊或工作負載分析開支。
設定檔在實施上有重要界限。它們支援 InvokeModel 及 Converse 介面,而非所有 Bedrock 請求介面。它們亦只提供匯總計費成本,因此團隊需要請求日誌,才能進行詳細詞元分析及交易追蹤。
責任在此變得具體。平台團隊可以提供帳單資料,但產品負責人必須定義可接受的結果。財務團隊可以追蹤開支,但領域專家必須判斷改動後品質是否仍然足夠。
對知識密集型應用程式而言,證據層同樣重要。記錄檢索行為的團隊可使用可搜尋知識庫,讓技術決策及評估發現保持易於存取。較佳的文件記錄有助比較不同改動,但本身並不能證實財務節省。
即時壓力落在擴大 AI 使用、卻沒有可比較成果量度的機構身上。帳單增長可以反映成功採用、不必要活動,或兩者兼有。在團隊能區分這些解釋前,優化目標有可能變成任意的開支削減。
較長遠的壓力則關乎投資決策。領導層需要知道哪些工作流程值得增加使用量,哪些需要重新設計。一致的交易定義,比跨越無關應用程式的混合詞元總量,提供更有用的依據。
六項槓桿改變帳單的不同部分
六項槓桿針對不同的消耗來源,因此其節省不能簡單相加。
建議的次序由設定變更開始,延伸至應用程式架構,然後才是基礎設施或訓練投資。這個排序有助說明報告的重要性。它把優化視為一連串可量度的決策,每項都有其成本、營運負擔及品質影響。
提示詞快取減少重複輸入處理
提示詞快取會重用模型輸入中先前已處理的部分,例如穩定的指示或參考資料。它適合反覆傳送大量共用內容的應用程式,並不代表對每條相似問題都返回較早前的答案。
AWS 說明,提示詞快取取決於受支援的模型、請求介面及合資格的重複內容。合資格請求並不保證快取命中。團隊需要檢查實際使用欄位,而非假設重複內容自然會帶來節省。
其經濟機制是避免處理輸入內容。價值取決於可重用內容出現的頻率、每個請求中維持不變的內容比例,以及重用是否在到期前發生。經常變更的提示詞會削弱這個機會。
快取寫入及讀取亦需要分開計算。視乎模型而定,寫入可重用內容的收費可能與讀取不同。高重用率比單純啟用功能更重要。
批次推論改變工作執行時間
批次推論以非同步方式處理一組請求,意味結果會在提交後才抵達,而不是在即時互動期間產生。它適合完成時間可彈性的工作負載。文件積壓或離線評估的時間要求,與即時客戶對話不同。
Bedrock 的批次推論工作流程使用輸入檔案,並將結果寫入 Amazon S3 儲存空間。模型及介面支援仍需核實。即使底層任務維持不變,將工作移入批次仍會改變提交及結果處理方式。
業務決策關乎截止時間。只有在已完成工作仍然有用時,較低的處理收費才有價值。團隊評估營運影響時,需要計入排程、失敗記錄及結果收集。
快取與批次亦屬於不同的執行路徑。AWS 文件指出,批次推論介面不支援提示詞快取。應用程式可在不同工作負載中同時使用兩者,但不應假設同一項請求可套用兩種折扣。
模型路由讓請求配對合適能力
模型路由會為每個請求選擇模型,而非把所有請求發送至同一個預設模型。直接的分類工作與困難的推理工作,毋須獲得相同資源。挑戰在於識別哪些請求可安全地使用成本較低的路徑。
Bedrock 的智能提示詞路由在受支援模型系列內運作。AWS 記錄了多項限制,包括以英文為主的優化,以及無法利用特定應用程式的效能資料調整決策。這些界限令工作負載評估不可或缺。
Accenture 較廣泛的路由模式,不應被視為與每種原生路由器設定完全相同。顧問公司的實施可涉及應用程式邏輯及領域特定決策。買家需要區分一般技術與所選服務的精確能力。
路由亦會改變故障分析方式。系統整體的品質平均值可能掩蓋集中於特定請求類別的問題。團隊需要掌握每宗個案由哪個模型處理,以及困難請求是否獲安排至合適的處理路徑。
檢索最佳化減少不必要的上下文
檢索增強生成(retrieval-augmented generation,或 RAG)會在模型生成答案前,為其提供經挑選的來源材料。檢索最佳化會改善這項挑選流程,避免不相關段落令提示內容膨脹。其目標是在減少不必要材料的同時,保留足夠證據。
上下文範圍界定會把資訊限制於特定工作流程步驟所需的內容。上下文壓縮則會在主要模型接收材料前將其縮短。這些模式可配合檢索改動使用,但亦可能引入各自的處理及評估要求。
取捨在於可能遺漏證據。當較短的提示移除了重複或不相關段落時,會有所幫助;但若遺漏了取得正確答案所需的例外情況、限制條件或來源細節,便會造成損害。
因此,答案品質比單看提示長度更重要。若檢索改動雖節省 token,卻增加缺乏支持依據的答案,便代表應用程式被削弱。評估既要檢查系統納入了甚麼,也要檢查其選擇流程遺下了甚麼。
語意快取避免重複回答
語意快取會儲存回應,並在新請求具有相近意思時重用。與提示快取不同,它可以完全避免呼叫模型。這帶來不同的經濟機會,也帶來不同的正確性風險。
措辭相近並不保證答案可以互換。帳戶權限、文件版本、地點及不斷變動的政策,都會影響用戶應該收到甚麼內容。實用的實作方式需要設有能反映這些差異的重用邊界。
已儲存的答案亦會過時。到期規則及失效處理——即在相關變更後移除條目——會成為應用程式正確性的一部分。一個反映已被取代資訊的廉價答案,可能帶來額外的覆核及修正工作。
蒸餾以訓練投資換取重複性效率
模型蒸餾會利用較大型教師模型的知識或輸出,訓練較小型模型。它把工作重心轉向為重複任務準備專用模型。因此,其經濟模式不同於啟用請求層級功能。
投資包括訓練資料、評估、部署及持續維護。具備持續交易量的穩定工作負載,較有機會收回這些投入。快速變化的任務則令比較更困難,因為昨日的專門化可能成為明日的限制。
因此,這個次序具備實際邏輯。團隊先檢視重複處理及具彈性時限的工作,再改善分配及上下文。當量度所得的工作負載特徵足以證明合理性時,才進行要求更高的投資。
最大的節省仍留下歸因問題
這些案例研究指出機會所在,但並未確立可轉移的節省比率,亦未提供完整的投資回報。
第一項限制是匿名性。沒有具名客戶及詳細的工作負載描述,外部讀者無法獨立評估這些例子有多具代表性。保密可以理解,但會限制驗證及比較。
第二項限制涉及合併干預措施。當模型選擇、快取及排程同時改變時,整體結果無法揭示每個組成部分的貢獻。它亦無法顯示,如採用不同次序,是否可用較少工程投入達到同樣成果。
第三項限制是品質證據。電訊案例提及現有客戶基準測試,但公開說明未披露足夠評估細節,讓外界獨立重現。讀者無法取得測試覆蓋範圍、困難個案及類別特定表現的完整分項資料。
這個缺口相當重要,因為平均品質可能掩蓋集中的損害。系統或能妥善處理常見請求,卻遺漏罕見例外。企業是否接受,往往取決於這些例外,尤其當錯誤結果會造成昂貴的下游工作。
token 開支亦不同於總營運成本。儲存、檢索、監察、評估、工程及人工覆核,均可影響最終經濟效益。已公布的減幅不應被解讀為營運應用程式各項成本均有等額減少。
實作工作同樣改變投資個案。設定調整與專門訓練項目所需資源並不相同。若只透過經常性 token 開支比較,便忽略了每個組織在節省出現前必須投入多少工作。
行業比較進一步凸顯這項區別。Google Cloud 描述的 context caching 亦會重用已處理的輸入內容。其明確的快取做法包含儲存時長考慮,說明相似的功能標籤並不保證營運經濟效益相同。
這並非證據顯示某個平台能勝過所有工作負載。它顯示企業必須比較實際使用模式、支援的模型、保留行為及營運要求。單靠功能清單無法回答這些問題。
效率與業務增長之間亦有差別。較低 token 開支可釋放預算,但並不能證明收入增加、客戶留存改善或決策更佳。這些結果需要與工作流程目的相連的獨立量度。
最站得住腳的解讀是有條件的。具備大量重複操作且模型使用差異不足的應用程式,值得仔細測試。已處理這些模式的組織應預期有不同機會,而不應假設仍可取得最大的已報告百分比。
這令 Bedrock 成本最佳化成為對工作負載的調查,而非採購捷徑。報告提供了檢視應用程式行為的理由,卻沒有免除建立本地基線、界定可接受品質及計入實作工作所需的責任。
此次序把量度列為首項干預
可信的最佳化次序,應保留解釋每項結果及撤回會削弱應用程式的改動之能力。
起點是獲共識的業務產出。已完成的文件擷取、獲接納的支援答案及已覆核的分析,代表不同成果。把它們合併為單一開支分母,可能同時掩蓋成功擴展及持續浪費。
其後,團隊需要一條連結消耗、完成量、品質及時間的基線。沒有可比較的工作負載樣本,改動前後的開支差異仍然含糊。即使底層流程沒有改善,較輕的流量組合亦可能令改動看似成功。
最簡單的改動應及早獲得關注,因為它們可測試特定浪費來源。重複而穩定的上下文適合進行快取實驗。具彈性時限的工作則適合比較批次處理,前提是完成時間及故障處理仍然可接受。
這些實驗應保持足夠獨立,以便解讀結果。若請求組成及模型選擇同時改變,團隊便失去識別原因的能力。這仍可能帶來有用的營運改善,但會為下一項決策提供較弱證據。
當基線顯示其目標時,才進行架構改動。路由處理模型能力錯配;檢索改動處理不必要或選取不佳的上下文;語意快取則處理可安全共用答案的重複請求。
每項干預在推出前都需要設定接受邊界。團隊應了解,何種品質下跌、完成延遲或升級處理增加會觸發撤回。事後才設定這些邊界,容易導致選擇性解讀結果。
評估材料應反映應用程式的實際工作。常見請求可建立典型表現,而困難及例外個案則測試邊界。保留測試集,即未納入調校決策的例子,有助揭示改善是否延伸至熟悉測試材料以外。
持續量度很重要,因為生產環境會改變。文件會更新、請求模式會轉移,模型亦會演進。在初次比較中有效的最佳化,可能在這些情況改變後失去價值或變得不可靠。
蒸餾應安排在較後階段,因為它會把較多資源投入特定任務分布。在作出這項承諾前,團隊需要證據證明工作負載穩定且重複程度足夠。他們亦需要計劃偵測專用模型何時不再適用。
這個次序改變了組織的誘因。它不再獎勵最大幅度的孤立折扣,而是獎勵可解釋的已完成工作改善。這讓工程、財務及產品領導層有共同基礎決定應擴展甚麼。
它亦釐清何時應停止。若下一輪減省會增加覆核工作或延誤有價值的工作,較小的帳單未必自動代表更好。適當的終點,是在成本、品質、風險及業務實用性之間取得可接受的平衡。
2027 年初前應留意甚麼
下一項考驗,是已報告的 token 節省能否轉化為已完成業務工作的持久、可重現改善。
第一個訊號是更詳細的客戶證據。具名部署、披露評估方法及可比較的交易量度,將提升對此做法的信心。若只有重複出現的標題百分比而缺乏工作負載細節,便無法解決可轉移性問題。
有用的披露會區分既有最佳化與新干預措施,亦會把經常性營運影響與實作工作分開。這有助買家了解,某項結果是反映廣泛相關的模式,還是反映異常低效的初始設定。
第二個訊號是服務層面的簡化。若改動令所有權歸因、快取核算、路由決策及評估更容易連結,便可減少實作阻力。買家應留意受支援的介面及營運可見性,而不應假設每個新模型都會自動支援每種最佳化。
這適用於各個雲端平台。更佳的快取或路由文件有助團隊理解可用機制,但交易層級的證據仍是較有力的比較依據。當組織能驗證設定對自身工作帶來的效果時,更容易設定才最具價值。
第三個訊號是在流量變化下仍能維持品質。穩定的接受率、恰當的升級處理,以及可靠處理非一般請求的能力,將強化擴大部署的理據。若文件更新或工作負載轉移後節省消失,便會削弱其持久性的主張。
這些是觀察點,而非已排定的公告。報告未為獨立重現或進一步客戶披露訂立期限。未來數月,最有力的後續證據將是把開支減少與不斷變動的生產工作負載中一致的成果連結起來。
對正評估 Bedrock 成本最佳化的團隊而言,應選擇一個所有權清晰且完成標準可觀察的有界工作流程。以具代表性的請求及明確品質要求,比較其目前行為與單一針對性改動。解讀結果時,應計入重試、覆核、等待時間及支援服務。
讓下一輪投資的審批者能夠取得相關證據。當其他團隊能理解削減開支的成因與限制時,這項措施便更有價值。在擴大實驗前,應問清楚它是否令成功的工作成本更低、這項改善能否在貼近現實的條件下維持,以及餘下的機會是否值得再作一次改動。



