Amazon Bedrock 推論成本:四項關鍵選擇
AWS 於 11 月 12 日發布四項實驗,說明開發人員完成提示調校後,為何仍值得關注 Amazon Bedrock 推論成本。快取持續時間、服務層級、推理力度及輸出限制,都會改變原本看似熟悉的請求在成本上的表現。當中的現實矛盾在於:保留靈活性的應用程式設定,亦可能消耗資源卻無助改善結果。
這些發現令只把模型選擇視為主要成本決策的團隊面臨壓力。應用程式可以維持原有模型和指示,同時改變重用內容脈絡、安排處理工作或分配推理的方式。這些選擇需要分別取得證據,因為每項選擇影響工作負載的不同部分。
Anthropic 透過其直接提供的 Claude 平台帶來一個有用的比較,其指引同樣強調快取及按任務配對推理力度。兩家供應商的建議都不足以建立通用設定。較能站得住腳的結論是,預設值需要根據已完成的工作進行測試,包括失敗、重試及可接受的回應時間。
Amazon Bedrock 推論成本不只涉及提示調校
AWS 的文章指出,除了模型選擇及應用程式設計外,請求設定亦應納入成本檢討。
該公司的 推論成本實驗 探討的是不同機制,而非宣布全面減價。快取改變內容脈絡的重用方式;服務層級改變處理條件;推理力度改變所產生的工作量;輸出上限則加以限制。AWS 報告的是特定工作負載的結果,因此需要歸因分析,而不應聲稱每名客戶都會重現相同結果。
推論是指在請求上執行已訓練的模型,以產生回應。Token 是模型處理及生成內容的單位。重要的成本核算問題,是哪些工作產生了有用結果,而不只是應用程式是否返回了看似完整的內容。
設想一個假設的文件助理,負責回答有關工程手冊的問題。它的指示保持穩定,參考資料偶爾更新,而使用者會在整個工作日持續回來查詢。這個應用程式的成本模式,與一個在背景摘要互不相關文件的程序並不相同。
助理所重複使用的內容脈絡,帶來潛在的重用機會。摘要工具的排程,則帶來容許較慢處理的潛在機會。將兩者視為一般文字生成,會掩蓋本應引導設定的營運差異。
因此,責任會跨越團隊界線。開發人員控制請求建構,產品經理界定可接受的行為,而營運團隊觀察服務表現。只有當這些團隊同意何謂成功完成時,成本目標才具可操作性。
單憑較低的 Token 數量,無法解決這個問題。遺漏必要限定條件的答案,可能較短、較便宜,卻未能完成任務。延遲的背景結果或仍然有用,但相同延遲則可能削弱互動式產品的效用。
對 AWS 發現最有力的實務解讀,是在組合這些機制前先將它們分開。否則,團隊可能同時降低推理力度和更改快取設定,然後把最終帳單歸因於錯誤決策。這種不確定性令日後的模型遷移更難評估。
有用的比較亦應保留實際嘗試處理的工作。如果修訂後的設定只處理較容易的請求,其較低消耗對該設定本身說明不多。任務分類及驗收標準,才能令比較具意義。
這改變了買家評估推論平台的方式。模型標示的能力仍然重要,但未能描述應用程式的營運設定。買家亦需要了解哪些控制項適用、結果如何呈現其影響,以及部署後由誰維護這些決策。
較長快取持續時間需要重用模式支持
只有實際請求重用合資格內容脈絡,而非僅攜帶看似相近的文字時,較長存活時間的快取才有價值。
提示快取會儲存已處理的輸入,以供後續請求在共享合資格開頭(稱為 prefix)時重用。快取持續時間,即存活時間,決定儲存的內容脈絡在沒有刷新命中的情況下可保留多久。AWS 的 提示快取文件 按模型列出支援的持續時間及資格規則。
資格與重用之間的區別很重要。AWS 明確表示,啟用快取並不保證命中。伺服器配置、到期及請求時間,仍可能導致另一次寫入,而跨區域路由可能增加快取寫入。
這個限制改變了延長持續時間的商業理據。讓內容脈絡更長時間維持合資格,可以解決到期問題,但無法修正每次請求都會改變的 prefix。團隊在決定持續時間是否造成問題前,需要取得重用失敗原因的證據。
在假設的手冊助理中,穩定的參考資料是合理的快取候選內容。如果應用程式希望保留共享開頭,變動的問題應放在該等資料之後。若先放置變動的工作階段細節,便會破壞預期安排。
其編輯層面的含意不限於提示格式。重用會成為一項應用程式特性,取決於請求如何組裝及路由。快取設定無法彌補持續改變其希望重用內容的架構。
衡量時應區分未使用的快取與無效的快取。未使用的項目可能反映使用者從未回來。無效的安排則可能反映活躍使用者的請求反覆錯過儲存的內容脈絡。
這些情況需要不同回應。前者令人質疑較長保留時間是否適合該工作負載。後者則要求在延長任何設定前,檢查請求建構、路由或資格條件。
團隊亦應比較相等的流量時段。寧靜時段自然有較少重用機會。沒有這個背景,當使用者活動已能解釋時,快取行為的改變可能被看成設定改善或退步。
同樣的審慎態度適用於經常修改的參考資料。為快速變動手冊提供服務的文件助理,與服務穩定指南的助理面對不同的重用模式。內容維護方式應納入成本討論,因為它們影響共享 prefix 保持有用的時間。
為不同客戶提供服務的應用程式,租戶處理值得獨立進行設計檢討。快取最佳化應符合應用程式的授權及資料處理要求。成本節省並不能證明某項安排符合這些要求。
因此,就 Amazon Bedrock 推論成本而言,關鍵問題比是否啟用快取更具體。團隊需要知道哪些內容脈絡被重用、重用頻率,以及在甚麼流量條件下重用。只有在這些觀察結果支持下,較長持續時間才是合理選擇。
服務層級為等待賦予價值
只要應用程式能承受最終完成行為,較不緊急的工作負載便帶來排程機會。
服務層級是一種在成本、可用性及回應表現之間取得平衡的處理選項。AWS 表示,Flex 適合可接受較長處理時間的工作。其 服務層級文件 將該選項與 Standard 作比較,後者是一般推論請求的預設選項。
AWS 的 Nova 2 Lite 比較為每個層級使用 200 個請求,交錯進行共 400 次呼叫。Token 數量一致,而且每項請求均解析至其要求的層級。AWS 表示,觀察到的中位延遲差異與雜訊無異;這個結果並不構成通用的延遲保證。
重要的分析區別,在於工作負載的緊急程度與某項測試觀察到的速度。一項背景工作因其截止時間容許,仍是彈性排程的候選對象。異常快速的測試運行,並不代表彈性排程適合所有互動式請求。
想像一家公司為內部檔案庫生成摘要。如果員工翌晨才需要這些摘要,即時完成的商業價值可能很低。應用程式便可能以部分處理緊急性,換取更有利的營運條件。
現在考慮在即時客戶對話中使用同一項摘要功能。底層模型任務或許相似,但等待成本已經改變。需要在繼續對話前獲得答案的客戶,與等候一整晚的檔案庫有不同要求。
這要求產品團隊清楚界定截止時間。背景或內部等標籤並不足夠。內部程序仍可能阻塞關鍵工作流程,而背景任務亦可能在接近交付期限時變得緊急。
後備政策增加了另一個維度。後備方案是在首選路徑無法按預期完成時使用的替代處理路徑。自動切換至另一個層級可能維持交付,但同時改變團隊原先預期的成本結構。
該政策應反映當下完成工作的價值。例行檔案工作可以等待,但接近營運工作流程截止時間的任務可能值得升級處理。應用程式需要明確決策,而不是讓錯誤處理帶來意外後果。
驗證亦需要區分請求的層級與實際處理該請求的層級。AWS 在回應及監控中提供這項區別。沒有它,應用程式或會記錄自身意圖,卻忽略對成本核算重要的實際行為。
對買家而言,這是除了可用性外,亦應詢問控制能力的原因。如果應用程式無法適當分配工作或觀察結果,平台的層級選單價值有限。排程靈活性需要營運層面的擁有權。
對 Amazon Bedrock 推論成本的含意是,等待具有商業價值,團隊應直接說明。合適的層級取決於截止時間及完成要求,而不應取決於假設一項小型基準測試可預測生產環境回應時間。
推理力度挑戰「最強預設」的習慣
只有在推理能充分改善任務結果、足以合理化額外工作量時,更多推理才值得採用。
自適應思考讓模型自行決定為請求進行多少中間推理。力度設定會影響這種行為。AWS 的 自適應思考文件 說明,現時各代 Claude 在預設值及支援設定方面有所不同,因此遷移行為是成本檢討的一部分。
文件亦指出一項微妙的遷移問題。即使請求本文維持不變,原先在沒有思考下運行的請求,仍可能在模型變更後產生可計費的思考輸出。思考內容與回應文字共用整體輸出限制。
AWS 在三項有明確範圍的代理任務上測試 Claude Opus 5,每個推理力度級別各進行 24 次測試。每次運行均正確。根據該公司的結果,中位輸出量由低推理力度的 936 個 token,增至高推理力度的 2,521 個 token。
這些結果挑戰了一種特定的操作習慣:在未檢查任務是否受益的情況下,選擇較強的推理設定。它們並未證明在開放式研究、困難除錯或陌生輸入中,低推理力度可媲美高推理力度。任務邊界仍是核心。
有明確範圍的任務具有清晰的完成條件,例如從現有文件中擷取指定欄位。開放式任務則可能需要先判斷哪些證據重要,才產出答案。這些差異應影響評估方式,而非被平均分數掩蓋。
假設的支援工作流程可說明這個問題。轉派標示清楚的請求可能只需少量考量,但處理互相矛盾的帳戶記錄則需要更多判斷。對兩者套用相同推理力度,等同假設其難度可以互換。
質疑的角度在於評估涵蓋範圍。應用程式在熟悉示例上測試時可能顯得準確,卻會在帶來實際支援成本的例外情況中失敗。當評估排除需要人工修正的案例時,減少 token 的說服力便會下降。
Anthropic 的直接平台透過其成本最佳化指南提供了平行觀點。該公司同樣建議依據任務形態校準推理力度,並警告過度思考和調查不足的問題。這屬於供應商的支持性指引,而非對 AWS 實驗的獨立驗證。
這項比較顯示,各交付平台面對共同的操作挑戰。開發者愈來愈能控制推理模型嘗試投入多少工作。這些控制項帶來節省空間,但亦令品質取決於使用者看不見的配置選擇。
合理的評估應檢視失敗案例中發生了甚麼改變。模型是否忽略證據、過早停止調查,或產出不完整答案?這些區別有助判斷額外推理力度是否能解決弱點,還是只會增加輸出。
當工作流程需要人工審核時,這也應納入計算。較短的模型回應若帶來更多修正工作,可能只是轉移成本而非消除成本。評估應確認工作最終流向何處。
因此,推理力度改變了預設配置的意義。預設值是供應商選定的起始行為,而應用程式擁有自己的驗收標準。當模型或任務改變時,要保持兩者一致便需要重新取得證據。
輸出上限限制失敗風險與可用容量
只有在應用程式同時檢查受限回應是否完成工作時,輸出上限才可保障預算。
maxTokens 設定 Bedrock Converse 介面中一次請求可容許的最大輸出量。過高的上限可在模型生成答案前影響容量。AWS 的token 配額計算說明,系統會先按輸入量加上所要求的輸出額度扣減,然後在處理期間作出調整。
配額是服務在一段期間內容許使用量的限制,與計費不同:AWS 表示客戶按實際 token 使用量付費。因此,未使用的輸出額度可以限制並行度,即同時進行的請求數量,卻不會在帳單上變成相等費用。
這個區別可避免常見的核算錯誤。若模型本已在上限以下停止,降低上限不會自動減低帳單。其即時好處反而可能是讓應用程式更有效運用可用容量。
當出現問題時,寬鬆上限仍然重要。提示詞退化,即令行為變差的變更,可能導致意外冗長的回應。針對任務設定的上限可限制該請求繼續生成輸出的程度。
相反的風險是答案在完成前被截斷。回應雖然可能消耗較少資源,卻遺漏下一個步驟所需資料。在串連式工作流程中,這種不完整回應可能觸發修正工作,或令後續處理失敗。
設想一個為另一個應用程式產生結構化交接資料的假設助理。部分生成的回應對人而言或仍可閱讀,但未必符合接收應用程式的要求。有用的結果是有效的交接資料,而非僅僅符合上限的文字。
這使完成檢查成為應用程式的責任。正常的網絡回應並不代表所要求的工作已完成。應用程式需要考慮停止條件,以及結果是否符合預期的結構和內容。
推理帶來另一項複雜因素,因為對相關模型而言,額度涵蓋中間思考和最終文字。若上限僅按可見答案長度校準,推理行為改變後便可能過於嚴格。因此,輸出政策應納入遷移測試。
有效的校準方法會區分任務類型。簡短分類、詳細綜合分析及工具導向工作流程,各有不同的合理輸出形式。把它們合併為同一個分佈,可能令上限對常見請求過於浪費,或對要求較高的請求過於限制。
商業決策涉及對不完整工作的容忍度。部分工作流程可回傳明確的部分結果並要求繼續;另一些則必須在可安全及可預測地繼續前取得完整回應。
因此,Amazon Bedrock 推理成本應與吞吐量及完成率一併檢視。上限影響過度生成的風險,而配額計算影響可同時執行多少工作。任何單一指標都不足以判斷應用程式是否有效率地運作。
下一項證據應來自已完成的工作
最有力的後續做法,是進行一項既保持品質、符合時限,亦能解釋消耗量變化所在的生產環境比較。
未來數月,首先要留意的訊號是實際的上下文重用。延長快取期限的團隊應看到證據,證明符合資格的重複資料確實再次被讀取。若額外寫入反而佔主導,延長期限的理據便會減弱,原因亦值得調查。
這項訊號需要結合流量和內容變化的背景理解。在繁忙示範期間的重用情況,並不能證明日常運作期間也有相同模式。有說服力的結果,應在應用程式正常的請求節奏和例行更新中持續出現。
第二項訊號是在所選服務層級下的完成情況。背景工作必須在其營運期限前完成,並清楚呈現服務層級及任何備援方案。若升級處理成為常態,原有的排程選擇便需要重新評估。
這正是標題式節省與應用程式經濟效益可能分歧之處。一個工作流程在首選路徑上看似成本低廉,卻可能高度依賴更緊急的替代方案。核算應追蹤已完成工作在這些路徑上的全程。
第三項訊號是在推理力度和輸出政策改變後的品質。團隊應一併觀察任務驗收率、不完整回應及人工修正。當這些結果仍可接受時,較低消耗量會加強節省的論點;一旦品質惡化,論點便會減弱。
這些訊號亦需要有一份能跨越人員變動的記錄。沒有支持證據的配置選擇,會成為另一項沿襲下來的預設值。未來維護人員需要知道是哪種工作負載支持該選擇,以及哪些變更應觸發重新檢討。
工程團隊可把這些決策與技術文件和實驗結果一併保存。可搜尋的知識庫有助把配置變更與其背後證據連繫起來。目標是在下一次遷移提出熟悉問題時,讓相關推理過程可被檢索。
AWS 的實驗很有用,因為它們分拆了月度帳單所混合的多種機制。其限制同樣有價值:供應商測試只是在其條件下確立一項結果,並不能免除判斷另一個應用程式是否具備相同條件的需要。
對企業買家而言,下一輪討論應聚焦於誰擁有作出這項判斷的責任。採購部門可比較商業條款,但應用程式擁有人必須界定可接受的延遲和品質。營運團隊則需要有足夠可見性,將這些要求連繫至實際行為。
在透過請求設定改變 Amazon Bedrock 推理成本之前,請選擇具代表性的工作流程,並定義其成功結果。記錄目前的消耗量、回應行為和修正負擔。更改一項設定後,再比較修訂配置下的等效工作。將證據與模型版本和任務定義一併保存,讓其他工程師日後能理解這項決定。若較便宜的請求造成延誤或修正工作,亦應把這項後果計入結果。若品質維持且完成情況仍可接受,才謹慎擴展至相似任務。你的應用程式中,目前哪一項設定仍缺乏這些證據:上下文重用、處理緊急程度、推理力度,還是輸出上限?



