Amazon Bedrock 評估偏差令 Property Finder 忽略了更佳模型

Property Finder 在選擇模型期間發現 Amazon Bedrock 存在評估偏差：其 96.8% 的評估標籤來自原有系統的預測結果。這令與既有系統一致看來等同正確。這項發現挑戰了企業常見的假設：生產環境模型累積的輸出，可以為其替代品提供可靠的基準。

眼前的衝突在於獨立證據與承襲答案之間。一個重複原有模型錯誤的挑戰者，可以通過這種測試；一個修正錯誤的挑戰者，反而可能不合格。因此，買家需要分辨與既有行為相容，和依據獨立確立標準而得出的準確性。

對開發者和企業買家而言，這個案例的意義不止於遷移模型。評估決定哪些供應商仍具競爭力，亦決定哪些成本節省看來可以接受。有缺陷的標準答案，可能令採購決策變成維持過去行為的練習。

Amazon Bedrock 評估偏差改變了模型選擇決定

10 月 27 日發布的這個視覺評估案例，描述 Property Finder 在 11 項圖像質素屬性上選用了 Meta 的 Llama 4 Maverick 17B Instruct。AWS 報告指出，該模型的量度準確率較高，成本估計可減少 86%。

關鍵改變在於用來評判替代方案的標準。

當正接受檢驗的系統本身提供答案時，用來為預測評分的參考答案，即真實標準（ground truth），便變得值得質疑。獨立性之所以重要，是因為參考標準必須能夠駁倒每一個候選方案。否則，原有模型在比較開始前已佔據有利位置。

這區分了遷移測試與能力測試。遷移測試可以合理地問，替代方案能否保留既定輸出；能力測試則問，這些輸出原本是否正確。兩個問題都重要，但支援的是不同決策。

當下游軟件依賴完全一致的標籤時，企業可能刻意優先考慮相容性。這仍是合理的營運要求。不過，它應列為獨立要求，而非悄然成為準確性的定義。

設想一張假設性的樓盤照片，可有多個合理描述。若儲存的答案反映先前一個任意選擇，另一個同樣有效的描述便會被記錄為錯誤。即使企業接受兩種描述，得出的分數仍只量度是否符合那個選擇。

當報告把分歧壓縮為平均值時，問題更難察覺。儀表板可以顯示明確勝方，卻不會揭示參考答案如何產生。一個看似精確的百分比，亦無助釐清這個缺失的背景。

因此，對這個案例的恰當解讀，應比泛稱某模型更優越來得狹窄。它描述的是一個原本的量度方法偏向既有系統的採購流程。修正這個量度方法，才令不同決定成為可能。

發布時間同樣值得審慎處理。新近發布的客戶案例記錄已報告的工作；它不會自動表示某項服務或能力剛剛推出。讀者應把披露日期與各項量度所依據的日期分開看待。

Property Finder 的 AI 評估現在為採購審查提供了一個有用問題：基準測試是否讓現有供應商可以公平地落敗？若答案取決於是否信任該供應商過去的輸出，這項比較便需要更穩固的基礎。

原有模型的答案成為採購優勢

承襲的標準答案可以造成轉換阻力，即使沒有任何合約限制。

壓力首先落在負責批准替代方案的工程主管身上。他們必須同時為既有服務和建議的變更作出辯護。當評估偏向原有模型時，熟悉的行為會比獨立驗證下較佳的行為更容易獲得支持。

採購團隊面對相關問題。若量度表現下降，成本較低的替代方案可能顯得不可接受。然而，當參考標準獎勵現有模型特有的錯誤時，這種下降幾乎沒有決策價值。

原有供應商毋須刻意操控這個流程。優勢可以源自一般的捷徑：保存生產輸出、把它們視為標籤，並重複使用所得集合。每一步單獨看來都很實際。

綜合起來，這些決定可以產生獎勵延續性的基準測試。由此造成的轉換阻力存在於客戶的證據之中，而非供應商的條款之中。這令它尤其難以在商業談判期間被識別。

因此，Bedrock 模型比較應區分供應商表現與評估設計。否則，替代模型帶來的實際選擇，遠少於表面所提供的選擇。組織可以在技術上更換供應商，卻仍無法在內部為這項變更提出理據。

同樣的張力亦影響建立原有應用程式的團隊。重新審視標籤，可能令人感到是在重訪早前的工程決定。領導層需要為這種檢視留出空間，而不把每個新發現的錯誤視為疏忽工作的證據。

保留部分既有行為亦有商業理由。客戶、審核人員和已連接的應用程式可能已適應這些行為。即使替代方案在獨立評估下更準確，若標籤或輸出結構出現意外改變，仍可能造成營運干擾。

這個顧慮加強了採用獨立評分表的理由。其中一份應描述根據獨立審閱示例得出的正確性；另一份應描述相容性、整合工作和工作流程後果。把這些問題合併為單一準確率，會掩蓋其中的取捨。

這個區分同樣適用於開放權重和專有模型。開放權重模型會按指定條款提供其經訓練的參數。這項特性並不能證明它適合某個特定工作流程，正如專有服務也不能證明其準確率更高。

兩個類別都不應在標準答案中自動享有優勢。有用的比較應關乎應用程式的要求、完整配置，以及獨立評估的結果。品牌聲譽可以引導初步篩選，但不能取代這些證據。

直接的組織回應應是為標籤來源建立問責機制，即記錄參考答案從何而來。買家需要知道誰建立這些答案、適用甚麼指示，以及候選方案有否影響該流程。

這類文件會改變採購對話。供應商的分數成為具有可檢查基礎的主張；挑戰者的分歧則成為審核人員可以調查的事項，而非自動被拒絕。

獨立標籤令 Prompt 最佳化值得量度

只有當其目標反映企業真正希望達成的結果時，Prompt 最佳化才有意義。

Prompt 最佳化工具會尋找可改善量度結果的指示。其成效取決於收到的參考答案和評分規則。在帶有偏差的基準上高效搜尋，可能令原本的採購錯誤更具說服力。

更廣泛的研究背景有助解釋為何這些方法備受關注。反思式 Prompt 演化會分析先前的嘗試，提出並測試修訂後的指示。GEPA 的研究人員描述了檢視執行軌跡、診斷失敗情況，以及結合不同候選方案的有用經驗。

這種方法把錯誤視為如何修訂指示的資訊。一個失敗示例可以揭示含糊之處、缺失的背景，或互相衝突的要求。然後，搜尋會測試建議的修訂是否改善既定目標。

這有別於假設較長的 Prompt 必然較好。額外指示可以消除含糊之處，但亦可引入矛盾。相關問題是修訂後量度到的行為，而非措辭表面上有多精密。

AWS 表示，這次合作採用了由錯誤驅動的 Prompt 修訂，而 MIPROv2 協助了後續最佳化。MIPROv2 是 DSPy 內的最佳化工具；DSPy 是用於建立語言模型程式的框架。

MIPROv2 最佳化工具會搜尋指示和示範示例的組合。其文件描述了生成候選方案，並根據指定指標評估各種組合。這將團隊原本以人手進行的部分實驗工作形式化。

商業層面的含意是，模型名稱不足以完整描述一個競爭系統。指示、示例、輸出處理和審核規則都會影響已部署的結果。只比較模型身分的買家，可能會把應用程式工程的成果歸因於底層模型。

因此，不同問題有不同的公平比較方式。相同的調校預算有助在可比努力下隔離相對行為；獨立最佳化的配置則有助買家在實際會部署的系統之間作出選擇。

兩種設計都不能回答所有問題。受控比較可能低估候選方案在額外工程投入下的成效；生產比較則可能掩蓋有多少人力促成勝出的配置。報告應說明它們支援哪一項決策。

就 Bedrock 模型比較而言，重要的分析區分在於選擇與因果關係。企業可以合理地選擇整體較佳的配置，而無須證明單是其模型造成了每一項改善。

同樣的區分也適用於演化相關用語。反覆挑選有用的 Prompt 修訂，本身不代表底層模型獲得額外訓練。讀者應問清楚改變的是甚麼：指示、示例、應用程式邏輯，還是經訓練的參數。

專家標註也與最佳化承擔不同工作。標註人員確定何謂可接受答案；最佳化工具則尋找能產生這些答案的配置。把這些責任區分開來，會令證據更容易檢查。

對維護這類實驗的團隊而言，可搜尋的知識庫可以保存標註決定和失敗的修訂。文件可支援審計軌跡；它本身不能獨立驗證分數。

核心問題仍是目標的擁有權。在慶祝最佳化工具的進展之前，買家需要有信心，這些進展代表更好的業務成果。否則，自動化只會加速朝錯誤目標前進。

更佳標籤並不會令最終基準變得獨立

據報道，該比較使用了 356 張 UAE 圖像，當中包括 256 張開發用圖像。Llama 的 Micro F1 為 0.80，對比未具名既有系統的 0.56。Micro F1 綜合了各個標籤判定的精確率與召回率。

AWS 承認，由於調校與評估工作重疊，分數可能偏向樂觀。Llama 亦獲得較多調校投入。

獨立標註與獨立測試解決的是不同問題。

全新的專家答案可處理參考標籤中的偏差問題。未曾接觸過的測試集合，則可檢驗最佳化能否推廣至影響開發工作的示例以外。改善前者，並不會自動證實後者。

這是長期以來的研究關注，而非針對此客戶帳戶憑空提出的批評。有關自適應資料分析的研究說明，反覆從重複使用的評估資料取得回饋，可能導致過度擬合。過度擬合是指改進更貼合已檢視的示例，而非能夠遷移至新示例。

這個機制不需要蓄意不當行為。工程師觀察失敗個案、修訂指令，並保留可提升分數的改動。反覆接觸評估示例，會逐漸令應用程式配合正在檢視的示例所具有的特殊性。

這會令未來輸入可取得多大改進存有不確定性，但不代表改進必然消失。審慎評估應區分可信的進步方向，以及其幅度的獨立量度估計。

研究亦警告，不應假設每個被重複使用的基準都會變得毫無用處。Rebecca Roelofs 與同事進行的一項測試重用研究發現，在他們檢視的競賽中，顯著過度擬合的情況不多。他們的分析比較了公開排名與獨立最終測試的結果。

這些發現提供的是背景，而非對 Property Finder 結果的獨立確認。不同任務、回饋流程與開發選擇，可能帶來不同結果。合理的做法是要求更有力的證據，而非隨意施加懲罰。

不均等的調校投入亦帶來另一個問題。如目標是選擇目前可用的最佳應用程式，為有前景的候選方案投入額外資源可能合理。如目標是比較模型的內在能力，這種不平衡便會令詮釋變得複雜。

未具名的既有系統亦限制了競爭層面的結論。讀者無法從籠統的基準標籤，獨立重建一項完整識別的正面比較。因此，不應將這一說法延伸為 Meta 與另一供應商之間的普遍排名。

即使計算正確，整體評分仍會帶來額外的業務問題。頻繁成功的情況可主導綜合結果。買方仍需了解，餘下的失誤會否影響日常個案，或商業上敏感的決策。

一個應用程式可在整體上改善，同時未能解決成本最高的錯誤。這種可能性令錯誤嚴重程度與發生頻率同樣重要。錯誤標註裝飾性特徵，與錯誤作出阻礙刊登的決定，未必帶來相同的營運後果。

Property Finder 的 AI 評估說法，足以讓人有理由審視其量度流程。其限制亦足以令我們對精確的泛化能力與供應商排名保持克制。兩項判斷可同時成立，而毋須否定所報道的生產決策。

成本說法需要營運分母

節省估算採用 2025 年 12 月、US East (Ohio) 的假設。其成本基準與準確度基準不同。Property Finder 另行報告，生產環境延遲降低了 40–60%，即等待模型回應的時間較短。

所報道的成本降幅，是針對指定比較的估算，而非目前普遍適用的節省比率。

這項區分很重要，因為買方經常把成本與品質數字連結得比證據所容許的更緊密。描述某一配置的百分比，不能自動成為另一項準確度比較的財務結果。

有用的分母是正在購買的業務成果。每次模型請求的成本回答的是基礎設施問題。每項可接受決策的成本回答的是營運問題。只有在重試、審核、失敗與下游修正工作維持可比時，這些指標才會趨於一致。

一個假設中較便宜的系統可說明此問題。若它需要更多人工檢查，較低的處理開支未必能轉化為較低的總投入。反過來，較佳決策可透過減少修正工作，創造模型帳單以外的價值。

在此不應假定任何一種結果。它們指出買方在把已公布的百分比套用至另一工作負載前所需的資訊。此案例提供了研究經濟效益的理由，而非為每位客戶作出預測。

日期敏感性帶來另一項限制。歷史估算仍有助了解過往決策，但不能證實目前的商業條款。10 月的發布日期，並不會更新較早分析所作的假設。

區域背景基於同一原因亦很重要。工作負載的部署選擇可影響可用性、效能與營運限制。採購團隊需要反映其預期環境的比較，而不是借用另一項實施的條件。

提示詞調校與成本之間的關係亦值得仔細審視。更詳細的指令可改變處理需求。因此，能改善量度品質的配置，應有其自身的經濟評估，而非沿用早期版本的估算。

這正是獨立證據這個主題延伸至財務的地方。正如標籤需要可追溯的來源，節省說法亦需要可追溯的基準。審核者應了解所比較的配置，以及計算涵蓋哪些開支。

延遲亦帶來平行的詮釋問題。較快回應對互動式應用程式可非常重要。在背景工作流程中，更相關的成果可能是在刊登期限前完成，或減少佇列堆積。

較低的延遲數字並不會自動證實任何一項好處。營運上的關聯需要在實際工作流程中量度。買方應詢問哪項用戶或業務限制獲得改善，而非把速度視為抽象優勢。

人工審核亦應納入經濟圖景。即使準確度提升，審核仍可作為應用程式中合理的一環。相關問題是專家注意力在哪裏帶來最大價值，以及這些注意力的成本是多少。

因此，Amazon Bedrock 評估偏差在模型選擇以外亦有財務層面。量度薄弱時，機構可能錯失有用的節省，或接受具誤導性的節省。健全的評估令經濟決策可供檢視，包括其中仍不確定的假設。

未來一季可如何加強案例

下一批有用證據，應聚焦於遷移能力、生產錯誤，以及可比較的經濟效益。

這些是未來一季的觀察重點，而非已公布的發布承諾。每一項都處理報告結果中不同的不確定性。它們合起來可幫助讀者區分有用的本地部署決策，與可廣泛遷移的效能說法。

第一個訊號，是以在評分前已固定的配置進行未接觸過的評估。保留集，即不納入開發決策的示例，可更清晰反映系統面對陌生輸入的表現。關鍵特徵是其獨立於調校回饋。

若在該集合上持續保持優勢，將提升人們對所選配置可泛化的信心。若差距較窄，則會削弱對已公布幅度的信心。無論結果如何，都可釐清開發流程實際帶來甚麼成果，從而改善證據質素。

可比較的調校預算可增加有用的供應商層面視角。它們有助區分額外工程投入的好處，以及候選方案之間的差異。這項比較可與對完全最佳化生產系統的獨立評估並存。

下一個訊號是獨立審核的生產錯誤資料。整體分數應與部署後人們實際遇到的錯誤連結。讀者應尋找按業務後果整理的審核發現，而非只看方便的技術分類。

若修正負擔下降，會加強轉換方案的實際理據。若敏感類別中持續出現失誤，即使整體分數仍然有利，結論亦會收窄。這項區分很重要，因為用戶感受的是個別決策，而非基準平均值。

生產證據亦應說明示例如何進入審核。由簡單個案主導的集合可掩蓋問題。只由升級處理個案組成的集合則可誇大問題。在詮釋所得錯誤率前，必須了解該選取流程。

最後一個訊號，是利用實際部署配置更新經濟比較。它應把處理開支與審核投入、重試及營運成果連結起來。這會令財務說法更容易納入採購討論。

如較低的總投入伴隨可接受的品質，對商業結果的信心便會增加。如在把這些成本納入計算後節省減少，原有估算仍具歷史參考價值，但作為採購指南的用途便會下降。

目前，最有力的結論關乎決策流程。獨立的參考答案，讓評估得以挑戰既有行為。即使機構在作出更佳比較後保留現有模型，這點仍然相關。

在把 Amazon Bedrock 評估偏差視為別人的標註問題之前，先檢視支持你自己偏好模型的證據。追溯參考答案的來源。把獨立審核的判斷與生產輸出分開，並區分開發回饋與最終測試。然後詢問，財務比較是否採用與品質比較相同的配置。一份有用的採購審核，應以工程師、財務團隊和產品負責人都可檢視的語言，保留這些區分。目標是當基準的建構方式公開後，決策仍然站得住腳。若既有系統不再提供答案匙，你目前模型評估中的哪一項結論會改變？