AWS Agent DLC 為代理發布制定標準
AWS 於 2026 年 11 月 12 日推出 Agent Development Lifecycle,並以一個令人不安的例子說明問題:檢索精確率雖然完美,政策問題卻沒有得到回答。AWS Agent DLC 將代理開發及發布決策,連繫至由負責人批准的明確驗收準則。核心問題在於,通過分數是否量度了真正重要的行為。
這項公告為正把助理由示範帶入員工工作流程的團隊帶來壓力。一個令人信服的答案可以證明系統有時能正常運作,卻無法證明哪些請求適合自動處理、哪些需要升級處理,或昨天的改進有否損害另一項任務。
其比較對象是傳統的持續整合與持續交付,即 CI/CD,後者會自動化軟件檢查及交付。這些做法仍然不可或缺。當通過的建置版本成為接受可變代理行為的主要證據時,缺口便會出現。較早前由評估驅動的研究及 Anthropic 的工程指引,已經處理這個缺口。AWS 則在決策周邊加入交付框架:甚麼證據足以授權發布這個版本?
AWS Agent DLC 將驗收準則置於起點
AWS 的 代理開發生命週期 將工作分為 Define、Build、Evaluate、Release、Observe 及 Feed Back。其黃金標準是一套獲批准的準則、門檻及範例組合。
關鍵轉變在於,在解讀最新結果前,先明確訂立驗收標準。
這聽來像行政工作,直至團隊對某個答案出現分歧。一名工程師可能因其陳述與檢索文件相符而認為答案正確;業務負責人卻可能因它遺漏了決定員工下一步行動的例外情況而拒絕接受。
兩種判斷都可能基於合理的品質定義。當這些定義一直未有明示,直至示範時才浮現,發布問題便會開始。此時,修正系統與重新協商其用途,便成為難以區分的活動。
明確的標準可將這些決策分開。產品負責人界定所需成果;工程師將成果連繫至可觀察行為;審核者便可根據已同意的期望,評估候選版本,而非依據當天下午最受注目的例子。
試想一個假設的內部助理,負責解釋工作場所政策。其目的看似簡單:準確回答員工問題。然而,單靠準確性仍無法解決助理應否回答資料不完整的問題、辨識缺失文件,或引導員工聯絡獲授權審核者等問題。
這些選擇塑造產品的範圍。一個能辨識不獲支持的請求並適當升級處理的助理,可能符合要求。另一個提供流暢但不完整指示的助理,則可能未能達標,儘管它在示範期間看來更有幫助。
這正是這項公告的重要性超越生命週期名稱的原因。在發布壓力令例外情況變得誘人之前,它已將業務驗收帶入工程討論。標準成為可供各方質疑及修訂的共同工件。
它亦改變買家在採購期間應提出的問題。示範回答供應商能否產生吸引人的結果;驗收證據則回答供應商測試過哪些行為、在甚麼條件下進行,以及依據誰對成功的定義。
因此,對 AWS Agent DLC 而言,有用的問題比框架是否普遍改善代理更為狹窄:團隊能否讓發布決策更具可追溯性?審核者應能將獲批准的能力,連繫至其要求及支持證據。
這項區別可防止框架淪為另一張流程圖。若欠缺具體範例及可問責的批准,各階段只是在描述活動,無法解決爭議。其價值取決於它們是否改變人們在接受代理前所要求的證據。
三項代理特性為通過的建置版本帶來壓力
AWS 指出三項複雜因素:輸出結果可變、設定編輯引起的行為變化,以及會獨立變動的外部依賴項。每一項都削弱傳統發布信心背後的一個不同假設。
儲存庫可以維持不變,但用戶體驗到的行為仍可改變。
第一項複雜因素是可變性。代理在收到相同請求時,可能選擇不同措辭或行動。因此,成功示範只代表一個已觀察到的結果,並非對下一次互動的保證。
實際壓力落在負責用戶體驗的人身上。若員工明天收到不完整的答案,昨天測試通過這件事幾乎無助於診斷。團隊需要有關重複出現行為及與失敗相關情況的證據。
第二項複雜因素關乎何謂有意義的變更。Prompt 即提供予模型的指示,在文字比較中可以看似無害。它的影響取決於周邊請求、可用資訊及可採取的行動。
例如,要求一個假設助理變得更精簡,或可減少重複內容;但亦可能刪除防止員工套用錯誤政策的限定說明。單憑審閱措辭,無法判定哪種影響更為主導。
同樣的推理亦適用於檢索,即為答案挑選資訊的過程。設定變更可能產生看來更整潔的段落,同時排除必要的例外情況。即使支援的任務變得較不可靠,實作仍可能顯得更簡單。
第三項複雜因素將責任延伸至最新程式碼變更以外。已連接的資訊來源可能改變內容;外部服務可能改變行為;模型端點可能在應用程式團隊的儲存庫以外收到更新。
這些可能性令事故歸屬更複雜。當行為在沒有部署的情況下改變,團隊不能假設其應用程式在功能上保持完全相同。運作環境亦應納入對事件的解釋。
這並不代表傳統軟件檢查已過時。驗證邏輯、請求驗證及應用程式程式碼,仍需要一般工程紀律。其含意是,這些檢查涵蓋的問題,與代理能否以可接受方式處理業務請求並不相同。
對工程經理而言,直接後果是發布責任範圍更廣。必須有人負責部署之間的行為,包括沒有相應 commit 卻出現的失敗。否則,組織雖有交付管線,卻沒有負責持續驗收的明確負責人。
對業務負責人而言,壓力同樣具體。他們不能將可接受行為的含義完全交予模型分數決定。即使工程師負責評估基建,他們仍必須識別哪些遺漏至關重要,以及哪些錯誤需要升級處理。
由此形成的分工雖然要求甚高,卻不難理解。工程師提供可靠的量度及調查;領域負責人界定成果。發布授權取決於連繫這些責任,而非將綠色建置版本當作其替代品。
完美精確率掩蓋了一條未獲回答的問題
AWS 的 HR 參考實驗使用了三條問題。所有問題的區塊層級精確率均為 1.00,這項量度用於判斷檢索段落整體是否相關。然而,病假檢索覆蓋率為 0.00,意味檢索到的材料未能回答該問題。
相關材料與足夠證據,是不同的發布條件。
這項區別解釋了為何吸引人的彙總結果可以造成誤導。一段文字可以涉及員工假期,卻欠缺特定請求所需的規則。主題相似性可以建立關聯,但員工需要的是可執行的答案。
分析上的錯誤,是僅因指標未能回答另一條問題,便將它視為有缺陷。精確率描述所選材料的一項特性;覆蓋率則問這些材料是否提供請求所需的資訊。
HR 評估範例 區分段落相關性、事實相關性及問題覆蓋率。它的重要性在於診斷作用:不同量度會揭示需要調查的不同位置。
在這個案例中,語料庫缺少專門的病假政策。Prompt 變更改善了績效評核範例,卻令病假結果惡化。再強的指示也無法提供缺失的政策資訊。
對處於截止期限壓力下的團隊而言,這是一項重要發現。新一輪措辭調整可能耗費時間,卻無法處理缺失來源。失敗部分源於可用資訊,而不只是答案產生器的問題。
這個例子亦揭示了一條責任界線。工程師可以調整助理如何搜尋或回應,但不能自行制定組織缺失的政策。一個有用的診斷必須觸及獲授權提供或批准該資訊的人。
另一個福利答案的 groundedness 得分為 0.90,這項指標量度答案是否有檢索材料支持,然而它卻虛構了個人的聯絡偏好。因此,有利的品質結果可與關於用戶的錯誤陳述同時存在。
問題不僅在於周邊政策解釋大致正確與否。個人聲稱會令用戶相信助理掌握其資料。即使虛構細節看似平淡,這種相信仍可能影響信任。
這些結果支持讓不同問題保持清晰可見。來源有否覆蓋請求?答案有否遵循來源?它有否對該人作出沒有支持的假設?單一品質標籤無法清楚傳達這些區別。
這項實驗仍是一項小型參考練習,並非客戶基準測試,也不是普遍改善的證據。其最強貢獻,在於展示令人安心的指標與潛在失敗之間的對比。
這個限制對解讀 AWS Agent DLC 很重要。該範例支持需要更佳診斷的觀點,卻不能證明採用這個框架會在不同組織、領域或模型之間帶來可預測的改善。
對知識助理而言,實際含意是資訊覆蓋率應納入產品驗收。一個 可搜尋知識庫 有助整理技術材料,但整理本身無法證明每條受支援問題都有獲批准的答案。
同一項區別亦應塑造示範方式。展示助理找到相關文件,證明了一項有用能力;展示該文件包含所需規則,則證明另一回事。買家在判斷最終答案前,需要這兩項證據。
兩個循環將代理修正與變更中的要求分開
該框架區分兩個迴圈:內部迴圈依據固定準則改善候選方案;外部迴圈則根據證據修訂這些準則。將兩者分開,才能保留「改善」本身的意義。
更好的代理與成功定義的改變,需要不同的解釋。
假設一個假想助理未能符合已獲批准的要求。預期行為清晰,實作卻未達標。工程上的問題是如何修正該行為,同時保留原本已有效運的能力。
現在假設用戶提出產品從未處理過的要求。在負責人界定範圍前,團隊無法一致判斷何謂成功。若立即修改提示詞,便有可能把臨時作出的產品決定嵌入工程變更之中。
這些情況可能產生相似徵狀,兩者都可能表現為不理想的回答。然而,它們的成因不同,而這種差異決定了應由誰採取行動。實作修復應由工程師處理;未解決的要求則需要具問責性的人作出業務決定。
在比較期間維持標準不變,亦有助保障詮釋的可靠性。若團隊同時改變候選方案與預期行為,分數提高便會變得含糊。審核者無法判斷究竟是系統進步了,還是測試變得更容易。
相反,擴大覆蓋範圍可能令分數下降,但不代表代理變差。新例子可能揭示先前未被量度的弱點。這個結果應用於界定發布範圍,而不應自動視為工程退步,即原先支援的行為有所流失。
這種區分已有先例。Boming Xia 與同事的評估驅動開發研究將評估描述為貫穿開發與營運的持續職能。其流程模型把離線評估、運行時證據及受治理的再開發連結起來。
該研究為 AWS 的公告提供背景,但並不構成對此實作的獨立驗證。兩者共同的方向是,評估應影響持續的開發決策。任何交付流程的具體效能,仍需由實際使用證據證明。
Anthropic 的代理評估指引同樣結合自動化評估、生產環境監察及人工審核。它區分能力測試與回歸測試,並討論程式碼評分器、模型評分器及人工評分器。
因此,競爭格局更接近於圍繞評估紀律的趨同,而非互不相容框架之間的簡單競賽。供應商愈來愈需要說明團隊如何量度行為及調查失敗。僅提供一個能力強大的模型,並不能解決這些問題。
有用的比較應聚焦於工作流程帶來的影響。機構更換模型時,能否保留其驗收範例?審核者能否不完全依賴供應商儀表板而理解結果?業務負責人能否質疑自動化判斷?
這些問題亦影響採購靈活性。若要求只存在於非正式期望之中,轉換平台便會重新展開對品質的爭論。明確且可攜的範例,能為買方提供更持久的比較基礎。
當各個迴圈維持這種問責性時,AWS Agent DLC 最具價值。修復代理不應悄然重新定義其責任;修訂其責任則應形成可見的決定,讓審核者可將其與實作進度區分開來。
發布標準仍然取決於人類判斷
一個具名的生命週期無法解決所有關於可接受行為的分歧。標準本身可能存在遺漏、不切實際的門檻,或未能反映實際工作的例子。
正式評估讓判斷可被檢視;它不會消除對判斷的需要。
這是核心的懷疑角度。機構即使實行每一個階段,仍可能批准錯誤的範圍。若沒有人檢驗其例子是否代表用戶實際面對的決定,流程便會淪為令人安心的文書工作。
狹窄的評估可能過度代表直接明確的要求。一個假想的職場助理,面對直接的政策問題時或許看似可靠,卻可能難以處理互相矛盾的文件或員工情況不明的個案。在這個狹窄集合中的強勁表現,並不能解決那些更廣泛的情況。
自動化評估器亦帶來另一層依賴。模型評判,即利用模型評估輸出的工具,可能與人類審核者有不同結論。其表面上的精確性不應掩蓋一點:它的判斷同樣需要接受檢驗。
Anthropic 的指引明確討論了與人工評分器進行校準。這項比較很重要,因為評估器可能持續獎勵用戶不喜歡的行為。只有當分數反映預期要求時,穩定評分才有用。
AWS 範例中的虛假個人偏好,正好突顯這個難題。一個回應可以引用可用文字,卻對用戶作出沒有根據的推論。僅評估來源支持度,仍不足以測試一般資訊與個人主張之間的關係。
因此,人類的發布權限仍具實質意義。必須有人承擔對支援範圍及未解決弱點的責任。自動化結果可以為該決定提供參考,但無法獨立決定哪些業務後果可以接受。
嚴格限制亦需要獨立處理。不可接受的披露,不會因為答案有用、快速或便宜而變得可接受。把無關的維度混合成一個有利的平均值,會掩蓋機構原意要執行的界線。
這裡存在商業張力。團隊希望評估加快交付,但可信的評估會揭示限制發布的理由。一套從不改變範圍、亦從不阻止候選方案的流程,幾乎不能證明其權限是真實的。
基礎設施有助調查人員審視這些決定。AWS 的代理可觀測性文件說明如何檢視執行路徑及營運遙測數據,包括延遲、token 使用量和錯誤。可觀測性是指讓系統內部行為變得可見。
這些紀錄有助解釋失敗發生在哪裡,但不能證明底層業務規則是否正確。可見的執行路徑與獲批准的結果,仍是互補的證據形式。
成本帶來另一項未解決的取捨。評估會消耗工程注意力、運算資源及領域專業知識。關鍵問題是,它是否產生值得投入這些成本的決定,包括更清晰的診斷及適度受限的發布。
這項公告未有為每個團隊解決這個平衡問題。機構應根據流程實際產生的決定評估它。有用的證據包括:在發布前捕捉到的失敗、縮短的調查時間,以及員工依賴未受支援的行為前已釐清的要求。
甚麼將證明該框架的生產價值
未來數月,有三項訊號值得留意:更廣泛的重現、按任務類型組織的決定,以及已記錄的驗收準則變更。每項訊號都測試框架承諾中的不同部分。
生產價值將取決於證據改變了哪些決定,而非完成了多少次評估。
首先,應留意小型人力資源範例以外的結果。規模更大、更多樣化的評估,將有助釐清這些診斷區分是否能跨領域維持實用性。報告應說明測試範圍,並區分參考實驗與客戶營運結果。
若有證據顯示團隊反覆識別出缺失資訊,或隔離出有害變更,將強化相關論點。若結果只限於有利的平均數,核心疑慮便仍未解決。問題在於,量度是否改變了調查方式。
其次,應留意保留不同任務之間差異的發布決定。一個助理可能支援某些要求,同時把其他要求轉交給真人處理。公開說明這些界線,比單一聲稱已準備好投入生產環境更有資訊價值。
這個訊號很重要,因為生命週期只有在約束交付時才會建立可信度。一份說明團隊為何暫緩某項能力的報告,將展示驗收證據如何影響權限;一份只描述成功部署的報告,所揭示的資訊則較少。
第三,應留意在實際使用後對標準作出的已記錄修訂。意料之外的要求有時應改變用來評判產品的範例或界線。這些變更需要說明,並區分擴大覆蓋範圍與行為惡化。
清晰紀錄將提高人們對回饋能觸及產品決定的信心。若不斷重寫提示詞,卻沒有解決缺失的要求,則會削弱這種信心。這項區分決定機構是否從失敗中學習,還是只改變助理的措辭方式。
這些是觀察訊號,而非對已公告發布的預測。AWS 展示了一個框架及一項示範性實驗。其更廣泛的生產價值,仍是採用它的團隊需要以實證回答的問題。
對開發者而言,眼前的意義是讓授權發布的人能理解證據。對企業買家而言,是要追問證據實際涵蓋哪些要求。對員工而言,則是助理是否知道自身知識的界線。
在批准下一個代理示範前,選擇一個其失敗會改變某人下一步行動的真實要求。問一問哪些已批准資訊支持答案,以及當該等資訊缺失時系統應如何處理。然後再問,最新變更是否改善了這種行為,同時沒有損害另一項已支援的任務。AWS Agent DLC 為這些問題提供結構,但答案必須來自你自己的證據。與負責底層工作的人一同審視驗收範例。確認誰可以批准發布、誰可以修訂要求,以及誰在發布後調查失敗。這個群組能否解釋,為何目前版本值得在其聲明範圍內獲得信任?



