top of page

AWS 發布 aws-emulator,將雲端測試帶入代理編程迴圈

56 分鐘前
讀畢需時 12 分鐘
Illustrative photograph. Photo: Bibek ghosh / Pexels.

AWS 於 11 月 11 日發布 aws-emulator,讓開發人員無需 AWS 帳戶也可進行本機雲端測試,同時可將程式碼生成工作交予自主代理。該軟件模擬 AWS 應用程式介面(API),即應用程式用以請求服務的方式。其核心挑戰在於,能否足夠貼近雲端的實際行為,令更快的測試帶來有用的信心。

這令 AWS 與 LocalStack 等成熟本機測試工具並列,也提出一個更尖銳的工程問題:對於由代理撰寫、再由其他代理評估的軟件,甚麼證據才足以建立信任?

核心張力在於低成本、可重複的本機回饋,與真實 AWS 服務行為之間。這次發布令兩種環境更接近,但並未令兩者可以互換;AWS 亦明確記錄了安全性、區域行為及功能覆蓋範圍的界限。

aws-emulator 為本機測試帶來甚麼改變

AWS 現提供自家的本機測試環境,令雲端行為在部署前已成為開發迴圈的一部分。

根據 AWS Emulator 概覽,請求會轉送至開發人員電腦上的模擬資源,而非 AWS。開發人員可在本機、開發伺服器或持續整合環境中使用此環境;持續整合是自動建置及測試變更的流程。

這個分別很重要,因為雲端依賴往往會令一項細小的程式碼修改變成基礎設施工作。有人必須安排存取權限、建立資源、執行應用程式、檢查結果,並在之後清理資源。本機環境可減少這類協調成本。

以一個建立儲存桶、寫入物件並於稍後讀取的應用程式為例。本機測試可在無需佈建真實儲存桶的情況下,演練這個流程。其有用之處,是讓開發人員在決定部署至雲端前,取得有關應用程式行為的回饋。

不過,成功完成一個流程只回答了一個有限的問題:它顯示應用程式與模擬器對該特定互動的理解一致。若要對 AWS 相容性建立信心,仍需要證據證明模擬行為亦與應用程式最終會使用的服務一致。

因此,這次發布的意義不只在於方便。AWS 同時提供雲端服務,以及用以呈現其介面的模擬器。這種關係帶來一個機會:將本機測試與明確的行為比對連結起來。

這亦提高了期望。開發人員自然會問:哪些操作可用、哪些工作流程已獲檢驗,以及差異仍存在於何處。官方擁有權令這些問題更值得追問,但不會自動回答它們。

專案的授權條款亦降低了檢視及重用的門檻。其儲存庫將模擬器程式碼標示為 CC0,即公有領域奉獻;而隨附的框架程式碼則採用 Apache License 2.0。這些條款關乎重用,而非執行時相容性或支援保證。

對工程團隊而言,實際改變是多了一個及早捕捉錯誤的位置。開發人員可在未牽涉共享雲端環境前,發現無效請求。編程代理在修改實作時,也可獲得同樣的回饋。

這兩項好處都不要求取代現有的所有測試。當本機檢查能更早發現錯誤,並清楚解釋失敗原因時,便具價值。它們的貢獻應按這些結果衡量,而非按重建整個雲端的雄心衡量。

因此,這次發布改變了測試可以在哪裡進行。它是否改變部署信心,則取決於團隊需要的具體行為,以及可取得的相關證據。

更快的代理令回饋迴圈承受壓力

最直接的壓力落在那些程式碼生成能力已超越其驗證變更能力的團隊身上。

AI 編程代理是一種可生成程式碼、執行工具,並利用結果決定下一步行動的軟件。其效用部分取決於結果的品質。具誤導性的測試環境,可能令錯誤實作獲得正面回饋。

這形成使用雲端服務的開發人員所熟悉的瓶頸。相較於產生另一個實作,確定它是否正確處理所需基礎設施要困難得多。更快的程式碼產出,令可信回饋變得更重要。

本機 AWS 測試環境可處理部分問題。代理可嘗試一個工作流程、觀察失敗,並在無需等待下一次部署的情況下修改程式碼。其價值在於縮短有意義的回饋週期。

這個限定至關重要。若快速回應反映的是生產服務本會拒絕的行為,其價值便不大。團隊需要區分收到回饋的速度,與回饋本身的準確性。

這種壓力不只影響應用程式開發人員,也影響平台工程師。平台團隊必須決定哪些檢查應在日常開發期間執行,哪些則需要真實 AWS 基礎設施。新的模擬器增加了一個選項,也增加了一條需要管理的界線。

例如,本機測試可能證明應用程式能正確處理缺失資源;另一項雲端測試則可能證明已部署的身分有權讀取預定資源。這些結果支援不同的發布決策。

同樣的分別亦影響評估代理生產力的工程經理。生成更多變更,未必代表有更多可用變更。驗證工作、失敗診斷和部署結果,都應納入對該工作流程的評估。

本機測試可透過令失敗更易重現而有所幫助。可重複的情境為開發人員提供具體的調查對象,也為代理提供明確目標,而非開放式地要求它令應用程式運作。

文件記錄亦成為這項基礎設施的一部分。團隊需要保留哪些假設已在本機驗證、哪些已對照 AWS 確認的紀錄。可搜尋的知識庫可在實作演變時保留這些決策。

因此,組織層面的問題不止於選擇工具。必須有人負責本機環境與雲端環境之間的關係。否則,開發人員可能累積大量通過的測試,卻未就這些測試究竟證明甚麼達成共識。

這次發布對這種責任模式施加壓力。當代理能反覆生成和修改程式碼,緩慢或定義不清的驗證流程便更為顯眼。回應方法應是更清晰的驗收準則,並由合適的測試環境支援。

這是對採購方和工程領導者而言的短期意義。相關機會在於更快驗證有界定的工作流程,並在本機證據不足之處明確升級至雲端測試。

代理撰寫的程式碼依賴外部參照

AWS 開發主張中最關鍵的部分,是用來判斷正確性的參照。

AWS 表示,自主代理撰寫了模擬器的程式碼。在其對自主代理工作流程的說明中,該公司描述了不同代理團隊分別建立測試、識別失敗及實作修正。

起始材料包括以 Smithy 撰寫的公開 AWS API 模型;Smithy 是一種描述服務操作、輸入、輸出及錯誤的語言。實際的 AWS 雲端則提供行為參照。

AWS 表示,代理會先針對真實服務驗證情境,然後在模擬器上執行相同情境並處理差異。建議的變更須通過自動化閘門,包括編譯、審查、安全檢查,以及行為回歸檢查。

這些是公司對流程的描述,並不能獨立證明每項實作的品質或測試的完整性。不過,它們說明這個專案不只是要求模型模仿文件內容。

書面介面可描述一項操作,卻未必捕捉呼叫它的每一個後果。應用程式亦依賴變動中的資源狀態、遭拒絕的請求,以及操作之間的互動。行為測試為這些細節提供證據。

設想一個佇列消費者接收訊息的情境。應用程式取決於後續發生的事情,包括另一個消費者能否立即接收該訊息。只檢查接收回應的測試,會令部分工作流程未經檢驗。

這說明外部參照的重要性。若代理同時創造實作及其預期行為,兩者一致只能提供有限保證。對照 AWS 檢查預期結果,便可限制這種一致性。

這並不免除審視測試的需要。一個情境可能遺漏重要條件,或對結果作出過少斷言。只有當測試提出有用問題並準確記錄答案時,參照才有幫助。

基於同一原因,分隔代理職責亦很重要。測試建立、失敗診斷及修復有不同目標。清晰的界線讓人更容易檢視建議的修正是否處理了所觀察到的差異。

餘下的工程工作轉向界定這些目標及控制變更。工程師仍須決定哪些行為重要、哪些證據已足夠,以及哪些條件會阻止發布。自動化擴大了這些決策的影響範圍。

提交總數所提供的訊號則弱得多。一次提交記錄的是變更,而非經驗證的功能單位。大量提交可反映廣泛的開發活動,卻不能顯示某個特定應用程式工作流程是否正確運作。

因此,對 AWS 方法最有力的解讀是具體的:當代理擁有可觀察的參照行為及強制執行的驗收條件時,它們可協助建立和維護測試環境。

至於代理能可靠建立任意軟件的更廣泛主張,則需要額外證據。許多產品沒有可直接查詢行為的參照實作。這個專案擁有一個異常有用的預期答案來源。

AWS 加入成熟市場,面對不同的證明負擔

現有模擬器已確立使用情境,而 AWS 必須證明其實作為何值得採用。

本機雲端測試早於這次發布已經存在。LocalStack 將其本機雲端測試環境描述為一個以容器為基礎的系統,可用於開發、整合測試、基礎設施驗證及實驗。其文件亦涵蓋 AI 代理工作流程。

這個背景避免人們誤解此公告。AWS 是進入一個既有類別,面對的是熟悉的開發人員需求。問題在於,其實作能否在既定的文件界限內,妥善服務這些需求。

官方擁有權是一項有意義的分別,但工程團隊仍需要工作負載證據。工具的來源無法說明它能否處理某個應用程式的特定請求序列。遷移決策需要檢查該序列。

對於已使用 LocalStack 的用戶而言,比較時應涵蓋現有測試覆蓋率及營運成本。即使替代方案容易取得,更換一個運作正常的環境仍有代價。團隊必須考慮設定、診斷及維護工作。

對於尚未進行本地雲端測試的團隊,選擇則有所不同。問題在於,本地環境能否捕捉到足夠多的相關錯誤,足以證明引入它的價值。一次聚焦的評估可在毋須承諾整個應用程式的情況下回答這個問題。

最具參考價值的比較,是在不同環境中使用相同工作負載。差異便會成為可觀察的工程事實。兩個產品描述中都出現某項服務名稱,遠不及應用程式實際呼叫的操作所提供的證據有用。

當工作流程跨越服務邊界時,這點尤其重要。應用程式可能從個別操作獲得看似合理的回應,卻無法重現它所需的整體行為。服務覆蓋率與工作流程覆蓋率彼此相關,但屬於不同考量。

安裝方式亦會影響採用程度。AWS 目前記錄了適用於 Linux 的原生套件,以及適用於 macOS 和 Windows 的 Docker 路徑。Docker 將應用程式封裝在容器中,提供一致的執行環境,但亦增加了一項安裝要求。

Simon Willison 在其本地模擬器評估中歡迎這個專案,同時指出該平台限制。他報稱該專案首三週已有 29,684 次提交,並表示希望能有適用於各平台的可下載二進制檔案。

這項觀察將開發人員便利性與測試架構聯繫起來。能夠輕易配合標準測試套件的依賴項,較容易被持續採用。額外的環境管理可能帶來阻力,尤其是團隊成員使用不同作業系統時。

AWS 亦記錄了供 Rust 測試使用的嵌入式模式,讓模擬器在測試程序內運行。這為 Rust 開發人員提供另一條整合路徑,但並不代表每種語言和平台均獲得對等的原生支援。

這些差異令廣泛宣稱誰是贏家的說法為時尚早。有些團隊會優先考慮既有工具和工作流程;另一些則會重視 AWS 的擁有權、可檢視的行為測試,或 Rust 整合。

競爭壓力是具體的:模擬器供應商必須說明其相容性聲稱的範圍。當產品令失敗情況、排除項目及驗證方法更易比較時,開發人員便會受益。

測試通過仍留下重要缺口

本地成功只有在其範圍與所作決策相符時,才能支持發布決定。

AWS 將行為相似度稱為「fidelity」,即模擬操作與 AWS 的吻合程度。其fidelity measurement文件區分了受支援的介面與經驗證的行為,並指出不同服務和功能存在差異。

文件指出,目前控制平面的行為最接近 AWS。控制平面負責管理資源,例如建立儲存桶。資料平面則執行服務的主要工作,例如儲存和擷取物件。

這項區分對應用程式團隊十分重要。成功建立資源,並不表示使用該資源進行的每項操作都能正確運作。部署導向測試與應用程式工作流程測試回答的是不同問題。

AWS 公布行為測試,並將服務分數描述為相對於可用測試套件的通過測試數量。它亦提醒,比較時須採用相同版本的測試套件。擴大覆蓋率可能會揭示早前分數未有衡量的缺口。

其分析含義很直接:分數只有連同其分母及所代表的行為才有意義。應用程式團隊需要知道,相關工作流程是否包含在該證據之中。

未覆蓋的行為與已知失敗屬於不同類別。它可能可正常運作,但已公布的測試並不能證明這一點。分開看待這些類別,有助避免信心超越驗證結果。

安全性構成更明確的界線。AWS 的安全測試限制明確警告,不應使用模擬器結果來確立應用程式安全性。文件指出權限評估存在差異,並排除了多項政策及跨邊界安全檢查。

這代表一次成功的請求不能證明正式環境的權限設定正確。本地應用程式可能成功擷取物件,但其已部署身分未必具有所需存取權限。反過來說,本地失敗亦不一定代表雲端權限失敗。

這是測試所提供證據的限制,與聲稱安全代理會審查模擬器變更是兩回事。審查模擬器程式碼與驗證應用程式的雲端安全性,是不同工作。

團隊應在發布討論中保留這項區分。否則,「安全」一詞可能將無關的保證聯繫起來,造成覆蓋率的錯誤印象。合適的做法是驗證實際安全設定的雲端環境。

區域和帳戶行為亦須審慎處理。AWS 記錄了資源隔離及用於行為驗證的區域方面的限制。依賴地理差異或帳戶邊界的應用程式,需要針對這些依賴項的專門證據。

因此,本地測試環境應在發布流程中有明確定位。它可以捕捉應用程式錯誤、測試受支援的工作流程,並提供快速回饋。較廣泛的聲稱需要相應檢查支持。

同樣的推理亦適用於效能預期。功能一致性並不能確立正式環境的容量、延遲,或負載下的韌性。開發人員的手提電腦與受管理雲端服務屬於不同運作環境。

只要不確定性仍然可見,便可以管理。團隊可識別模擬器驗證的內容,為被排除的行為保留雲端檢查,並調查不一致之處。當一般性的通過結果取代了這些區分時,問題便會出現。

留意工作流程覆蓋率、平台支援及可重現結果

下一項證據應顯示,模擬器是否能減少真實應用程式的驗證工作。

首個值得留意的訊號,是完整工作流程的進展。個別操作是必要的基礎組件,但開發人員需要能夠穩定運作的應用程式序列。當已公布的修正針對具有實際後果且可重現的差異時,其資訊價值便會更高。

這將加強 aws-emulator 作為日常開發依賴項的理據。團隊會有更清晰證據,顯示本地結果可預測相關的雲端行為。若進展僅限於介面廣度,所帶來的好處則較狹窄。

失敗報告的質素亦屬於這項評估的一部分。開發人員應能理解哪一項操作出現差異,以及該差異為何重要。清晰報告亦可為編程代理在後續變更中提供更有用的資訊。

第二個訊號是平台整合。留意 Linux 以外是否有記錄在案的原生支援、更簡單的發行方式,或更廣泛整合至一般測試套件。這些變更可在不改變根本 fidelity 問題下,解決實際採用障礙。

不應因專案使用 Rust 而假定會有已公布的原生 macOS 或 Windows 路徑。實作語言本身並不能證明支援的發行方式。相關證據應是已發布的套件及相應的平台文件。

嵌入式 Rust 測試為評估未來整合提供有用參考。它展示了如何更緊密地配合某種語言的測試流程。能否廣泛採用,將取決於其他開發人員能否獲得同樣易於管理的工作流程。

第三個訊號,是針對實際 AWS 的獨立可重現比較。有用報告應列明模擬器版本、應用程式工作流程、預期行為及觀察到的差異。這些細節讓其他團隊評估有關結果是否適用。

可重現性比熱情洋溢的示範更重要。成功示範可證明某個情境能運行;可重現比較則有助確立結果的意義及其適用範圍的界限。

這些訊號亦為評估代理開發模式提供更佳基礎。若覆蓋率提升、差異逐步消除,且限制沒有被掩蓋,AWS 的流程便會獲得實際可信度。單純更多活動並不能解決核心問題。

對工程主管而言,應量度的結果是每次變更所減少的不確定性。當本地環境能捕捉相關錯誤並協助團隊診斷時,便值得在流程中佔一席位。相較之下,產生的程式碼數量屬於次要。

先從團隊已熟悉的工作流程開始,尤其是那些經常需要雲端除錯的流程。比較其在本地與 AWS 上的行為,並在擴大採用前記錄差異。安全驗證及其他被排除的檢查,應保留在真正能回答相關問題的環境進行。

把 aws-emulator 視為改善每次變更背後證據的機會。詢問它能否更早捕捉哪些失敗、哪些結果仍存在不確定性,以及另一位開發人員能否重現有關發現。這些答案會比提交總數或廣泛的服務清單告訴你更多。哪個應用程式工作流程最能為你的團隊提供清晰的首次比較?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page