top of page

Amazon Bedrock 代理程式推出 Spring AI 參考架構

43 分鐘前
讀畢需時 13 分鐘

AWS 於 11 月 11 日發表 Amazon Bedrock 代理程式的參考架構,將 Java 應用程式連接至工具、對話記憶及受管理部署。其範例把熟悉的 Spring 開發模式帶入代理程式應用程式,同時保留一項重要區別:部署代理程式,並不代表其決策必然可靠。

這次發布針對正評估採用代理程式時,能保留多少既有軟件基礎設施的企業 Java 團隊。Spring AI 是一個把 Spring 應用程式與 AI 模型及相關服務連接起來的框架,提供應用程式層;Amazon Bedrock AgentCore 則是 AWS 用於託管及運行代理程式的服務,提供支援基礎設施。

核心張力在於熟悉的應用程式工程,與陌生的決策行為之間。一項服務可以在網絡層面正確回應請求,卻仍可能選擇不合適的行動。AWS 為連接這些層面提供實用起點,但採購方仍需取得有關結果、權限及復原能力的證據。

Amazon Bedrock 代理程式有何改變

AWS 提供的是實作參考,而非公布新的 Bedrock 模型,亦非確立自主運作的可靠性。

這個 Java 代理程式架構涵蓋旅遊助理及文件處理系統。範例連接工具呼叫、對話記憶、韌性及部署。工具呼叫是指模型請求某個應用程式功能,再由周邊軟件執行。

文件系統採用路由及評估規則。平行執行專家工作仍屬可選擴展,而其批次端點會按順序處理文件。示範用的防護欄服務亦有別於生產環境的 Bedrock Guardrails。分散式追蹤及自動化評估回饋循環均需要額外實作。

這些界線很重要,因為架構圖會壓縮在採購過程中變得關鍵的差異。圖表可以顯示與某項服務的連接,卻不能證明每次部署均已完成設定。某個元件可以支援一項能力,並不代表範例已在真實條件下運用該能力。

對開發人員而言,這份參考資料減少了應用程式程式碼應放置何處的不確定性。對工程經理而言,在選擇框架前可提供具體內容供檢視。對安全審查人員而言,它揭示了流暢的聊天示範往往掩蓋的問題。

參考架構與客戶部署報告所承擔的證據角色並不相同。前者說明一種做法並提供實作材料,卻不能證明它能適用於某機構的各類文件、存取控制、營運條件或業務例外情況。

試想一個檢索旅遊資訊並建議行程的內部助理。具說服力的答案可展示有用的互動,但不能證明它有權購買機票、更改預訂,或披露另一名員工的偏好。

同樣的區別也適用於文件處理。成功擷取某個欄位,與根據該欄位批准交易,是兩回事。應用程式團隊需要辨識解讀何時結束,以及具實質影響的行動何時開始。

因此,這項發布的重要性不只在於 Java 語法。它把討論推向企業團隊可以審查的應用程式界線。這套架構為團隊提供起始詞彙,而其自身工作負載仍須提供驗收準則。

因此,眼前的改變是實際而非普遍的。開發人員多了一條從模型互動走向已部署服務的具體途徑。他們仍需決定哪些決策值得自動化、哪些需要確認,以及哪些應維持在代理程式權限以外。

把這些範例視為可供檢查的起點,能更清楚看見其價值。團隊可在接受更廣泛的自主運作承諾之前,逐一檢視各項界線。

Java 團隊可以保留原有技術棧,但會承擔新的決策責任

壓力落在應用程式擁有人身上,他們必須把代理程式示範轉化為可問責的業務服務。

這個 代理程式範例儲存庫包含 Java 後端及獨立的瀏覽器介面。其文件所述的部署流程會建立 ARM64 容器映像、儲存至 Amazon Elastic Container Registry,並透過 Terraform 佈建 AgentCore Runtime。

容器映像把應用程式程式碼及相依項目封裝,以供執行。Terraform 則以設定方式描述基礎設施。對於已在營運雲端應用程式的團隊而言,這些選擇令部署路徑更易理解。

不過,儲存庫的設定要求與網誌導覽部分內容有所不同,包括前端及基礎設施工​​具的版本。開發人員應檢查所選修訂版本附帶的要求。複製一份先決條件清單,不應取代檢視實際部署的軟件。

較大的組織效益在於延續性。團隊可以透過既有的程式碼審查、發布批准及營運責任來評估代理程式。這減少了因模型參與其中而必須引入獨立開發流程的需要。

延續性亦可能帶來虛假的熟悉感。傳統應用程式行為通常依循開發人員寫下的明確分支;代理程式則會在這些分支中引入由模型選擇的行動。熟悉的部署機制,並不會令這些選擇同樣可預測。

因此,平台團隊面對的是另一個審查問題。檢查應用程式能否啟動是必要的,但並不足夠。審查人員還需要了解模型可請求哪些行動,以及周邊程式碼容許甚麼。

例如,員工助理可能可以存取開支系統。查閱報銷規則與提交開支申請,代表不同的權限。即使兩項操作向模型呈現為同一個對話介面,也不應抹去它們不同的後果。

產品經理亦有相關責任。他們需要足夠精確地描述服務容許的結果,讓工程師能夠測試。「處理開支問題」比起識別支援的請求及必須批准的環節,留下更多模糊空間。

營運團隊承接另一條界線。代理程式可能因基礎設施不可用、解讀錯誤、工具選擇不當或未解決的業務例外而失敗。即使用戶把它們全都描述為一個差勁的答案,這些失敗仍需要不同回應。

支援團隊亦需要能說明發生甚麼事的紀錄。單靠最終回覆,可能會掩蓋查詢失敗、重複操作或升級處理不成功等情況。有用的營運證據必須把用戶請求與最終應用程式行為連結起來。

對於記錄這些決策的團隊而言,可搜尋的知識庫可讓設計假設及營運指引保持易於存取。這些文件可支援審查人員及維護者;它們應與代理程式的對話記憶保持區別。

架構上的機會,是在加入新的決策層之際保留既有的責任歸屬。管理上的挑戰,是確保有人明確擁有該決策層。否則,模型行為可能會落在應用程式開發、基礎設施營運及業務政策之間的縫隙。

在擴大自主權之前,應先回答責任歸屬問題。在未分配責任前擴大存取權,會令往後事故更難診斷及解決。

工具呼叫令應用程式成為執行界線

模型可以提出行動建議,但應用程式程式碼必須決定該行動是否可接受。

Spring AI 的工具呼叫文件描述了一個循環:模型請求函式,框架執行相符工具,結果再傳回模型作後續處理。文件明確區分此安排,與讓模型直接存取底層應用程式介面之間的差異。

這種分隔是評估此架構最有用的方法。模型的請求代表建議意圖,而工具周邊的實作決定該意圖會否成為外部行動。

設想一個處理安排行程請求的假想旅遊助理。查詢天氣屬於資訊用途;預訂房間會改變外部系統。即使兩項工具在模型看來相似,這項差異也應反映於授權及確認行為。

具描述性的工具名稱並不能確立這條界線,要求模型小心的指令也不能。當模型誤解請求或接收誤導資訊時,應用程式仍需要有效的檢查機制。

輸入驗證,即檢查提供的數值是否符合應用程式要求,能處理部分問題。目的地必須存在、日期必須可解讀,而請求必須指向容許的資源。這些檢查應在具實質影響的執行前完成。

授權處理的是另一個問題:已識別的用戶是否可以執行所請求的操作。有效的參數仍可能描述未獲授權的行動。把這些檢查混合成含糊的「安全輸出」概念,會令失敗更難辨識。

工具設計亦會影響復原能力。查詢通常可以重複進行而不改變業務狀態;重複提交卻可能造成重複工作。冪等性,即重複的等效請求不會帶來額外業務影響,在可重試行動中變得重要。

這是架構帶來的工程含義,而非證明每個範例工具均已實作這些保護措施。團隊在改編範例時,應檢查每個工具的實際行為。容許的副作用,比對話標籤更重要。

當工具向模型回傳資訊時,同樣需要這種紀律。回應可能包含不完整紀錄、意外文字或錯誤訊息。把每個回應都視為可信的背景資訊,可能會把下游問題轉化為錯誤建議。

應用程式擁有人應決定工具失敗時代理程式會看見甚麼。清晰的失敗結果讓模型有機會說明不確定性;看似成功的空白結果,則可能促成缺乏依據的回答。

介面亦需要如實交代完成情況。模型產生流暢回覆,並不能證明所請求的操作已成功完成。成功與否應依據負責該操作的系統所提供的證據。

這正是架構中熟悉的應用程式模式發揮作用之處。現有服務界線可以執行權限控制、驗證紀錄及記錄結果。模型可在這些界線內運作,而不會成為其權威。

最強的實作會在對話變得複雜時仍保留這種分工。新增工具應擴展有用能力,同時令執行決策保持可檢查及受約束。

記憶與多代理路由擴大了審查範圍

額外的背景資料與專家角色會帶來更多需要驗證的行為,並不會自動提高正確性。

對話記憶會保留資訊,供日後互動使用。這可令助理在持續進行的工作中更有用,但保留的背景資料亦帶來關於擁有權、準確性及刪除的問題。

已記住的偏好不應在無聲無息間變成永久授權。僱員可能更改目的地、撤回請求,或更正先前的陳述。應用程式需要能處理這些變更,而非將每則歷史訊息一概視為同樣有效。

記憶亦需要與其他地方保存的記錄建立清晰關係。對話可能描述某項批准,但業務系統卻沒有記錄任何批准。負責交易的系統應繼續作為權威來源。

身分識別令這個分野尤其重要。AWS 的 執行階段安全指引指出,後端必須強制執行使用者與工作階段之間的對應關係。執行階段隔離並不能證明所提供的工作階段識別碼屬於提出請求的使用者。

隔離是指分開執行環境。授權則是決定誰可存取某項資源。混淆這兩個概念,便會在基礎設施保護與應用程式存取之間留下缺口。

假設有一個支援助理,便可說明這個問題。即使執行環境保持隔離,應用程式仍可能載入了錯誤客戶的對話紀錄。保護環境並不能修正擷取哪段歷史資料的錯誤判斷。

專家路由引入了另一種邊界。路由器會決定請求應送往哪條處理路徑,而專家則處理較狹窄的任務。這種安排可令職責更清晰,但最初的路由選擇亦成為另一項需要驗證的決定。

設想一份同時包含協議及財務附件的文件。標籤顯示其含有法律內容,並不代表每條相關問題都屬法律問題。應用程式需要訂立處理模糊情況、混合材料及不支援請求的政策。

評估器帶來另一項分別。規則式評估器會根據已設定條件檢查輸出;模型式評估器則產生判斷。兩者皆可有用,但其失效模式及證據價值並不相同。

規則可以穩定地偵測遺漏欄位,卻未必能證明已填寫欄位是否準確。模型審閱者可識別不一致之處,但可能與原始模型共享相同假設。僅僅一致不應被當作證明。

相關的業界比較屬於架構層面。Anthropic 的 代理設計模式區分了預先定義的工作流程,以及能動態指揮自身流程的代理。其指引傾向採用簡單、可組合的方法,並在任務需要時才增加複雜度。

這個觀點可平衡將多代理視為必然終點的想法。可預測的處理路徑,往往比自行選擇步驟的系統更易檢查。動態行為需要針對特定工作負載提出理據。

對 Java 團隊而言,決策應取決於任務的不確定性。若既定順序已能可靠地處理工作,額外協調便需要帶來可量度的效益。僅有專家標籤並不足以提供這些效益。

平行處理亦值得同樣審視。獨立工作可同時進行,但相互依賴的工作仍需要排序。整合結果亦需要處理分歧、遺漏輸出及部分失敗的規則。

實際問題在於,計入審查及復原成本後,額外協調是否能改善獲接受的成果。無論使用甚麼框架或雲端服務,這個問題仍然適用。

韌性讓服務維持可用,並不保證決策正確

復原機制處理的是營運故障,而成果質素需要獨立證據。

重試是在失敗後再次執行操作。斷路器會暫時停止呼叫故障中的相依服務。逾時設定則限制操作可等待多久。這些機制有助控制服務行為,但沒有任何一項可判定答案是否準確。

應用程式可迅速回覆錯誤建議,也可在業務操作只完成了一部分時妥善失敗。因此,基礎設施健康與任務完成需要分別定義。

對假設中的文件助理而言,成功完成可能需要準確擷取內容、作出合適的路由決定,以及記錄處置結果。收到語法上有效的回應,只能證明這條鏈中的一部分。

結構化輸出會將生成資訊放入預先定義的格式,有助應用程式程式碼使用結果。但這並不能證明資訊與來源相符。格式正確的日期,仍可能是錯誤日期。

信心分數亦需要審慎處理。伴隨結果的分數,只有在團隊了解它在自身工作負載中預測甚麼時才有用。高分不應自動凌駕缺失的證據或明確的業務限制。

人工審核同樣需要實際的營運安排。標記結果與將結果交由可問責的人評估,是兩回事。審核流程需要擁有者、相關證據、處置決定,以及對後續行動的明確影響。

沒有人收到的警示,無法提供有意義的監督。即使有人收到警示,若審閱者看不到來源材料或無法修正結果,亦仍然不足。團隊需要檢查整個交接過程。

內容控制處理的是問題的另一部分。Bedrock Guardrails支援為輸入及模型回應設定篩選規則,包括不受歡迎內容及敏感資訊。這些控制措施應按應用程式的使用情境評估,而不應因其存在便假定有效。

內容篩選與交易授權仍是不同職責。一個禮貌而平常的請求,仍可能尋求存取他人的記錄。一個回應可符合內容政策,同時描述使用者無權授權的業務操作。

因此,架構需要在多個邊界提供證據。團隊需要知道使用者提出了甚麼請求、模型建議了甚麼、應用程式允許了甚麼,以及外部系統完成了甚麼。

可觀測性是指收集有助解釋系統行為的訊號。有用的訊號可支援調查,但收集訊號本身並不能作出發布決定。仍需要有人界定哪些成果足以支持部署。

評估是以具代表性的任務,按照明確準則測試行為。對企業代理而言,應包括一般請求、模糊輸入、不可用的相依服務、未獲授權的請求,以及對早期背景資料的更正。

目的在於於使用者依賴服務前揭露故障。圍繞成功互動而優化的示範,無法回答相同問題。只顯示請求數量、卻不顯示工作是否可接受的儀表板亦不能做到。

私隱同樣屬於這項評估的一部分。記錄完整對話及工具結果,可能建立另一個敏感資訊集合。團隊應決定所需證據,以及存取及保存安排如何運作。

對 Amazon Bedrock 代理而言,發布邊界應隨所支援的任務而定。內部研究助理與可更改財務記錄的應用程式,需要不同的驗收準則。共用同一框架,並不代表其營運風險可互相替代。

這就是此處生產就緒的實際意義:為所提供的特定服務,具備已定義的行為、已強制執行的邊界、可量度的成果,以及可行的復原安排。

擴大自主性前應留意甚麼

下一批有用證據,將會把架構與在真實營運條件下可重複取得的業務成果連結起來。

未來數月首個值得留意的訊號,是針對特定工作負載的評估證據。團隊應尋找已有記錄的任務、清晰的驗收準則,以及與可識別應用程式版本相連的結果。

最具參考價值的證據,會包括失敗案例及其後的修正。這可加強對開發人員理解系統限制的信心。若只是擴充功能清單而沒有成果證據,核心不確定性仍未解除。

評估亦應區分成功自動化與由人工補救完成的工作。審核可以是合適的設計選擇,但若隱藏其貢獻,便難以評估自主表現。

第二個訊號是完整且經測試的身分邊界。有用的實作證據,會把已驗證的使用者與獲准使用的工作階段、記憶存取及工具執行連結起來。

負面測試在此與成功對話同樣重要。若能證明一名使用者無法擷取另一名使用者的歷史資料,將有助支持部署。倚賴由客戶端提供的身分值,則會削弱這個理據。

工具權限亦應接受同樣審視。權限範圍狹窄的助理,比起擁有廣泛存取權而保障措施含糊的助理,能提出更清晰的營運主張。擴展應建基於較狹窄服務按預期運作的證據。

第三個訊號是展示從部分失敗中復原的能力。團隊應留意:當操作開始後相依服務失敗、回應中斷,或需要審核時,系統是否有受控行為。

有用的證據會顯示操作是否重複、不完整工作如何識別,以及誰可解決問題。成功復原會加強對營運設計的信心。單靠後備訊息,仍會令完成狀況不明確。

這些訊號並不要求每個代理都成為通用的自主工作者。受限制的應用程式可在保留明確批准節點的同時提供有用結果。相關衡量標準,是其能否在已聲明的授權範圍內完成所支援的工作。

AWS 已為 Java 團隊提供了一個可供檢視的具體架構。其長遠意義將取決於團隊在調整後能驗證甚麼。熟悉的開發模式令採用更易組織;關於行為的證據則令採用更容易得到理據支持。

採用此參考架構前,先選定一項界限清晰的任務,並寫下成功完成的定義。識別代理可讀取的記錄、可請求執行的操作,以及需要批准的決定。然後以具代表性的工作評估實作,包括失敗及拒絕存取的情況。將這些發現與應用程式的設計決策一併保留,讓日後變更有清晰比較基準。只有在證據支持下一項權限或工作流程時,才擴大範圍。對 Amazon Bedrock 代理而言,有用的起點問題很具體:你的團隊可驗證哪項任務,從最初請求直到最終業務成果,並包括代理必須停止的時刻?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page