top of page

OpenRouter Agent Loop Guards 針對失控重試

29 分鐘前
讀畢需時 11 分鐘

OpenRouter 於 11 月 12 日發表一項六模型測試,顯示重複的工具失敗如何令 AI agents 持續工作卻毫無進展。其提出的應對方式結合四項保障措施,涵蓋偵測重複呼叫、在 agent 自身程式碼以外限制支出。OpenRouter agent loop guards 處理一個實際矛盾:完成任務的指令,可能令 agent 在有用的復原選項消失後仍不斷重試。

該公司表示,在未啟用重複偵測的 18 次運行中,有四次達到 40 步的上限。啟用偵測後,18 次運行中有 16 次在實際執行兩次工具後結束。這些結果來自公司控制實驗,並非對生產環境可靠性的獨立評估。不過,它們揭示了要求 agent 堅持完成工作,與判斷何時堅持已變成浪費之間的落差。

壓力落在推出自主工作流程的開發者,以及以共享預算信任這類工作流程的買家身上。Vercel 的 AI SDK 等框架早已提供停止條件。OpenRouter 的貢獻在於具體展示失敗情境並提出分層應對,而非證明 agents 已學會何時應放棄。

OpenRouter Agent Loop Guards 讓重試失敗無所遁形

OpenRouter 的 infinite-loop experiment 使用了一個發票工具失敗的帳單 agent。該公司讓六個模型各運行三次,比較啟用及未啟用重複偵測時的行為。教學內容以 @openrouter/agent 0.11.0 版說明相關控制項;這是一個管理 agent 執行的軟件開發套件。

有用的結果是,應用程式控制項改變了重試行為,而毋須更換底層模型。

在評估關於 agent 可靠性的說法時,這個區別相當重要。模型可以理解錯誤訊息,卻仍選擇下一個無效行動。周邊應用程式決定該選擇會變成另一項外部請求、被阻止的操作,還是一項已停止的任務。

帳單設定令這個矛盾容易理解。Agent 有目標,但可用服務無法提供所需資料。繼續對話無法修復該服務。若沒有停止政策,系統便會不斷向模型呈現一項尚未完成的工作,以及另一次採取行動的機會。

這是一個刻意收窄的情境。它測試的是失敗依賴項附近的行為,而不是 agent 執行工作的完整範圍。這種聚焦令機制更清晰可見,但亦限制了對更廣泛部署結果的結論。

一個有用的理解方式,是把完成與控制損失分開。完成,指取得用戶所要求的資料。控制損失,則指在一次未成功的嘗試耗用不合理比例的資源之前將其結束。Agent 可以改善控制損失,卻仍無法完成任務。

這個區別亦改變了團隊應如何解讀評估結果。較少工具呼叫,表示在測試條件下較少重複執行。這並不能證明答案更好、推理更強,或在無關任務上的成功率更高。

對產品團隊而言,眼前問題在於:應用程式是否將不可用的依賴項識別為合理的停止點。解釋某項服務失敗的最終回應,可能正是正確的運作結果。把每項未完成任務都視為繼續的理由,便會形成失控重試的條件。

因此,這項實驗挑戰了一項常見產品承諾:agent 會一直工作直到完成任務。當環境不再提供可行路徑時,這項承諾需要明確界線。

OpenRouter agent loop guards 令這條界線具體化。其價值在於控制失敗後會發生甚麼,同時在另一次嘗試仍有合理目的時,保留足夠復原空間。

持續運作的 Agents 將責任轉移至應用程式擁有人

即使由模型選擇下一項行動,開發者仍須承擔持續執行的後果。

工具呼叫是執行外部功能的請求,例如取得發票或搜尋文件庫。模型提出行動;應用程式碼則決定是否執行、回傳甚麼結果,以及整項任務是否應繼續。

這種分工令運作該工作流程的團隊承擔責任。指令會影響行為,但單靠指令並不會建立可強制執行的支出界線。「完成工作」的要求,沒有解決完成已不可能時應如何處理。

同一問題亦適用於評估 agent 產品的買家。成功示範展示系統在依賴項配合時的表現。採購問題亦應涵蓋服務不可用、反覆驗證失敗,以及在預期復原途徑後仍未解決的任務。

試想一個假設中的助理正在準備客戶帳戶摘要。其文件搜尋正常,但帳單連線失敗。反覆查詢帳單,不會為摘要增加已核實資料。有用的備案應保留已有發現,並標示缺失的來源。

這個例子說明的是產品決策,而非新能力的說法。營運方必須決定是否接受部分完成、是否可供升級處理,以及用戶如何看見未解決的工作。模型不能代替組織制定這些政策。

對於建立 searchable knowledge base 的工程團隊而言,檢索失敗亦會帶來類似決策。缺少的證據應保持可見,而不是被重複搜尋或沒有依據的答案掩蓋。

財務壓力亦不限於單一任務。一個工作流程可以仍在個別額度內,卻在眾多同時進行的工作階段中耗用大量資源。因此,應用程式擁有人需要區分任務預算與組織支出界線。

負責這些界線的人往往分屬不同團隊。產品經理界定可接受的失敗行為;工程師實作停止規則;營運人員調查事故;預算擁有人決定組織可承受多少風險。

若這些職責仍然割裂,agent 即使完全按設定行事,亦可能產生不可接受的運作結果。模型遵循持續執行的指令,應用程式允許另一項請求,而組織事後才發現缺少限制。

OpenRouter agent cost controls 令這個協調問題浮現。其更廣泛含意是,自主性需要明確的失敗契約:當持續投入不再服務於用戶時,應用程式會怎樣做。

該契約應在產品體驗中清晰可見。已停止的任務需要明確解釋、保留的脈絡,以及恰當的下一步。否則,成本控制只會以令人困惑的失敗,取代昂貴的失敗。

四層措施處理 Agent 持續運作的不同方式

重複偵測、任務限制與帳戶限制處理不同的失敗界線,因此不能把它們的角色合併為一個開關。

OpenRouter 的 doom-loop detection 識別 agent loop 內的重複行為。啟用 doomLoop: true 時,文件所述的預設門檻會在連續重複兩次時觀察、三次時阻止、六次時停止。

被阻止的本機工具呼叫不會執行。相反,模型會收到解釋重複情況的錯誤訊息。因此,阻止有別於終止:在較強的停止行動生效前,agent 仍有機會改變方向。

偵測器對重複的定義相當重要。它計算模型看到前一次結果後作出的新嘗試。在單一回合內同時發出的相同呼叫,會計為一次重複事件。

下一層的 loopKey 定義哪些輸入代表同一操作。它可以標準化無關差異,或只選取具意義的欄位。OpenRouter 亦容許為本身需要重複執行的工具停用重複偵測。

架構上的啟示是,相等與否具有業務含意。開發者必須決定大小寫變更是否代表不同記錄、時間戳記是否重要,以及經修訂的查詢是否提供有用替代方案。

這些決策不能安全地遵循通用的文字清理規則。移除對底層服務重要的區別,可能阻礙合法工作;保留無關區別,則可能讓同一失敗操作看似全新。

第三層使用 stop conditions 限制整體運行。OpenRouter 文件列出用於步驟的 stepCountIs,以及用於累積成本的 maxCost。只要條件陣列中任何一項達成,執行便會停止。

這些條件是應用程式內經評估的界線,並不保證達到門檻後絕不會再發生其他事情。文件所述預設行為可執行待處理工具呼叫,並請求最終答案。allowFinalResponse: false 會停用該最終回合。

對於將步驟限制理解為外部操作精確數量的人而言,這個細節十分重要。一個步驟、一次已請求的工具呼叫、一次已執行操作,以及一次最終回應,是不同事件。預算假設應與實際執行路徑一致。

最後一層將強制執行移至 agent 程序以外。OpenRouter 的 credit-limit documentation 說明帳戶積分、個別 key 限制與預算限制。API key 是用於授權請求的憑證。

在診斷方面,文件區分支出限制與管控請求容量的速率限制。其 limit_source 中繼資料識別相關限制。遭速率限制的請求與耗盡支出額度,需要不同回應。

這形成實際的層級。早期偵測限制明顯重複的工作;運行條件限制逃過重複檢查的活動;若應用程式保障措施失效,供應商強制執行會提供另一道支出界線。

以這種方式理解 OpenRouter loop detection,便可視為責任分配。應用程式識別任務行為;供應商強制執行已設定的帳戶限制。兩層都毋須理解整個問題,亦能減少風險暴露。

競爭框架顯示停止早已是 Agent 設計的一部分

OpenRouter 的實驗強化分層強制執行的理據,但停止條件本來已是框架能力。

Vercel 的 loop-control documentation 說明用於終止的 stopWhen,以及用於在步驟之間變更設定的 prepareStep。其現行文件亦區分不同 agent 類別與執行方法的預設值。

這個區別比比較功能名稱更具影響。一個框架可以提供正確的控制項,但特定應用程式可能沒有設定它、移除了預設值,或採用了行為不同的執行路徑。

對開發人員而言,選擇框架不能取代檢視已設定的工作流程。真正相關的問題是,這個已部署的 agent 在失敗後會做甚麼。文件中列出的功能,並不能證明應用程式正在使用它。

Vercel 的做法亦說明了適應與停止之間的關係。工作流程可在步驟之間調整其模型、可用工具或對話脈絡。這些調整提供復原選項,而停止條件則界定何時結束尋找復原方法。

OpenAI 的 agent 執行文件 透過 max_turns 描述了類似的外層界限。超出設定上限會引發 MaxTurnsExceeded;停用該限制則移除這個特定界限。

這些是中性的架構比較,並不證明某個框架能產生較少的失控事件。現有來源描述的是控制措施和執行行為,而非跨實作方式的共同獨立基準測試。

不過,這項比較確實顯示,OpenRouter agent 成本控制值得在系統層面評估。重複政策、終止規則和支出執行機制,需要在應用程式實際的請求路徑中共同運作。

因此,轉換框架的團隊不應假設熟悉的選項名稱代表相同的語義。終止事件在最終回應行為、錯誤處理和待處理工作處置方面都可能不同。這些差異同時影響使用者體驗和營運核算。

從失敗中復原與以更多運算取代失敗,兩者之間也有區別。當障礙涉及規劃或理解時,切換模型或有幫助;但它無法恢復不可用的服務,亦不會取得缺失的存取權限。

因此,將每項卡住的工作都升級至另一個模型,價值有限。應用程式首先需要辨識,另一輪推理是否有合理的成功路徑。否則,升級只會改變哪個模型遇上同一個不可用的依賴項。

將 OpenRouter 迴圈偵測與競爭框架一併說明,可支持一個較狹義的競爭結論。真正的比較在於控制政策的清晰度、涵蓋範圍和易用性,而不是是否存在停止參數。

對採購方而言,這會改變評估對話。要求供應商展示一次不成功的執行、其終止原因,以及最終呈現給使用者的訊息。能清楚處理失敗的產品,能提供精緻成功示範無法供應的證據。

小型失敗測試無法證明生產環境的可靠性

已發表的實驗支持一種遏制機制,但仍未解決其在生產環境的效能和失敗取捨。

OpenRouter 的結果來自其自身測試。文章未提供針對全部署範圍節省效果的獨立驗證,也未證明所選工作負載代表典型企業使用情況。解讀標題結果時,應明確保留這些缺口。

測試提示也很重要。OpenRouter 指示 agent 即使工具失敗也要持續執行。這使設定適合揭示一種危險的互動情況,但無法證明一般應用程式提示會以多高頻率造成相同行為。

更全面的評估需要同時涵蓋成功和失敗的工作。能停止浪費性重試的偵測器固然有用;但若它同時中斷有效復原,便可能因放棄工作和額外人手介入而帶來另一種成本。

因此,相關取捨是遏制與有效持續嘗試之間的平衡。有些工作需要嘗試經修訂的查詢、等待狀態變化,或檢查不同來源。把所有重複活動都視為失敗的政策,會過於粗糙。

正規化帶來另一項不確定性。開發人員決定哪些參數差異屬重要;若該決定有誤,保護措施可能合併不同操作,或無法辨識等效操作。

當工具輸入包含多個身分維度時,這點尤其重要。一個識別碼可能只在某個客戶、工作空間或資料庫內具有意義。正規化政策需要保留底層系統實際採用的區別。

辨識重複與辨識沒有進展之間,亦存在落差。agent 可以無限產生新的輸入,卻沒有更接近結果。不同的操作不一定構成有用的探索。

因此,不應把 OpenRouter agent 迴圈防護描述為普遍解決無限迴圈。模式偵測能識別某些行為;更廣泛的條件則為偵測器未分類的行為劃出界限。

最終使用者回應帶來另一個評估問題。以可讀文字結束的工作仍可能不成功。團隊需要評估回應是否準確說明失敗,並避免把未完成的工作表述為已完成。

營運報告亦應保留這項區別。乾淨終止的工作、已完成的工作,以及需要人手介入的工作,含義各不相同。把它們合併為單一成功指標,會掩蓋保護措施的價值和成本。

同樣地,支出上限並不證明每項個別操作都恰當。它只是在已設定的政策下限制風險承擔。工作質素、授權,以及外部操作的後果,仍是獨立議題。

因此,最可辯護的解讀是具體而有限的:OpenRouter 已展示可重現的失敗模式,並記錄旨在遏制該模式的控制措施。這些措施是否能改善特定生產工作流程,取決於工作負載相關的證據。

該證據應同時包括避免的浪費和被中斷的正當工作。若缺少兩方面資料,團隊便無法判斷較嚴格的停止規則是改善產品,還是僅令其失敗時間縮短。

留意獨立測試、預設設定和跨工作階段執行機制

下一批有用證據將顯示,遏制措施能否在真實工作、一般設定選擇和共享的生產工作負載下持續有效。

未來數月首個值得留意的訊號,是涵蓋多種失敗情況的獨立測試。有用的評估應包括暫時性故障、不可用權限、變化中的輸入,以及成功復原路徑。

若保護措施能持續減少無效執行,同時不會大幅中斷有用工作,這類測試會強化 OpenRouter 的論點。若有證據顯示經常出現誤停,則會削弱廣泛採用相同閾值的理由。

重要輸出不應只限於工具呼叫總數。評估者需要了解工作是否完成、為何停止,以及最終說明是否與實際失敗相符。這些結果揭示使用者實際經歷了甚麼。

獨立結果亦應區分模型行為和應用程式政策。自行放棄的模型與阻止繼續執行的應用程式,可能產生相似的呼叫總數;但兩者意味著不同的可靠性假設。

第二個訊號是框架預設值和設定指引如何演變。需要刻意啟用的保護措施,取決於團隊能否發現、理解並持續保留正確設定。

若更清晰的預設值能保護日常部署,同時保留正當工作,便會強化遏制論點。若預設值在不同執行路徑間悄然變動,即使文件有所改善,仍會留下設定錯誤的空間。

這正是 OpenRouter agent 成本控制面對實際採用考驗的地方。開發人員需要理解哪些保護會自動套用、哪些需要針對工具作出決定,以及哪些只在請求使用預期憑證時才會運作。

版本變更亦值得注意。即使應用程式保留熟悉的設定,其執行行為仍可能演變。能說明終止語義的發佈指引,有助團隊評估現有的預算假設是否仍然成立。

第三個訊號,是使用共享基礎設施的並行生產工作負載所提供的證據。個別執行和整體支出是不同的控制單位。有說服力的營運說明應展示限制如何跨工作階段運作,以及遭攔截的工作如何傳達給使用者。

若獨立執行機制能在應用程式控制缺失或設定錯誤時遏制風險,該證據便會強化分層做法。若替代請求路徑或不清晰的錯誤處理經常繞過預期政策,則會暴露其弱點。

復原質素在此同樣重要。供應商拒絕應為營運人員留下可辨識的原因,並為使用者提供可理解的結果。否則,已執行的界限可能在應用程式其他位置觸發另一輪重試。

對於評估 OpenRouter agent 迴圈防護的團隊,應從自身工作流程中觀察到的失敗開始。將預期的復原路徑與實際發生情況作比較,包括工具執行、終止和最終使用者訊息。識別每道界限由哪項控制負責,並保留解釋已停止工作所需的證據。然後,以本應成功復原的工作測試相同政策。目標是建立一個在仍有進展可能時投入努力、在無法完成時清楚結束的 agent。在擴大自主性之前,你的團隊能否說明持續執行在哪裡停止、誰負責該決定,以及工作無法完成時使用者會收到甚麼?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page