Oxford AI Agent 協調測試揭示計劃與夥伴之間的落差
Oxford 的 AI agent 協調研究報告了一個顯著不符之處：由程式碼生成的團隊在自我對弈中平均得分為 9.75 分，但當策略跨越模型界線時，平均得分則為 -0.51。這項研究於 2026 年 11 月 4 日發表，測試零樣本協調，即獨立開發的 agents 必須在未事先就任務專屬慣例達成協議的情況下合作。
這項比較需要審慎解讀。自我對弈評估的是一項生成策略同時控制兩個角色的表現。由同一模型獨立生成的策略平均得分為 2.41。這些是不同測試，標題中的數字並不代表選擇某一供應商便能保證相容性。
對於以 OpenAI、Google、Anthropic、xAI 或 DeepSeek 模型組裝助理的開發者而言，實際問題在於交接。一個計劃可在內部合理成立，卻依賴另一個 agent 從未接受的假設。這對「各自能力出眾的模型會自然組成可靠團隊」的預期構成壓力。
Oxford AI agent 協調分數實際衡量甚麼
論文中的 Cat & Dog 遊戲令這個分別更具體。一名玩家看見一隻動物；另一名玩家必須辨識牠。一盞燈提供含糊訊號。移除一面牆會揭示動物，並保證獲得 5 分淨獎勵。加入共享協調指引後，跨模型程式碼 agent 的表現提升至 4.46。作者在其協調實驗中報告了這些結果。
關鍵分別在於連貫的聯合計劃與彼此獨立但相容的行為。 聯合計劃可以規定每位參與者應做甚麼。獨立參與者則有自己的指令、資訊和解讀。
設想一個說明性的軟件工作流程。規劃助理決定審核者會將空白留言視為批准；審核者卻將沉默視為工作尚未完成。兩種行為分別評估時都可能看來合理，但工作流程會停滯。
此例是類比，並非實驗中觀察到的事件。其目的在於指出評估所揭示的架構假設：不能僅從看似合理的行為推斷已達成共識。
當設計者從單一視角評估整個工作流程時，同樣問題亦會出現。該設計者知道每個訊息的含義，因為那些含義是一起制定的。替換的元件不會自動繼承這些含義。
因此，端到端示範所回答的問題，可能比買家預期的更狹窄。它可以展示某個特定組合在原有指令下能夠運作，但無法回答獨立配置的元件是否會一致解讀相同訊號。
這個分別亦改變了應如何理解供應商比較。供應商標籤描述的是模型來源，並不規定獨立生成的工作流程會採用哪些慣例。
更有力的評估應在保留任務的同時更換夥伴。它會問：當狀態、責任歸屬或完成標準有不同解讀時，成功是否仍能維持。這比展示每個元件都能描述合理方案，是要求更高的主張。
標題中的負分亦應始終與其衡量語境一併理解。遊戲獎勵並非已完成商業任務的百分比，不能直接換算為客戶損失、軟件缺陷或部署失敗率。
對讀者而言，眼前的重點是方法論。比較 agent 系統之前，應辨識哪些部分是共同設計、哪些部分是獨立組裝。否則，一項結果看似證明相容性，實際上衡量的可能只是內部一致性。
這項差異是準確解讀 Oxford 協調研究的核心。證據挑戰了組裝團隊時的一項假設，同時將部署成效留待另行評估。
Agent 建構者在交接環節面對新的責任
建構者需要證明另一個 agent 已理解交接，而不僅是證明訊息已成功送達。 傳遞與共識是兩種不同的工程特性。
傳輸層可完整承載一則訊息。接收 agent 可正確剖析其結構。然而，若參與者對該訊息授權何種行動有不同理解，工作流程仍可能失敗。
試想研究助理把文件交給編輯助理。發送者以「完成」表示資料蒐集已結束；接收者則將其解讀為每項主張均已獲核實的確認。
兩種解讀都不需要連線中斷或輸出無效。失敗存在於標籤與其操作含義之間的關係。單純改善訊息傳遞，無法消除這種模糊性。
對產品團隊而言，這構成一個衡量問題。顯示呼叫成功的儀表板可以看似正常，然而預定工作仍未完成。對話紀錄可以看似合作順暢，然而參與者正根據不相容的假設行動。
早期研究已預見這項困難的一部分。2019 年的論文湧現式溝通指標顯示，看似具資訊性的訊息未必會影響另一個 agent 的行為。其警示關乎衡量：類似溝通的活動並不能證明存在有用的溝通。
這項發現為評估 agent 示範提供了有用視角。可見的討論證明訊息已被交換；要證明協調，則須檢視這些交流是否引致恰當行動。
商業壓力最直接落在銷售組裝式工作流程的公司身上。其產品主張涉及完成任務，因此證據必須超越每位參與者回應的品質。
對企業買家而言，這改變了評估期間值得提出的問題。誰負責最終狀態？當 agent 對狀態有不同解讀時會怎樣？哪位參與者可以處理互相衝突的指令？
這些問題關乎產品行為，而非模型排名。系統可以使用能力極高的模型，卻仍然令責任歸屬不清。相反，明確責任可令相對簡單的工作流程更易評估。
可恢復的誤解與隱而不見的誤解之間亦有差異。可見的分歧可以觸發審查；未被察覺的分歧則可能讓工作流程在不相容的預期下繼續進行。
這意味著產品設計的一項實際啟示：不確定性應有可觀察的呈現方式。若助理缺乏確認，系統應將該狀況與已確認的一致意見區分開來。
這是工程上的推論，並非 Oxford 實驗衡量出的結果。它源自檢視可靠交接在下游工作能安全依賴之前必須確立甚麼。
因此，混合模型 agent 協調增加了一項不同的驗收標準。問題是參與者是否共享下一步行動所需的操作含義，包括面對陌生夥伴時。
對買家而言，這項標準令示範更具資訊價值。要求更換夥伴或修改指令，然後檢視工作流程是否能偵測並解決差異。
合理的慣例仍可能只是私人的慣例
更廣泛的協調問題早於語言模型出現。2020 年，研究人員提出other-play learning，以改善與陌生夥伴的合作。他們指出，共同訓練的 agents 所形成的專門慣例是一項弱點，並在 Hanabi 中評估該方法。
只有當獨立參與者有理由預期彼此共享同一解讀時，慣例才會在他們之間發揮作用。 內部的精巧設計並不能提供這個理由。
以按字母分配工作為例。假設獨立助理必須分擔文件責任。每個助理都可以制定一致的排序規則，但他們可能對應按檔案名稱、作者還是標題排序有不同看法。
問題不在於按字母排序不合理，而在於存在多種合理排序方式。私下選定其中一種，並不會形成協議。
狀態標籤同樣存在類似模糊性。「Ready」可以表示可供審閱、可供發佈，或可進行下一個自動化步驟。這個詞聽起來清晰，直至工作流程要求一項精確行動。
語言流暢度可令這個問題更難察覺。一段精煉的解釋可以如此令人信服地描述慣例，以致讀者忽略其他人是否也收到該慣例。人們對解釋的信心，於是取代了共享預期的證據。
對 agent 系統而言，這引出解釋計劃與建立協定之間的分別。協定是就訊息、責任與許可行動作出的明確協議，必須告訴參與者如何解讀相關事件。
解釋可以說明 agent 為何選擇特定次序；協定還必須規定，當該次序改變、失敗，或在缺乏預期語境下到達時，另一位參與者應如何行動。
這有助解釋為何單純要求更多討論並非完整回應。討論提供建立共識的機會，但討論存在本身並不能證明共識已形成。
決定性證據應涉及行為。收到澄清後，夥伴會否採取預期行動？發送者能否辨識該澄清仍未獲確認？
對程式編寫工作流程而言，一項說明性測試可以將實作責任與審查責任分開。參與者應知道自己能否修改建議方案、要求修改，還是只能報告發現。
若沒有這個分別，參與者即使勤奮工作，仍可能互相干擾。他們各自的輸出可能依然有用，但整個流程缺乏對責任的穩定解讀。
策略層面的啟示不止於選擇模型。組裝 agent 產品的機構必須決定哪些慣例應屬於共享基礎設施，哪些可以保持彈性。
固定慣例可以減少模糊性，但過度僵化會令適應變得困難。適當界線取決於任務、可用溝通方式，以及誤解所帶來的後果。
正是在這裡，以商業角度解讀 Oxford 協調研究才顯得有用。它將注意力引向元件之間隱含的假設，而個別模型評估對此提供的能見度有限。
因此，核心競爭在於私人計劃與共享預期之間。當供應商多樣性改變這些預期時便會產生影響，但共識仍是需要測試的特性。
共享指引本身也帶來取捨
避免模糊行動的系統可以更可靠，但同時完成的工作可能較不具雄心。 必須一併評估可靠性與有用進展。
牛津大學作者承認其限制：簡化的環境無法確立現實世界中的可靠性，而協調指引亦可能妨礙代理形成有用的慣例。因此，他們提出的補救方法涉及取捨，而非普遍保證。
試想一個示例審批流程。當一則訊息存在多種合理意思時，助理便會暫停。此行為可防止未經授權的推進，但當釐清問題已能消除歧義時，亦可能造成反覆中斷。
評估該助理的產品團隊，需要區分有理據的暫停與不必要的暫停。單純計算較少錯誤，會忽略被放棄或延誤工作的成本。
相反的設計亦有其弱點。總是選擇最可能解讀的助理，在未經確認的假設導致錯誤行動前，可能看似效率很高。
兩個極端都不能提供足夠的產品目標。有用的系統需要能取得缺失的共識、保留這些共識，並辨識何時它們已不再適用。
來自 LLM coordination benchmark 的相關證據支持將此視為一項獨立能力。該研究發現，當決策取決於環境資訊時表現較強；而當代理需要考慮夥伴的信念與意圖時，難度則更高。
這點重要，因為理解任務和理解夥伴是兩項不同要求。參與者可以識別所需結果，卻誤解另一位參與者所知或意圖為何。
對設計者而言，由此產生的挑戰在於不確定性與行動之間的路徑。工作流程應為釐清、確認及升級處理預留空間，而不應將每種不確定性視為永久失敗。
一個示例文件工作流程顯示出這種差異。若接收助理無法判斷草稿是否已通過事實審核，它可以要求提供審核狀態，而毋須虛構審批或放棄任務。
不過，加入確認步驟亦會產生一項新的共識需要管理。發送方與接收方必須明白該確認涵蓋甚麼；否則，工作流程只是將其歧義轉移到另一則訊息中。
因此，有前景的指引應在具有不同溝通需求的任務中接受評估。部分任務獎勵審慎；另一些則要求參與者透過互動建立慣例，然後一致行動。
在第一類任務中表現良好的補救方法，在第二類中可能表現欠佳。產品評估需要保留這種區別，而非報告單一、未作區分的改善。
同樣的審慎亦適用於模型比較。一個經常暫停的模型，在某一項指標下可能顯得更安全，在另一項指標下卻較不實用。買家需要知道兩種評估背後的定義。
對於混合模型的代理協調，目標應是恰當地依賴共享資訊。當已確認的慣例可用時，參與者應依循；當相關共識缺失時，則應尋求釐清。
這比持續審慎或持續主動都要求更高。它追問的是：工作流程能否將不確定性轉化為有理據的行動。
基準測試未能平息供應商之爭
這些結果不足以證明供應商一致性可取代相容性測試。 採購決策需要關於實際購入組合的證據。
團隊可能因營運簡便而合理地偏好單一供應商；另一團隊則可能結合不同供應商以滿足不同需求。兩種選擇都不能證明獨立配置的參與者會共享必要的預期。
重要界線在於評估所觀察的內容，與部署主張所需證據之間。研究任務會隔離特定難題；已部署的工作流程則包含額外指示、共享狀態、工具、權限及復原行為。
這些新增元素可以改變協調問題。明確記錄誰負責一項任務可消除一種歧義；記錄已獲接受的決定可消除另一種。這些屬於架構選擇，其影響需要直接量度。
反過來亦然。額外的工作流程機制可能引入有關時間、狀態或權限的新假設。複雜性不會僅因提供更多溝通機會便自動帶來可靠性。
因此，有用的比較會保持工作流程目標不變，並檢視完成後的結果。否則，指示或任務範圍的變動，可能被誤認為模型相容性的差異。
於 2026 年 8 月提交的 cross-implementation evaluation 研究，處理了相關的測試疑慮。該研究檢視獨立實作的協調演算法，並報告 Other-Play 具備令人鼓舞的穩健性結果。
此結果為純粹悲觀的解讀提供重要平衡。獨立開發並不代表協調不可能。評估問題在於，已同意的原則能否跨越實作差異而延續。
對代理買家而言，這意味著應要求可重現的證據，而非依賴供應商身份。可重現的評估會明確列出指示、夥伴配置、任務條件及成功標準。
它亦應清楚展示失敗情況，以便加以分類。對任務的誤解，與對責任歸屬的分歧並不相同；缺失的觀察結果，亦不同於對另一代理缺乏支持的假設。
在選擇補救方法時，這些區別很重要。更佳的檢索可處理缺失資訊；更清晰的職責可處理責任歸屬。兩種介入都不會自動解決所有其他協調問題。
對知識工作流程而言，可審計的來源紀錄可協助審閱者檢視交接時有哪些資訊可用。與 searchable knowledge base 的關聯在於可追溯性，而非聲稱儲存可解決協調問題。
共享儲存庫可以包含正確文件，但參與者仍可能對其是否具權威性存在分歧。取得資訊與就其含義達成共識，仍是兩項不同要求。
採購上的含義很具體：應評估使用者實際會遇到的模型、指示、共享紀錄及操作規則組合。
供應商排名無法回答整個問題。相容性屬於互動系統，而證據應足夠精確地描述該系統，讓買家能作出評估。
留意夥伴替換、真實工作流程及有效復原
下一步的證據應更具體地說明部署層面的含義。在未來數月，最具參考價值的發展會測試陌生夥伴、真實工作，以及從分歧中復原的能力。
進展應代表代理能在保留正確性和有用完成結果的同時，處理變動中的夥伴。 除非讀者知道哪些條件產生較高分數，否則其實際意義有限。
第一個訊號是透過更換夥伴進行獨立複製。研究人員或產品團隊應保留任務與共享指示，同時替換參與模型或獨立生成的策略。
若結果能在這些替換後維持，對可轉移協調的信心便會提高；若結果崩潰，證據則指向相容性依附於特定組合。
這個訊號很重要，因為成功的原始配置可能隱藏了偶然共享的假設。替換夥伴可測試這些假設是否已被明確建立，還是僅僅碰巧一致。
第二個訊號是在具清楚操作條件報告的真實工作流程中進行評估。有用的出版物會披露參與者能溝通甚麼、共享甚麼狀態，以及何時出現人為介入。
在這些條件下取得成功，將加強研究問題已有實際補救方法的論據；持續失敗，則會加強將協調視為獨立部署要求的論據。
相關結果應是一項可評估正確性的已完成任務。有說服力的討論或詳細計劃可提供支持證據，但兩者都不能證明工作已達到預定狀態。
真實評估亦應保留錯誤行動的實質後果。否則，工作流程可透過作出本應由生產系統驗證的假設，而表面上顯得高效。
第三個訊號是能產生有理據進展的復原能力。當參與者遇到互不相容的解讀時，系統應識別分歧、取得缺失資訊，並在共享理解下繼續工作。
若能在不反覆造成不必要中斷的情況下做到這點，便會削弱「可靠性需要永久審慎」的疑慮；若只是更頻繁地停止，取捨仍未解決。
這個訊號對買家尤其有用，因為誤解未必總能避免。產品辨識及修復誤解的能力，可能與其初始成功率同樣重要。
最有力的後續證據將會連結所有這些訊號：在相同評估條件下展示夥伴替換、有用工作及可觀察的復原。
在此之前，牛津的 AI 代理協調研究提供了一個聚焦理由，促使人們更仔細檢視交接環節。它的實際價值在於讓人更精準地向組裝後的系統提出問題。
在採用混合模型工作流程前，要求建置者示範一次夥伴變更，並解釋由此產生的每項分歧。檢視共享指示、完成標準及已獲接受決定的紀錄。要求提供釐清如何讓工作得以繼續的例子，並同時提供停止屬恰當做法的個案。評估應緊扣團隊實際會使用的配置，包括其工具及共享資訊。對知識工作而言，應保留每次具後果交接時可用的證據，讓審閱者能區分缺失語境與相互衝突的解讀。然後評估完成後的結果：工作流程是否建立其下一步行動所依賴的共識，並能在該共識失效時復原？
