DuoCook Benchmark：領先 AI 模型僅完成 26.2% 訂單

DuoCook benchmark 讓 AI 負責管理虛擬廚房，其中接受測試、表現最強的模型平均只完成 26.2% 訂單。這一結果挑戰了自主助理背後的一項實際假設：理解任務應能轉化為組織完成任務所需工作的能力。

10 月 22 日發布的預印本描述了一個受 Overcooked 啟發的環境，而非對這款商業遊戲的直接測試。視覺語言模型，即能處理圖像和文字的 AI 系統，同時控制兩名廚師。核心衝突在於：挑選看似合理的個別行動，與完成一項互相依賴的工作負載之間的落差。

包括 MindAgent 和 Collab-Overcooked 在內的早期系統，已令虛擬廚房成為測試 AI agent 協調能力的場域。DuoCook 再增加一個仔細檢視執行情況的理由。對開發者和買家而言，真正有用的問題是：助理究竟能多可靠地把決策轉化為已完成的工作。

DuoCook benchmark 實際衡量甚麼

這項結果涉及特定介面下的協調任務執行，因此其含義取決於測試的運作方式。

研究人員在五個類別的 20 張地圖上評估四個模型。GPT-6-Astra 在報告的完成率中領先；其他模型平均介乎 8.8% 至 11.2%。DuoCook benchmark 提供結構化資訊和導航協助，而模擬會在模型推理期間暫停。

這些細節有助界定這項主張。AI 烹飪基準測試可以檢驗感知、移動、排程及合作的不同組合。改變這種組合，也會改變低分向讀者說明的是甚麼問題。一個系統難以辨認食材，所反映的工程問題，與一個系統反覆以錯誤次序分配工作並不相同。

設想一個假設的廚房：一名廚師準備蔬菜，另一名處理鍋具。每項分配單獨來看都似乎合理。然而，這些蔬菜可能屬於一張無法在限時前完成的訂單；與此同時，鍋具可能佔用了製作較簡單餐點所需的設備。

重要的決策在於這些活動之間的關係。一個有效的控制器必須考慮某個行動會促成甚麼、延誤甚麼，以及其產出是否仍然有用。辨認出正確食材，只提供了這項決策的一部分資訊。

這正是完成率數字值得獲得超越娛樂價值的關注的原因。已完成的訂單提供了一項讀者毋須解讀繁複說明也能理解的結果。廚房要麼收到所需的一連串工作，要麼沒有。

不過，讀者不應把 26.2% 轉化為普遍的 AI 成功率。報告中的數字概括了受評估套件上的表現，並不描述每一種可能的廚房、每一種 agent 架構，或受測模型的每一個版本。

它亦無法確立人類在相同介面下會有何表現。看似熟悉的遊戲可能引發直覺比較，但實驗設計未必支持這種比較。人類對商業版本遊戲的經驗，不會自動構成可對照的基準。

較有用的解讀應更狹窄且具體。在研究人員的設定下，發出決策與完成受指派工作負載之間，仍存在顯著距離。這項落差為後續實驗提供了明確的研究對象。

它亦改變了一項出色示範應證明甚麼。對下一步作出令人信服的說明，並不足以證明執行可靠。評估必須追蹤整條鏈路直至最終結果，包括早前選擇帶來的後果。

對關注自主軟件的讀者而言，這種區別正是故事的起點。廚房讓一個更廣泛的評估問題變得可見：局部看來合理的行為，是否能產生用戶要求的結果。

未完成訂單為 agent 開發者帶來壓力的原因

實際壓力落在那些承諾助理能毋須持續人手干預而管理相依關係的團隊身上。

助理可以提供有用建議，同時把協調工作留給用戶。一旦它承擔執行責任，標準便會改變。它必須在中間決策、干擾和相互競爭的需求之中，維持用戶的目標。

設想一名助理準備專案更新。它需要收集來源材料、識別變動、解決互相矛盾的陳述，並產出一份文件。每個階段都可以看似成功，但整體工作仍可能未完成。

一份已收集的文件可能已過時。一段正確的摘要可能遺漏了足以改變建議的決定。一份精美的草稿可能在有人需要它的會議結束後才送達。這些都是假設例子，但它們說明了組件質素與工作流程質素的分別。

廚房的比喻在這個層面便顯得有用。其相關性來自相依關係，而非聲稱烹飪與辦公室工作具有相同難度。兩者都可能要求控制器判斷：在另一項行動變得值得進行之前，必須先發生甚麼。

對開發者而言，這意味著需要更嚴格的驗收測試。模型產生看似合理的指令後，任務仍應繼續接受評估。測試應持續至環境確認所要求的結果確實存在。

這種方法亦改變團隊診斷失敗的方式。未完成任務可能反映錯誤觀察、無效指令、不佳優先次序，或錯失復原機會。把所有情況都視為泛泛的推理失敗，會令改善更困難。

產品團隊亦面對與責任有關的設計選擇。他們需要界定助理何時獨立行動、何時核實進度，以及何時尋求協助。這些決定會影響錯誤是維持在可控範圍內，還是波及後續工作。

可見的檢查點可以令工作流程更易監督。例如，助理可在啟動依賴其他事項的行動前，確認所需輸入是否存在。這項建議是對協調問題的工程回應，而非本研究已確立的結果。

買家同樣應問：示範中有甚麼工作仍需由人管理。有人可能在不顯眼的情況下修補缺失輸入、重設失敗步驟，或選擇下一個目標。這些介入可以很有價值，但應納入效能評估之中。

因此，即使更廣泛的商業影響仍未明朗，評估設計已面臨即時壓力。團隊可以在就一般自主性作出主張前，先界定完成標準並記錄所需介入。

知識工作者可以問一條更簡單的問題：當原有計劃不再符合現實時，會發生甚麼？助理如何處理這個時刻，可能比其最初答案有多自信更重要。

當用戶委託的是結果而非單一步驟時，AI agent 協調便成為產品要求。相關證據必須顯示系統如何處理未完成工作，而不僅是如何令人信服地描述前方的工作。

令人信服的下一步不保證任務完成

核心的反轉在於：一項行動本身可以正確，卻仍可能損害整體目標。

早期研究為這項區別提供了有用背景。MindAgent framework 探討在 CuisineWorld 這個虛擬烹飪環境中，讓語言模型充當協調者。其作者報告了排程能力，以及示範、提示和回饋所帶來的改進。

這項工作為廚房評估提供了建設性的觀點。較弱的結果並不必然意味語言模型無法進行協調；反而可以促使研究人員，針對圍繞模型的指令、回饋和控制結構進行實驗。

然而，存在改善的可能性，並不能解決某個特定系統是否可靠的問題。提出的方法需要在明確說明條件下，針對已完成任務進行評估。更好的解釋與更好的結果，仍然是兩項不同主張。

Collab-Overcooked study 檢視了這個問題的另一部分。其作者報告了強大的目標解讀能力，同時也指出主動協作和持續適應方面的不足。該 benchmark 採用以過程為導向的評估，以檢視最終結果以外的行為。

這些發現有助建立主要對照：辨識應該發生甚麼，與維持使其得以發生的行為之間的分別。DuoCook 屬於這項討論的一部分，儘管其中央控制器有別於涉及獨立控制隊友的系統。

一個假設例子可讓這項分別更具體。假設控制器正確辨識湯品需要另一種食材，派一名廚師去取回它看來很有幫助。然而，這趟行程可能延誤另一張訂單，而該訂單的餘下準備工作其實已完成。

控制器於是面對一項排程決策，即就工作時機和分配作出選擇。最佳答案取決於周遭工作負載，單靠食譜知識無法解決。

同樣的問題亦會在一項行動改變另一名工作者的選擇時出現。保留設備可以簡化一項工作，卻可能阻礙其他工作進展。把兩名工作者都指派至同一目標，可以加快準備，卻會令交付無人處理。

這些例子說明，評估孤立行動為何可能錯過核心難題。一項決策的價值，部分取決於它令未來哪些行動成為可能。當環境在執行期間改變時，這種關係會更難評估。

復原問題亦同樣存在。一旦先前假設失效，繼續原有計劃可能浪費更多努力。一個有能力的控制器需要有方法辨認，其預定次序已不再服務於目標。

對工程團隊而言，這意味著應在相同工作負載下比較不同方法。通用模型可以配合明確的任務追蹤、資源保留，或獨立的排程組件。這些都是值得測試的建議，而非論文已確立的修正方案。

比較應保留面向用戶的結果。如果新增組件能提升完成率，同時需要更少介入，這便很重要。如果它只產生更詳盡的中間推理，其實際價值仍未有定論。

研究正是在此為 agent 建構者提出有用挑戰。目標是把判斷與整項任務中的執行連結起來，包括合理選擇彼此衝突的時刻。

新增記憶帶來另一項決策問題

記憶必須改善控制器的決策；單純保留更多資訊，本身並不能證明有此益處。

DuoCook 實驗亦比較了共享筆記本，以及保留近期行動歷史的條件。各模型的報告得分效果有所不同：Claude 和 Qwen 平均有所改善，而 GPT 和 Gemini 則下降。每個模型的平均模型呼叫開支均有所上升。

這個結果令一種常見的設計直覺變得更複雜。當助理跟不上工作進度時，加入記憶聽來像是直接的回應。然而，記憶系統會引入有關記錄甚麼、檢索甚麼，以及何時修訂的決策。

試想有一則假設性的筆記，指某個工作站正被佔用。這項觀察在寫下時或許準確。若情況有所改變，同一則筆記便可能成為障礙，除非控制器加以檢查或更新。

問題涉及觀察與當前環境之間的關係。一項被記住的陳述需要足夠的脈絡，讓助理判斷它是否仍然適用。否則，持續保存可能會保留錯誤，或延長過時資訊的壽命。

因此，開發人員應區分儲存與已驗證狀態。儲存保存資訊；已驗證狀態則代表系統就當前任務已核實的內容。設計可以包含大量記錄，卻仍欠缺對目前進度可靠的掌握。

這個區別同樣適用於一般的知識工作流程。會議筆記或能準確記下某項決定，但較後的訊息可能已改變該決定。準備建議的助理需要辨識這種關係，而非把兩項陳述一概視為同樣最新。

可供搜尋的知識庫可協助人們找出需要覆核的來源材料。然而，檢索相關文件與自主協調即時工作流程，需要的是不同類型的證據。這項廚房實驗並不評估 remio，也不能據此得出有關其功能的結論。

對代理系統設計者而言，這項研究提出了一項聚焦的比較方式：以有及沒有擬議記憶功能的情況，測試相同的工作流程。在可行範圍內保持其他條件一致，然後檢視完成結果及所需的額外工作。

評估亦應檢視記憶改變結果的個案。摘要平均值可以顯示差異，卻未必能解釋原因。閱讀觀察與行動的序列，有助辨識某項被記住的陳述是否支持了一項有用的決定。

其他解釋同樣需要留意。額外脈絡可能改變模型理解指示或排列資訊優先次序的方式。僅有表現差異，並不能確認是哪一種機制造成它。

適當的結論應具條件性：記憶是一項其價值取決於實作及使用方式的組件。筆記本可以協助控制器維持連續性，但其效用必須能在與較簡單替代方案的比較中成立。

對買家而言，這意味著要問清楚所宣傳的記憶功能實際改善了甚麼。記住偏好、檢索舊文件，以及追蹤持續變化的任務，是不同的能力。每一項都值得按其用途進行相應評估。

為何排名仍屬初步

這些發現足以支持進一步調查，但研究設計限制了對穩定排名及職場可靠性的結論。

每個模型在每張地圖及每種記憶條件下只進行了一次運行。作者亦表示，現有論文材料中未附上支援性的回合記錄及分析腳本。這些限制妨礙了對可重複性及已報告失敗個案的詳細診斷。

配對測試仍可提供有用的觀察。為系統提供可比的起始條件，有助令已報告的差異可被解讀。然而，單次觀察無法揭示同一場景再次運行時，模型會有多穩定地表現。

對於在產品之間作出選擇的買家而言，一致性是決策的一部分。一個有時能完成任務、有時卻停滯的系統，與一個限制可預測的系統相比，會帶來不同的監督負擔。排行榜平均值未能完整描述這種負擔。

環境衡量甚麼，亦是另一個問題。OvercookedV2 research指出，早期協調場景中的失敗，可能反映訓練期間對已遇到情況的覆蓋不足。其作者引入了旨在建立要求更高協調場景的改動。

這是一種方法論觀點，而非對 DuoCook 的直接批評。它提醒讀者，可見的失敗不會自動揭示其根本原因。不同的實驗介入措施，可能會為起初看似相似的行為帶來不同解釋。

例如，一個控制器可能因誤解介面而遇到困難。另一個可能理解介面，卻選擇了無效的排程。第三個可能需要一個熟悉的例子，才能套用原本可用的知識。

這些假設性解釋需要不同的補救方法。它們亦說明，低完成率應是調查的起點而非終點。對原因作出強而有力的主張，需要專門設計來區分不同可能性的實驗。

泛化構成另一道界線。泛化是指在用於開發或評估系統的情況以外，仍能成功執行。一個固定廚房套件得出的結果，本身不能證明系統可勝任無關的工作。

Overcooked Generalisation Challenge專門評估在陌生環境中與陌生夥伴合作。其作者報告指出，這項結合式挑戰存在困難。因此，它所檢視的維度，與集中控制兩個角色並不相同。

這些研究方向應互為補充，但不應被合併成單一排名。管理共享資源的控制器，與適應獨立隊友的代理系統，面對的是相關但不同的要求。其分數需要在各自的設定下解讀。

模型名稱同樣需要審慎看待。GPT-6-Astra、Claude、Gemini 和 Qwen 指的是這篇論文比較中所評估的系統。這些結果並不能確立它們在各類應用中的通用能力排序。

最有理據支持的結論仍然具體：所測試的設定揭示了大量尚未完成的工作，並提出值得重複驗證的問題。關於通用智能、人類被取代，或必然商業失敗的更廣泛主張，均超出現有證據所能支持的範圍。

甚麼能令下一輪結果更具說服力

下一步有用的發展包括可重複的結果、更清楚的失敗解釋，以及在原有廚房套件以外成功的測試。

未來數月首個值得關注的訊號，是在配對條件下重複進行評估。後續運行應顯示領先模型能否維持優勢，以及結果變異的範圍有多大。穩定結果會加強目前的比較；不穩定結果則會削弱對排名的信心。

這同樣適用於記憶方面的發現。若已報告的效益與下滑情況能夠重現，開發人員便有更堅實的基礎調查模型特定行為。若結果經常逆轉，原有平均值便應作出更審慎的解讀。

重複評估亦能協助讀者區分亮眼的單一回合與可靠的系統。成功示範是某種行為可能出現的有用證據，但對用戶能否持續預期該行為，所提供的資訊較少。

第二個訊號是詳細執行記錄及可重現分析是否可供查閱。軌跡，即已記錄的觀察與行動序列，可協助研究人員檢視進度在哪裏停止。支援材料亦能讓他人核對已報告摘要的計算方式。

這些記錄應令相互競爭的解釋可被測試。失敗之前是否出現不正確的觀察？有效指示是否在錯誤時間到達？被記住的陳述是否與當前情況衝突？

答案有助判斷下一項實驗應改變感知、排程、回饋還是記憶。它們亦能減少以「推理能力不足」等籠統標籤解釋每一次失敗的誘惑。

第三個訊號，是在陌生環境及可比較的實際工作流程上的改進。更強的結果應能在佈局、依賴關係或資源限制改變時，仍維持完成率。這會加強改善能延伸至原始例子以外的論據。

若增益僅限於熟悉地圖，仍然有用，但只支持較狹窄的主張。開發人員應區分讓系統適應已知測試，與提升其處理新情況的能力。

實際比較亦應遵循相同邏輯。職場試點需要其自身的任務定義、完成準則及介入記錄。不論試點涉及研究、文件準備或軟件營運，烹飪結果都不能取代這項評估。

對用戶而言，合理的做法是清楚訂明終點。指定委派任務結束時必須具備甚麼，以及哪些情況需要覆核。這能為助理及其評估者提供更清晰的目標。

檢視下一項 DuoCook 基準測試結果時，應從標題數字一路追溯至已完成的工作。檢查比較是否採用配對條件、重複運行是否支持排名，以及詳細記錄是否解釋了改進。然後再問：當設定改變時，系統會如何表現。在把較長的工作流程交給助理之前，也應將這些問題應用於其示範。一次具說服力的下一步行動可以有用，但可靠的委派需要一連串能達成所要求結果的步驟。甚麼證據能顯示助理可以完成你的任務、在計劃失敗時復原，並為你減少協調工作？