top of page

MIT Eko 智能體先玩起來,然後把發現付諸實踐

2 小時前
讀畢需時 12 分鐘

MIT 的 Eko 智能體在虛擬島嶼上獨自活動了 30 小時,沒有獲派任何任務,卻自行創造出一些活動,後來協助它們應對特定挑戰。在 13 次獨立運行中,智能體探索環境、搭建結構、重新利用物件,並記錄發現。有趣的轉折出現在其後:表面上毫無產出的活動,為後續工作提供了有用知識。

這項實驗挑戰了開發 AI 智能體的一種常見方式;這類軟件系統會使用工具對周遭環境採取行動。通常,開發者會指定任務,並據此評估成功與否。在這項研究中,研究人員沒有提供終點。其早期對應系統 Voyager,會利用自動課程與不斷擴增的技能庫探索 Minecraft。Eko 更着重於智能體在沒有指定結果下自行選擇的活動。

這個差異對於決定智能體應如何在請求之間累積經驗的開發者相當重要。不過,這個島嶼故事也需要審慎劃定界線。建造紀念物不代表存在哀傷。在熟悉的模擬環境中表現更佳,也不代表具備職場能力。最有力的證據涉及更具體的一點:寫進記憶的發現,改變了其他條件相同的智能體所能完成的事情。

MIT Eko 智能體獲得的是一座島,而非一份工作

實驗移除了指定目標,同時保留了讓智能體有大量事物可供探究的環境。

10 月 5 日提交的 Eko 研究預印本,介紹了 Nathan Cloos、Antonio Norelli、Daniel Durbin、Jacob Andreas、Daniela Rus 與 Phillip Isola 的研究。MIT 團隊以現有的編程助理為基礎建立 Eko,加入虛擬身體、持久記憶,以及讓工作階段持續運行的軟件。

主要實驗使用 Claude Code 與 Claude Opus 4.7。每個智能體都佔據自己的島嶼實例。這些是彼此獨立的歷程,而不是一群智能體一起發明遊戲。這項區分避免研究變成關於新興 AI 社會的故事。

島嶼提供高地、可移動的立方體、一塊岩石和一個圓環。最高的地貌「尖塔」(Spire)帶來明顯挑戰,卻不是被指派的目的地。物件可以攜帶、堆疊、放置和投擲。這些可能性為實驗留下空間,卻沒有規定哪些實驗才重要。

Eko 並非透過供人類觀看的精美動畫觀察世界。它接收的是包含物件及其幾何資訊的文字描述,其行動也透過文字指令執行。因此,虛擬身體測試的是與模擬物理環境的互動,而非一般視覺感知。

智能體從相同設定開始,但其活動逐漸分歧。它們擺放物件、嘗試攀爬、即興進行運動,並重訪先前的想法。有些活動帶來實用知識;另一些看來只在智能體自創的項目中具意義,例如把物件排列成裝飾結構。

某個智能體遺失的圓環成為最令人難忘的例子。它把圓環拋到無法觸及的地方後,建造了一座心形紀念物。後來,一個復原的圓環成為新活動的材料。把這稱為哀悼,是引人入勝的人類詮釋,但可觀察到的證據較為有限:象徵性語言伴隨着特定建築出現。

這項設定亦包含比「獨自留下」所暗示更多的人為支架。當智能體停止時,軟件會提示它們繼續。工作階段和島嶼條件每小時重設,而工作空間檔案則會保留。即使即時對話和物理佈置消失,智能體仍可把發現帶到之後。

這些設計選擇本身也是結果的一部分。Eko 並不是一個毫無改造的模型,自發在遊戲中覺醒。它是一套經刻意組裝、具備工具、連續性及行動機會的系統。令人驚訝的行為是在該架構中出現。

因此,這則新聞比機器找到娛樂方式更具體。一個置身陌生互動環境的編程助理,自行產生活動。研究人員隨後測試這些活動的歷程是否具實際價值。

遊戲結束後,實用結果才浮現

研究最有力的逆轉在於:當研究人員最終分派工作時,探索已產生可供智能體重用的知識。

在開放式階段結束後,團隊把有經驗的智能體,與其他條件相同但沒有島嶼經驗的智能體作比較。每次評估都採用全新世界及明確目標。底層模型維持不變,重要差異在於智能體寫進記憶檔案的內容。

任務包括建造高塔、在尖塔上放置物件,以及在不攀上平台的情況下把方塊拋到該地形上。這些都是可量度的物理挑戰。它們把問題從 Eko 的行為是否看起來有趣,轉為其過往經驗是否改善後續表現。

根據研究人員的目標導向評估,有經驗的智能體整體表現較佳,儘管優勢並非出現在每一項任務。在物件放置任務中,它們平均在尖塔上放置 10.3 個物件,而缺乏經驗的智能體為 3.5 個。這項結果把早前探索與後來執行聯繫起來。

高塔建造呈現較不一致的情況。經驗有助建造多座高塔,但兩組在最高高塔任務上取得相近結果。一些有經驗的智能體表現亦不佳。結果支持一個有限的結論:探索提供有用知識,卻不保證帶來改善。

這項限制令實驗更具資訊價值。若每項指標都同樣改善,仍會留下哪些發現真正重要的問題。收益不均勻意味着特定經驗帶來特定能力。了解如何把物件向上移動,未必能協助智能體建造穩定的垂直柱體。

對智能體開發者而言,這對評估設計帶來壓力。只在收到指令當下測試的系統,可能掩蓋其表現有多大程度依賴先前經驗。相反,被認為已學習的系統,也可能只是獲得了一組更有幫助的筆記。

Eko 讓研究人員得以檢視這項差異,因為它的經驗被外化。筆記可以被閱讀、編輯和移除。其後續表現不必假定模型內部發生了不可見的發展性改變。研究人員可以檢視它在選擇行動時可取得的資訊。

實際問題變成,開發者是否應在任務到來前為探索預留資源。這與讓助理在生產帳戶中隨意遊走不同。受控環境可以讓智能體接觸工具與後果,同時把實驗與客戶工作分開。

試想一個未來的助理,在可棄置的測試帳戶中學習陌生應用程式。探索可能揭示有用的操作序列、限制或復原路徑。這是對 Eko 設計的類比,而不是這項研究已驗證的應用。實驗並未證明這類準備會勝過針對性練習。

它確實說明了為何這項比較值得關注。沒有即時交付成果的活動,未必是浪費。其價值取決於智能體發現甚麼、保存甚麼,以及在任務改變時這些發現是否仍有用。

書面記憶把探索與能力連繫起來

Eko 的改善來自可重用的書面知識,使記憶品質成為故事核心。

研究人員沒有更新底層模型的權重,即在訓練期間形成的數值參數。相反,智能體累積筆記和其他工作空間產物。這些記錄在工作階段重設後仍會保留,並成為後續決策的資源。

該架構區分情節記憶,即事件紀錄,與語義記憶,即一般知識和可重用技巧。這種分離讓智能體有地方記錄實驗本身及其詮釋。一次失敗的攀爬可以保留為歷程的一部分,而成功路線則可成為可付諸行動的教訓。

這項區分解釋了為何「工作表現變得更好」需要保留條件。Eko 並非在放假後成為全面更出色的員工。它獲得的是有關特定環境的資訊。當這些資訊足夠準確地描述相關技巧以供使用時,後續任務便會受益。

團隊透過從有經驗智能體的記憶中刪除指定知識,研究這種關係。移除一項有用技巧會削弱相關表現。這類干預令論點更有力,因為它們改變了假定原因,而不只是觀察有經驗的智能體取得較高分數。

其中一項發現與跳躍時投擲有關。一些智能體發現,其身體動作會影響拋擲物件的軌跡,從而實現比靜止投擲更遠的距離。研究人員表示,他們之前並不知道模擬器允許這項技巧。探索揭示了一種超出設計者預期的可能性。

更廣泛的重要性在於這個順序。智能體遇到意外結果、加以研究、記錄規則,然後在其後使用該規則。書面記錄把早期活動與後續能力連繫起來。這條鏈條在工程層面比一段展現創意行為的孤立片段更有用。

這也與知識管理有直接關聯。儲存的經驗只有在下一項決策能檢索並理解它時才有價值。同樣的區分也見於可搜尋知識庫:收集記錄與令它們變得有用,是兩個不同問題。

這項比較涉及資訊組織,而非證明任何知識產品都能重現 Eko 的學習。實驗測試的是特定智能體架構。它的相關性在於,可讀記錄讓經驗得以延續,同時給予研究人員可供審核的具體內容。

對企業開發者而言,可編輯記憶帶來一種吸引人的可能性。一次失敗行動可能被追溯至筆記中的錯誤指示,而非被視為無法解釋的模型失誤。修正記錄便可能改變行為,無需重新訓練底層模型。

但可檢視性亦帶來責任。有人必須決定哪些觀察值得成為持久內容、不確定性應如何呈現,以及舊有結論何時應失效。一條簡潔規則可以協助智能體高效行動;若原本詮釋錯誤,同一條規則也可反覆誤導它。

因此,這座島嶼把注意力從智能體記得多少,轉向其記憶取得了何種權威。持久筆記是決策系統的一部分。其準確性、適用範圍及修訂流程,與讀取它們的模型同樣重要。

自主探索的歷史比 Eko 更長

Eko 透過追問在任何人提供具生產力的目的地之前,智能體會選擇甚麼,令既有研究方向更為明確。

最有用的比較是 Voyager 的技能庫,其研究於 2023 年首次提交。該系統透過自動化課程、可重用的可執行技能,以及利用回饋改進程式的流程,在 Minecraft 中探索。它亦能在不更新底層模型的情況下累積能力。

Voyager 提供了一個歷史參考,讓人能恰當理解這項島嶼實驗。讓 AI 系統探索遊戲環境並保留有用產物,並不是新鮮事。Eko 的貢獻正處於這條脈絡之中,只是更著重於:當沒有指定明確目標時,代理會產生哪些活動。

主要對比在於由外部安排的練習與自行選擇的探索。在有組織的練習中,開發人員決定哪些成果值得持續投入。在 Eko 的設定中,代理可以自行發明挑戰、修改規則、放棄挑戰,或於日後以不同理解重新回來。

兩種路徑都不會自然地勝過另一方。清晰的目標可以把資源集中於已知需求;開放式活動則可能揭示狹窄任務永遠不會要求的可能性。工程上的問題在於:額外發現是否值得花時間去尋找。

這也是為何比較公司名稱會錯過核心故事。Eko 的主要實驗採用 Anthropic 的模型及編程工具,但這項研究並非產品競賽。中心問題是代理的活動如何與其持久記錄互動。

研究亦描述了使用其他編程代理系統的額外測試。這些比較擴闊了調查範圍,但並未把主要結果變成對所有語言模型的普遍主張。行為取決於整個配置:模型、工具、指令、記憶、環境及延續機制。

對建立助手的開發人員而言,這種依賴性改變了需要測試的內容。在保留應用程式介面的情況下更換模型,可能改變代理實驗或記錄新發現的頻率。改動記憶指令亦可能在完全不改變模型下,影響後續表現。

因此,評估代理產品的買家應區分模型能力與累積的系統經驗。示範看起來可能令人印象深刻,因為代理已經學會其環境。這種熟悉程度可以很有價值,但應被辨識出來,而不是誤認為即時的一般能力。

相反的錯誤同樣重要。缺乏經驗的代理失敗,並不能證明該架構無法學會任務。它可能只是缺少另一個測試剛好記錄下來的相關發現。評估應揭示這種差異,而非以精選成功案例把它掩蓋。

Eko 的貢獻在於提供一種具體方式來檢視這些問題。其設定令行動可觀察、記憶可編輯、後續目標可量度。這些特性讓有關探索式學習的討論,超越了結果行為是否討喜的層面。

主要壓力落在對自主改進作出廣泛主張的開發人員身上。他們需要展示改變了甚麼、經驗存放在哪裏,以及哪些新任務從中受益。當一段關於好奇心的敘事能經得起這些問題時,才會變得更有用。

紀念碑不能證明悲傷,而記憶亦可能誤導

類似玩耍的行為及有用的學習,值得被檢視,但不應把兩者任何一項視為人類情感或通用智能的證據。

研究人員以可觀察的模式界定玩耍,包括自行創造挑戰、帶有變化的重複、假裝遊戲,以及在沒有外部回報下追求的目標。這個框架容許行為分析,同時保留主觀經驗尚未解決的問題。

代理可以把一個環當作呼啦圈,或建造一座紀念碑,但這並不能證明它感到快樂或悲傷。語言模型本已包含人類對遊戲、失落與成就的描述模式。符合這些模式的輸出,無法說明系統究竟有甚麼體驗,或者是否有任何體驗。

這種區分不會令這些行動變得無關緊要。無論代理是否感到投入,自行創造的挑戰仍可產生有用練習。工程結果取決於可觀察的行動及其後表現,毋須先判定機器是否具有玩耍的內在經驗。

提示設計令詮釋更複雜。主要設定包含一個檔案,把 Eko 描述為好奇並對探索感興趣。研究人員亦測試了沒有該檔案的精簡設定。這類控制很重要,因為移除任務並不會移除對行為的一切影響。

更廣泛的架構還透過工具描述、記憶慣例、重設及自動延續提供額外方向。在這些限制下,把實驗稱為沒有任務是合理的;但若稱它沒有指令,便會掩蓋研究人員實際測試的系統。

論文亦使用語言模型評審來分析玩耍的特徵。自動化評估可以處理大量記錄,但其分類及判斷仍然是方法上的選擇。讀者應區分已記錄的行動,以及研究人員賦予它們的詮釋。

記憶帶來第二個、更實際的限制。研究人員發現,代理可以保留錯誤信念並在之後依此行動。在一項針對性測試中,移除錯誤信念改善了表現。因此,經驗同時提供有用技巧及誤導性的結論。

這項結果挑戰了「持久記憶必然有益」的假設。一項錯誤觀察可以成為長久指令;當後續決策參考它時,原本的錯誤便多次有機會塑造行為。

在工作場所系統中,若助手把暫時的失敗過度概括,便會出現類似問題。它可能記錄某功能永遠無法運作,或某文件無法存取。這些例子說明一項風險;島嶼研究並未測試辦公室應用程式或組織權限。

控制組比較亦留下資源問題未解。具經驗的代理在評估前獲得大量探索時間。要作出更有力的部署決定,便須把這項投入與同樣資源的其他用途比較,包括針對性練習及精心準備的文件。

最後,後續任務仍然處於島嶼設定內。熟悉的物理規則與物件,為探索及評估提供共同基礎。能否遷移至陌生軟件、實體機械人或不斷變化的現實世界條件,仍是另一個問題。這份預印本支持進一步測試,而非宣稱那些應用已經可行。

下一批證據應測試遷移、效率及修正能力

下一個有用的里程碑,是取得更強證據,說明探索在哪些情況有幫助、成本是甚麼,以及代理能否修正自身錯誤學到的教訓。

首先,應留意改變環境並評估真正陌生任務的重複研究。若能重現整體結果,將加強人們對效益超越特定島嶼機制的信心;若在輕微改動下失敗,則會把主張收窄為在熟悉設定中的經驗。

一項有用的後續研究,會將可重用原則與死記路線分開。若代理只有在物件位於熟悉位置時才成功,所學到的東西便不同於能調整技巧的代理。兩種學習形式都可能重要,但支持的是不同期望。

研究人員的互動式代理重播令現時工作可供檢視。它們讓讀者檢查敘述、行動及儲存知識之間的關係。未來評估應保留這種連結,同時測試技巧能否在僅靠簡單重播已不足夠的改變下存續。

其次,應留意把不同方法可用的總資源配對比較。開放式探索應與針對性練習、提供的文件,以及其他準備策略競爭。相關結果是相對於投入資源的表現改善,而非相對於完全沒有經驗的改善。

若探索型代理反覆發現定向準備所遺漏的有用能力,這種比較便會強化實際應用的理據。若集中練習以較少資源達成相同成果,則會削弱廣泛的效率主張。無論結果如何,都會釐清這種方法適合的位置。

第三,應留意代理能否在沒有研究人員挑選有問題段落的情況下,修正錯誤記憶。現有介入顯示,改變記錄可以改變表現。已部署系統亦需要辨識看似有用的教訓何時變得不可靠。

可靠的修正能力會令持久記憶作為自主改進基礎更可信。反覆保存及強化錯誤結論,則會暴露其限制。持續學習的代理也必須持續重新考慮,尤其當其環境改變時。

這些是建議的測試,而不是附帶保證發表日期的已公布里程碑。在未來數月,它們比愈來愈精巧的島嶼行為示範提供更好的訊號。更多富創意的活動會擴闊目錄,但更有力的比較會深化證據。

對開發人員及知識工作者而言,眼前的重點是檢視代理能力背後的記錄。問問哪些經驗影響了它的行動、那些經驗如何成為指令,以及甚麼證據會觸發修訂。這些問題把引人入勝的島嶼故事,連結到人們真正倚賴的系統。

在把 MIT Eko 代理形容為感到無聊、悲傷或享受之前,先檢視它們做過甚麼,以及之後發生甚麼。連同重播一起閱讀方法部分。把自行生成的敘述與可觀察互動分開,然後追蹤書面記憶如何進入後續評估。這種做法保留了實驗最有趣的發現,同時不賦予它無法支持的結論。下一個值得你留意的代理示範,應同樣讓這條鏈條清晰可見:一段經驗、一項記錄下來的教訓、一個改變的決策,以及一個可量度的結果。當助手表示自己學到某些事情時,你能否找出這條鏈條,並測試該教訓是否仍然成立?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page