Agenci MIT Eko zaczęli się bawić, a potem wykorzystali swoje odkrycia

Agenci MIT Eko spędzili 30 godzin samotnie na wirtualnych wyspach bez przydzielonych zadań, wymyślając aktywności, które później pomogły im mierzyć się z konkretnymi wyzwaniami. W 13 niezależnych uruchomieniach agenci eksplorowali, budowali struktury, wykorzystywali przedmioty w nowych celach i zapisywali odkrycia. Ciekawy zwrot nastąpił później: pozornie nieproduktywna aktywność dostarczyła użytecznej wiedzy do kolejnej pracy.

Eksperyment podważa znane podejście do rozwijania agentów AI, czyli systemów oprogramowania wykorzystujących narzędzia do działania w swoim otoczeniu. Zwykle deweloperzy określają zadanie i oceniają powodzenie względem niego. Tutaj badacze nie wyznaczyli tego celu. Ich wcześniejszy odpowiednik, Voyager, eksplorował Minecraft, korzystając z automatycznego programu nauki i rosnącej biblioteki umiejętności. Eko kładzie większy nacisk na aktywności wybierane przez agenta bez przypisanego rezultatu.

To rozróżnienie ma znaczenie dla deweloperów decydujących, jak agenci powinni zdobywać doświadczenie między kolejnymi zleceniami. Historia wyspy wymaga jednak ostrożnego wyznaczenia granic. Zbudowanie pomnika nie dowodzi odczuwania żalu. Lepsze wyniki w znanej symulacji nie dowodzą kompetencji w miejscu pracy. Najmocniejsze dowody dotyczą czegoś bardziej konkretnego: odkrycia zapisane w pamięci zmieniły to, co były w stanie osiągnąć skądinąd identyczne agenty.

Agenci MIT Eko otrzymali wyspę, a nie pracę

Eksperyment usunął przydzielone cele, zachowując środowisko, które dawało agentom wiele rzeczy do zbadania.

Preprint badania Eko, przesłany 5 października, opisuje pracę Nathana Cloosa, Antonia Norellego, Daniela Durbina, Jacoba Andreasa, Danieli Rus i Phillipa Isoli. Zespół MIT zbudował Eko wokół istniejącego asystenta programistycznego, dodając wirtualne ciało, trwałą pamięć i oprogramowanie utrzymujące sesje w działaniu.

W głównym eksperymencie użyto Claude Code z Claude Opus 4.7. Każdy agent zajmował własną instancję wyspy. Były to odrębne historie, a nie grupa agentów wspólnie wymyślająca gry. To rozróżnienie zapobiega przekształceniu badania w opowieść o wyłaniającym się społeczeństwie AI.

Wyspa oferowała wzniesiony teren, przesuwalne sześciany, skałę i pierścień. Jej najwyższa formacja, Spire, stanowiła oczywiste wyzwanie, nie będąc przy tym wyznaczonym celem. Przedmioty można było nosić, układać jeden na drugim, umieszczać i rzucać nimi. Te możliwości tworzyły przestrzeń do eksperymentowania bez narzucania, które eksperymenty są ważne.

Eko nie obserwowało świata za pośrednictwem atrakcyjnych animacji dostępnych dla ludzkich widzów. Otrzymywało tekstowe opisy zawierające informacje o przedmiotach i ich geometrii. Jego działania również odbywały się za pomocą poleceń tekstowych. Wirtualne ciało testowało więc interakcję z symulowanym środowiskiem fizycznym, bez testowania zwykłej percepcji wzrokowej.

Agenci zaczynali z takiej samej konfiguracji, lecz ich aktywności się rozchodziły. Układali przedmioty, próbowali się wspinać, improwizowali sporty i wracali do wcześniejszych pomysłów. Niektóre aktywności tworzyły praktyczną wiedzę. Inne wydawały się mieć znaczenie jedynie w ramach projektu stworzonego przez samego agenta, na przykład układanie przedmiotów w dekoracyjną strukturę.

Zagubiony pierścień jednego agenta stał się najbardziej zapadającym w pamięć przykładem. Po rzuceniu go poza zasięg agent zbudował pomnik w kształcie serca. Później odzyskany pierścień stał się materiałem do nowych aktywności. Nazwanie tego żałobą stanowi przekonującą ludzką interpretację, ale obserwowalne dowody są węższe: język symboliczny towarzyszył konkretnej konstrukcji.

Konfiguracja obejmowała też więcej ludzkiego wsparcia, niż sugeruje określenie „pozostawione same sobie”. Oprogramowanie zachęcało agentów do kontynuowania działania, gdy się zatrzymywały. Sesje i warunki na wyspie resetowały się co godzinę, podczas gdy pliki w obszarze roboczym pozostawały zachowane. Agenci mogli przenosić odkrycia dalej, nawet gdy znikały bezpośrednia rozmowa i fizyczny układ.

Te wybory projektowe są częścią wyniku. Eko nie było nietkniętym modelem, który spontanicznie przebudził się wewnątrz gry. Był to celowo złożony system z narzędziami, ciągłością i możliwościami działania. Zaskakujące zachowanie pojawiło się w ramach tej architektury.

Wiadomość jest zatem bardziej konkretna niż teza o maszynach odnajdujących rozrywkę. Asystent programistyczny, umieszczony w nieznanym interaktywnym środowisku, stworzył własne aktywności. Następnie badacze sprawdzili, czy historia tych aktywności miała praktyczną wartość.

Użyteczny wynik pojawił się po zakończeniu gier

Najmocniejszy zwrot w badaniu polega na tym, że eksploracja wytworzyła wiedzę, którą agenci mogli ponownie wykorzystać, gdy badacze w końcu przydzielili im pracę.

Po okresie otwartej eksploracji zespół porównał doświadczone agenty z identycznymi pod innymi względami agentami bez doświadczenia z wyspy. Każda ocena wykorzystywała nowy świat i jasno określony cel. Model bazowy pozostał taki sam. Istotną różnicą było to, co agenci zapisali w swoich plikach pamięci.

Zadania obejmowały budowanie wież, umieszczanie przedmiotów na Spire oraz rzucanie blokiem na tę formację bez wspinania się na platformę. Były to mierzalne wyzwania fizyczne. Przekształciły pytanie z tego, czy zachowanie Eko wyglądało na rozrywkowe, w pytanie, czy wcześniejsze doświadczenie poprawiło późniejsze wyniki.

Według badaczy w ocenie zorientowanej na cele doświadczeni agenci na ogół radzili sobie lepiej, choć przewaga nie wystąpiła w każdym zadaniu. Przy umieszczaniu przedmiotów osiągali średnio 10,3 przedmiotu na Spire, w porównaniu z 3,5 u niedoświadczonych agentów. Wynik ten łączy wcześniejszą eksplorację z późniejszym wykonaniem zadania.

Budowanie wież ujawniło mniej jednolity obraz. Doświadczenie pomagało w tworzeniu wielu wież, ale grupy osiągały podobne wyniki w zadaniu dotyczącym najwyższej wieży. Niektóre doświadczone agenty także radziły sobie słabo. Rezultat wspiera ograniczony wniosek: eksploracja dostarczyła użytecznej wiedzy, zamiast gwarantować poprawę.

To ograniczenie czyni eksperyment bardziej informacyjnym. Gdyby każda miara poprawiła się jednakowo, nadal pozostawałyby pytania o to, które odkrycia miały znaczenie. Nierówne wzrosty sugerują, że konkretne doświadczenia dostarczyły konkretnych zdolności. Wiedza o przemieszczaniu przedmiotów w górę nie musi pomagać agentowi budować stabilnego pionowego słupa.

Dla twórców agentów stwarza to presję na projektowanie ewaluacji. System testowany wyłącznie w chwili otrzymania instrukcji może ukrywać, jak bardzo jego wyniki zależą od wcześniejszego doświadczenia. Z kolei systemowi, któremu przypisuje się uczenie, można po prostu dostarczyć bardziej pomocny zestaw notatek.

Eko pozwala badaczom badać to rozróżnienie, ponieważ jego doświadczenie jest uzewnętrznione. Notatki można czytać, edytować i usuwać. Późniejsze wyniki nie wymagają założenia niewidzialnej zmiany rozwojowej wewnątrz modelu. Badacze mogą sprawdzić informacje dostępne w chwili, gdy wybiera on działanie.

Praktyczne pytanie brzmi, czy deweloperzy powinni przeznaczać zasoby na eksplorację, zanim pojawi się zadanie. To coś innego niż pozwolenie asystentowi swobodnie poruszać się po koncie produkcyjnym. Kontrolowane środowisko może zapoznać agenta z narzędziami i konsekwencjami, zachowując eksperymentowanie oddzielnie od pracy dla klientów.

Wyobraźmy sobie przyszłego asystenta uczącego się nieznanej aplikacji na jednorazowym koncie testowym. Eksploracja mogłaby ujawnić użyteczne sekwencje, ograniczenia lub ścieżki odzyskiwania działania. To analogia do projektu Eko, a nie zastosowanie potwierdzone w tym badaniu. Eksperyment nie dowodzi, że takie przygotowanie przewyższałoby ukierunkowane ćwiczenia.

Pokazuje jednak, dlaczego to porównanie zasługuje na uwagę. Aktywność bez natychmiastowego rezultatu nie musi być aktywnością zmarnowaną. Jej wartość zależy od tego, co agent odkryje, co zachowa i czy te odkrycia pozostaną przydatne po zmianie zadania.

Pamięć pisemna połączyła eksplorację z kompetencją

Poprawa Eko wynikała z ponownie wykorzystywalnej wiedzy pisemnej, co czyni jakość pamięci centralnym elementem tej historii.

Badacze nie aktualizowali wag modelu bazowego, czyli parametrów numerycznych kształtowanych podczas treningu. Zamiast tego agenci gromadzili notatki i inne artefakty obszaru roboczego. Te zapisy przetrwały resetowanie sesji i stały się zasobami dla późniejszych decyzji.

Architektura rozróżniała pamięć epizodyczną, czyli zapisy zdarzeń, od pamięci semantycznej, czyli wiedzy ogólnej i technik wielokrotnego użytku. Ten podział dawał agentowi miejsce do zapisywania zarówno eksperymentu, jak i jego interpretacji. Nieudana wspinaczka mogła pozostać częścią jego historii, podczas gdy udana trasa stawała się lekcją możliwą do zastosowania.

To rozróżnienie wyjaśnia, dlaczego określenie „lepiej wykonywały swoją pracę” wymaga zastrzeżenia. Eko nie stało się ogólnie lepszym pracownikiem po wakacjach. Zdobyło informacje o konkretnym środowisku. Późniejsze zadania czerpały korzyść, gdy informacje te wystarczająco dokładnie opisywały istotną technikę.

Zespół zbadał tę zależność, usuwając wybraną wiedzę z pamięci doświadczonych agentów. Usunięcie użytecznej techniki pogarszało powiązane wyniki. Takie interwencje wzmacniają argument, ponieważ zmieniają proponowaną przyczynę, zamiast jedynie obserwować, że doświadczeni agenci uzyskują lepsze wyniki.

Jedno z odkryć dotyczyło rzucania podczas skoku. Niektóre agenty odkryły, że ruch ich ciała wpływał na trajektorię rzuconego przedmiotu, umożliwiając rzuty dalej, niż pozwalał nieruchomy wyrzut. Badacze twierdzą, że nie zdawali sobie sprawy, iż ich symulator umożliwia taką technikę. Eksploracja ujawniła możliwość wykraczającą poza oczekiwania twórców.

Szersze znaczenie tkwi w sekwencji. Agent napotkał zaskakujący rezultat, zbadał go, zapisał regułę, a później użył tej reguły. Pisemny zapis połączył wcześniejszą aktywność z późniejszą zdolnością. Taki łańcuch jest bardziej użyteczny dla inżynierii niż pojedynczy klip prezentujący pomysłowe zachowanie.

Istnieje też bezpośredni związek z zarządzaniem wiedzą. Zapisane doświadczenie staje się wartościowe tylko wtedy, gdy kolejna decyzja może je odnaleźć i zinterpretować. To samo rozróżnienie pojawia się w bazie wiedzy z możliwością wyszukiwania: gromadzenie zapisów i uczynienie ich użytecznymi to odrębne problemy.

Porównanie to dotyczy organizacji informacji, a nie dowodu na to, że jakikolwiek produkt do zarządzania wiedzą odtwarza sposób uczenia się Eko. Eksperyment testuje konkretną architekturę agenta. Jego znaczenie polega na tym, że czytelne zapisy pozwalają doświadczeniu trwać, jednocześnie dając badaczom coś konkretnego do audytu.

Dla deweloperów przedsiębiorstw edytowalna pamięć oferuje atrakcyjną możliwość. Nieudane działanie można by przypisać błędnej instrukcji w notatce, zamiast traktować je jako niewyjaśnioną awarię modelu. Poprawienie zapisu mogłoby następnie zmienić zachowanie bez ponownego trenowania modelu bazowego.

Możliwość inspekcji wiąże się jednak również z odpowiedzialnością. Ktoś musi zdecydować, które obserwacje zasługują na trwały status, jak należy przedstawiać niepewność i kiedy stare wnioski powinny wygasnąć. Zwięzła reguła może pomóc agentowi działać sprawnie. Ta sama reguła może wielokrotnie wprowadzać go w błąd, jeśli pierwotna interpretacja była błędna.

Wyspa przekierowuje zatem uwagę z tego, ile agent pamięta, na to, jaki autorytet zyskują jego wspomnienia. Trwałe notatki są częścią systemu decyzyjnego. Ich dokładność, zakres i proces rewizji mają znaczenie obok modelu, który je odczytuje.

Samodzielnie kierowana eksploracja ma historię dłuższą niż Eko

Eko wyostrza istniejący kierunek badań, pytając, co agenci wybierają, zanim ktokolwiek wskaże im produktywny cel.

Najbardziej użytecznym porównaniem jest biblioteka umiejętności Voyagera, opisana w badaniach po raz pierwszy zgłoszonych w 2023 roku. System ten eksplorował Minecraft za pomocą automatycznego programu nauczania, wielokrotnego użytku wykonywalnych umiejętności oraz procesu ulepszania programów na podstawie informacji zwrotnych. Gromadził również nowe możliwości bez aktualizowania modelu bazowego.

Voyager stanowi historyczny punkt odniesienia, który pozwala właściwie ocenić eksperyment z wyspą. Systemy AI eksplorujące środowiska gier i zachowujące użyteczne artefakty nie są nowością. Wkład Eko wpisuje się w tę tradycję, lecz inaczej akcentuje działania, które agent tworzy, gdy nie otrzymuje konkretnego celu.

Główny kontrast dotyczy praktyki organizowanej z zewnątrz oraz eksploracji wybieranej samodzielnie. W zorganizowanej praktyce deweloperzy decydują, które rezultaty uzasadniają dalszy wysiłek. W środowisku Eko agent może wymyślić wyzwanie, zmienić jego zasady, porzucić je lub wrócić do niego później z inną interpretacją.

Żadna z tych dróg nie ma automatycznej przewagi. Jasny cel może skoncentrować zasoby na znanej potrzebie. Otwarte działanie może ujawnić możliwości, których wąsko określone zadanie nigdy nie wymaga. Pytanie inżynierskie brzmi, kiedy dodatkowe odkrycia uzasadniają czas poświęcony na ich znalezienie.

Dlatego też porównywanie nazw firm nie trafiałoby w sedno historii. Główny eksperyment Eko wykorzystuje model Anthropic oraz narzędzia programistyczne, ale badanie nie jest konkursem produktów. Kluczową kwestią jest to, jak działania agenta współdziałają z jego trwałymi zapisami.

Badanie opisuje dodatkowe uruchomienia z wykorzystaniem innych systemów agentów programistycznych. Porównania te poszerzają zakres dochodzenia, lecz nie zmieniają głównego wyniku w uniwersalne twierdzenie o wszystkich modelach językowych. Zachowanie zależy od całego układu: modelu, narzędzi, instrukcji, pamięci, środowiska i mechanizmu kontynuacji.

Dla deweloperów budujących asystentów ta zależność zmienia zakres potrzebnych testów. Zamiana modelu przy zachowaniu interfejsu aplikacji może zmienić częstotliwość eksperymentowania przez agenta lub zapisywania odkryć. Zmiana instrukcji dotyczących pamięci może również wpłynąć na późniejsze wyniki bez jakiejkolwiek zmiany modelu.

Osoba oceniająca produkt agentowy powinna zatem odróżniać możliwości modelu od zgromadzonego doświadczenia systemu. Demonstracja może wyglądać imponująco, ponieważ agent już poznał swoje środowisko. Ta znajomość może być cenna, ale należy ją rozpoznać, zamiast mylić z natychmiastową ogólną kompetencją.

Istotny jest też błąd w odwrotną stronę. Niepowodzenie niedoświadczonego agenta nie dowodzi, że architektura nie może nauczyć się danego zadania. Może mu brakować istotnego odkrycia, które przypadkowo zostało zapisane podczas innego uruchomienia. Oceny powinny ujawniać tę zmienność, a nie ukrywać ją za wybranym sukcesem.

Wkład Eko to konkretny sposób badania tych zagadnień. Jego środowisko sprawia, że działania są obserwowalne, wspomnienia można edytować, a późniejsze cele można mierzyć. Te właściwości pozwalają przenieść debatę o uczeniu się przez eksplorację poza pytanie, czy wynikające z niego zachowanie wydaje się urocze.

Główna presja spoczywa na deweloperach formułujących szerokie twierdzenia o autonomicznym doskonaleniu. Muszą pokazać, co się zmieniło, gdzie znajduje się doświadczenie i które nowe zadania na tym korzystają. Narracja o ciekawości staje się bardziej użyteczna, gdy potrafi przetrwać te pytania.

Pomnik nie dowodzi żałoby, a pamięć może wprowadzać w błąd

Zachowania przypominające zabawę i użyteczne uczenie się zasługują na analizę, lecz żadne z nich nie stanowi dowodu ludzkich uczuć ani ogólnej inteligencji.

Badacze ujmują zabawę poprzez obserwowalne wzorce. Obejmują one samodzielnie tworzone wyzwania, powtarzanie z wariacjami, zabawę w udawanie oraz cele realizowane bez zewnętrznej nagrody. Takie ramy umożliwiają analizę zachowania, pozostawiając nierozstrzygniętą kwestię subiektywnego doświadczenia.

Agent może traktować pierścień jak obręcz albo zbudować pomnik, nie dowodząc przy tym radości ani smutku. Modele językowe już zawierają wzorce pochodzące z ludzkich opisów gier, straty i osiągnięć. Wynik pasujący do tych wzorców nie wyjaśnia, czego — jeśli w ogóle czegokolwiek — doświadcza system.

To rozróżnienie nie czyni tych działań nieistotnymi. Samodzielnie stworzone wyzwanie nadal może zapewnić użyteczną praktykę, niezależnie od tego, czy agent czuje zaangażowanie. Wynik inżynierski zależy od obserwowalnego działania i późniejszej wydajności. Nie wymaga rozstrzygnięcia, czy maszyna ma wewnętrzne doświadczenie zabawy.

Promptowanie dodatkowo komplikuje interpretację. Główna konfiguracja obejmowała plik opisujący Eko jako ciekawskie i zainteresowane eksploracją. Badacze przetestowali również ograniczoną konfigurację bez tego pliku. Takie kontrole są ważne, ponieważ usunięcie zadania nie usuwa każdego wpływu na zachowanie.

Szersza architektura dostarczała dodatkowych wskazówek poprzez opisy narzędzi, konwencje pamięci, resety i automatyczną kontynuację. Nazwanie eksperymentu wolnym od zadań jest rozsądne w tych granicach. Nazwanie go wolnym od instrukcji zaciemniałoby obraz systemu, który badacze faktycznie testowali.

Artykuł wykorzystuje również sędziego opartego na modelu językowym do analizy oznak zabawy. Zautomatyzowana ocena może przetwarzać obszerne zapisy, ale jej kategorie i osądy pozostają wyborami metodologicznymi. Czytelnicy powinni odróżniać zarejestrowane działania od przypisanej im interpretacji.

Pamięć tworzy drugie, bardziej praktyczne ograniczenie. Badacze stwierdzili, że agenci mogli zachowywać fałszywe przekonania i później działać na ich podstawie. Usunięcie nieprawidłowego przekonania poprawiło wyniki w ukierunkowanym teście. Doświadczenie dostarczało więc zarówno użytecznych technik, jak i mylących wniosków.

Wynik ten podważa założenie, że trwała pamięć jest automatycznie korzystna. Błędna obserwacja może stać się trwałą instrukcją. Gdy późniejsze decyzje się do niej odwołują, pierwotny błąd zyskuje kolejne okazje do kształtowania zachowania.

W systemach używanych w pracy analogiczny problem pojawiłby się, gdyby asystent uogólnił tymczasową awarię. Mógłby zapisać, że dana funkcja nigdy nie działa albo że dokument nie jest dostępny. Przykłady te ilustrują ryzyko; badanie wyspy nie testowało aplikacji biurowych ani uprawnień organizacyjnych.

Porównanie kontrolne pozostawia również nierozstrzygnięte pytanie o zasoby. Doświadczeni agenci otrzymali dużo czasu na eksplorację przed oceną. Silniejsza decyzja wdrożeniowa wymaga porównania tej inwestycji z alternatywnymi sposobami wykorzystania tych samych zasobów, w tym ukierunkowaną praktyką i starannie przygotowaną dokumentacją.

Wreszcie późniejsze zadania nadal pozostawały w środowisku wyspy. Znana fizyka i obiekty zapewniły wspólną podstawę dla eksploracji i oceny. Transfer do nieznanego oprogramowania, fizycznych robotów lub zmieniających się warunków rzeczywistych pozostaje odrębnym pytaniem. Preprint uzasadnia dalsze testy, a nie twierdzenie, że takie zastosowania już działają.

Kolejne dowody powinny sprawdzać transfer, efektywność i korektę

Kolejnym użytecznym kamieniem milowym są silniejsze dowody na to, gdzie eksploracja pomaga, ile kosztuje i czy agenci potrafią naprawiać własne błędne wnioski.

Po pierwsze, warto obserwować replikacje, które zmieniają środowisko i oceniają rzeczywiście nieznane zadania. Powtórzenie ogólnego wyniku zwiększyłoby pewność, że korzyść wykracza poza specyficzną mechanikę wyspy. Niepowodzenie przy niewielkich zmianach zawęziłoby twierdzenie do doświadczenia w znanym środowisku.

Użyteczne badanie uzupełniające oddzieliłoby zasady możliwe do ponownego wykorzystania od zapamiętanych tras. Agent, który odnosi sukces tylko wtedy, gdy obiekty znajdują się w znanych miejscach, nabył coś innego niż agent adaptujący technikę. Obie formy uczenia się mogą mieć znaczenie, ale uzasadniają różne oczekiwania.

Interaktywne powtórki działań agentów udostępnione przez badaczy pozwalają analizować obecną pracę. Umożliwiają czytelnikom zbadanie relacji między narracją, działaniem i zapisaną wiedzą. Przyszłe oceny powinny zachować to powiązanie, jednocześnie sprawdzając, czy techniki przetrwają zmiany, wobec których proste odtworzenie nie wystarcza.

Po drugie, warto obserwować porównania, które wyrównują łączne zasoby dostępne dla różnych podejść. Otwarta eksploracja powinna konkurować z ukierunkowaną praktyką, dostarczoną dokumentacją i innymi strategiami przygotowania. Istotnym wynikiem jest poprawa wydajności względem zainwestowanych zasobów, a nie poprawa względem braku doświadczenia.

Porównanie to wzmocniłoby praktyczne uzasadnienie, gdyby agenci eksploracyjni wielokrotnie odkrywali użyteczne możliwości pomijane przez ukierunkowane przygotowanie. Osłabiłoby szerokie twierdzenie o efektywności, gdyby skoncentrowana praktyka prowadziła do tych samych rezultatów przy mniejszych zasobach. Każdy z tych wyników wyjaśniłby, gdzie należy stosować to podejście.

Po trzecie, warto sprawdzić, czy agenci potrafią korygować błędną pamięć bez wskazania przez badaczy problematycznego fragmentu. Obecne interwencje pokazują, że zmiana zapisu może zmienić wydajność. Wdrożony system musi także rozpoznawać, kiedy pozornie użyteczna lekcja stała się niewiarygodna.

Niezawodna korekta uczyniłaby trwałą pamięć bardziej wiarygodnym fundamentem autonomicznego doskonalenia. Wielokrotne zachowywanie i wzmacnianie fałszywych wniosków ujawniłoby ograniczenie. Agent, który uczy się nieustannie, musi również nieustannie ponownie oceniać swoje wnioski, zwłaszcza gdy zmienia się jego środowisko.

Są to proponowane testy, a nie zapowiedziane kamienie milowe z gwarantowanymi datami publikacji. W nadchodzących miesiącach zapewnią lepsze sygnały niż coraz bardziej rozbudowane demonstracje zachowania na wyspie. Bardziej pomysłowe działania poszerzyłyby katalog, ale silniejsze porównania pogłębiłyby dowody.

Dla deweloperów i pracowników wiedzy natychmiastowy wniosek brzmi: należy badać zapis stojący za kompetencją agenta. Zapytaj, które doświadczenia wpłynęły na jego działania, jak te doświadczenia stały się instrukcjami oraz jakie dowody wywołałyby rewizję. Pytania te łączą atrakcyjną historię wyspy z systemami, na których ludzie faktycznie polegają.

Zanim opiszesz agentów MIT Eko jako znudzonych, pogrążonych w żałobie lub czerpiących przyjemność, sprawdź, co zrobili i co nastąpiło później. Przeczytaj metody wraz z powtórkami. Oddziel samodzielnie generowaną narrację od obserwowalnej interakcji, a następnie prześledź zapisaną pamięć w późniejszej ocenie. Takie podejście zachowuje najciekawsze ustalenie eksperymentu, nie przypisując mu wniosków, których nie może poprzeć. Kolejna demonstracja agenta warta uwagi powinna uwidaczniać ten sam łańcuch: doświadczenie, zapisana lekcja, zmieniona decyzja i mierzalny wynik. Gdy asystent mówi, że się czegoś nauczył, czy potrafisz wskazać ten łańcuch i sprawdzić, czy lekcja nadal pozostaje aktualna?