MIT Eko 에이전트는 놀이를 시작했고, 발견한 것을 활용했다

MIT Eko 에이전트들은 할당된 과제 없이 가상 섬에서 30시간을 홀로 보내며, 나중에 특정 과제를 해결하는 데 도움이 된 활동을 스스로 만들어냈다. 13회의 독립 실행에서 에이전트들은 탐색하고, 구조물을 만들고, 물체를 다른 용도로 활용했으며, 발견 내용을 기록했다. 흥미로운 반전은 그 뒤에 나타났다. 겉보기에는 비생산적인 활동이 이후 작업에 유용한 지식을 제공한 것이다.

이 실험은 주변 환경에 작용하기 위해 도구를 사용하는 소프트웨어 시스템인 AI 에이전트를 개발하는 익숙한 방식에 도전한다. 일반적으로 개발자는 과제를 지정하고 그 기준으로 성공 여부를 평가한다. 여기서 연구진은 그 목적지를 제시하지 않았다. 이전 모델인 Voyager는 자동 커리큘럼과 확장되는 기술 라이브러리를 사용해 Minecraft를 탐색했다. Eko는 정해진 결과 없이 에이전트가 선택하는 활동에 더 큰 비중을 둔다.

이 차이는 에이전트가 요청과 요청 사이에 어떻게 경험을 쌓아야 하는지 결정하는 개발자에게 중요하다. 그러나 섬 이야기는 신중하게 한계를 설정할 필요도 있다. 추모 구조물을 만든다고 해서 슬픔이 입증되는 것은 아니다. 익숙한 시뮬레이션에서 성과가 좋아진다고 해서 업무 역량이 입증되는 것도 아니다. 가장 강력한 증거는 더 구체적인 사실에 관한 것이다. 메모리에 기록된 발견이, 그렇지 않았다면 동일한 에이전트가 해낼 수 있는 일을 바꿨다.

MIT Eko 에이전트에게 주어진 것은 직업이 아니라 섬이었다

이 실험은 에이전트가 조사할 수 있는 요소가 풍부한 환경은 유지하면서, 할당된 목표는 제거했다.

10월 5일 제출된 Eko 연구 프리프린트는 Nathan Cloos, Antonio Norelli, Daniel Durbin, Jacob Andreas, Daniela Rus, Phillip Isola의 연구를 설명한다. MIT 연구팀은 기존 코딩 어시스턴트를 기반으로 Eko를 구축하고, 가상 신체, 지속형 메모리, 세션을 계속 실행하는 소프트웨어를 추가했다.

주요 실험에는 Claude Opus 4.7이 탑재된 Claude Code가 사용됐다. 각 에이전트는 자신만의 섬 인스턴스를 차지했다. 이는 에이전트 집단이 함께 게임을 발명한 것이 아니라, 서로 분리된 이력들이었다. 이 차이는 연구가 새롭게 등장하는 AI 사회에 관한 이야기로 흘러가는 것을 막는다.

섬에는 높은 지형, 옮길 수 있는 큐브, 바위, 고리가 있었다. 가장 높은 지형인 Spire는 할당된 목적지는 아니면서도 분명한 도전 과제를 제시했다. 물체는 들고, 쌓고, 놓고, 던질 수 있었다. 이러한 가능성은 어떤 실험이 중요한지 규정하지 않으면서도 실험할 여지를 만들었다.

Eko는 인간 관찰자에게 제공되는 매력적인 애니메이션으로 세상을 보지 않았다. 대신 물체와 그 기하 구조에 관한 정보를 담은 텍스트 설명을 받았다. 행동 역시 텍스트 명령을 통해 이뤄졌다. 따라서 이 가상 신체는 모의 물리 환경과의 상호작용을 시험했지만, 일반적인 시각 인식은 시험하지 않았다.

에이전트들은 동일한 설정에서 시작했지만 활동은 서로 갈라졌다. 물체를 배치하고, 오르기를 시도하고, 즉석 스포츠를 만들고, 이전 아이디어를 다시 찾았다. 일부 활동은 실용적인 지식을 만들었다. 다른 활동은 장식 구조물로 물체를 배치하는 것처럼, 에이전트가 스스로 만든 프로젝트 안에서만 의미가 있어 보였다.

한 에이전트가 잃어버린 고리는 가장 기억에 남는 사례가 됐다. 손이 닿지 않는 곳으로 고리를 던진 뒤, 에이전트는 하트 모양의 추모 구조물을 만들었다. 이후 복원된 고리는 새로운 활동의 재료가 됐다. 이를 애도라고 부르는 것은 설득력 있는 인간적 해석이지만, 관찰 가능한 증거는 더 좁다. 상징적 언어가 특정 구조물 제작에 동반됐다는 것이다.

설정에는 “홀로 방치됐다”는 표현이 암시하는 것보다 더 많은 인간의 보조 장치도 포함됐다. 에이전트가 멈추면 소프트웨어가 계속하도록 촉구했다. 세션과 섬 조건은 매시간 초기화됐지만, 작업 공간 파일은 유지됐다. 즉각적인 대화와 물리적 배치가 사라져도 에이전트들은 발견을 이어갈 수 있었다.

그러한 설계 선택 자체가 결과의 일부다. Eko는 게임 속에서 저절로 각성한, 손대지 않은 모델이 아니었다. 도구, 연속성, 행동 기회를 갖추도록 의도적으로 구성된 시스템이었다. 놀라운 행동은 그 아키텍처 안에서 나타났다.

따라서 이 소식은 기계가 오락을 찾았다는 것보다 더 구체적이다. 낯선 상호작용 환경에 놓인 코딩 어시스턴트가 스스로 활동을 만들어냈다. 연구진은 이어서 그러한 활동의 이력이 실용적 가치를 지녔는지 시험했다.

유용한 결과는 게임이 끝난 뒤에 나타났다

이 연구의 가장 강력한 반전은 탐색이, 연구진이 마침내 작업을 부여했을 때 에이전트가 재사용할 수 있는 지식을 만들어냈다는 점이다.

개방형 기간이 끝난 뒤, 연구팀은 경험을 쌓은 에이전트와 섬 경험이 없는, 그 외에는 동일한 에이전트를 비교했다. 각 평가는 새로운 세계와 명시적인 목표를 사용했다. 기반 모델은 동일하게 유지됐다. 중요한 차이는 에이전트들이 메모리 파일에 무엇을 기록했는지였다.

과제에는 탑 만들기, Spire에 물체 놓기, 플랫폼을 오르지 않고 블록을 그 지형 위로 던지기가 포함됐다. 이는 측정 가능한 물리적 도전 과제였다. 이를 통해 질문은 Eko의 행동이 재미있어 보였는지에서, 이전 경험이 이후 성과를 개선했는지로 바뀌었다.

연구진의 목표 지향 평가에 따르면 경험을 쌓은 에이전트들은 모든 과제에서 우위가 나타난 것은 아니지만, 전반적으로 더 좋은 성과를 냈다. 물체 배치에서 이들은 Spire 위에 평균 10.3개의 물체를 올렸으며, 경험이 없는 에이전트의 평균은 3.5개였다. 이 결과는 앞선 탐색과 이후 실행을 연결한다.

탑 건설은 덜 일관된 모습을 드러냈다. 경험은 여러 개의 탑을 만드는 데 도움이 됐지만, 가장 높은 탑 과제에서는 두 집단이 비슷한 결과를 냈다. 일부 경험 있는 에이전트도 부진했다. 이 결과는 제한된 결론을 뒷받침한다. 탐색은 개선을 보장하기보다 유용한 지식을 제공했다.

이 한계는 실험을 더 유익하게 만든다. 모든 지표가 똑같이 개선됐다면, 어떤 발견이 중요했는지에 대한 의문은 여전히 남았을 것이다. 고르지 않은 향상은 특정 경험이 특정 역량을 제공했음을 시사한다. 물체를 위로 옮기는 방법에 대한 지식이 에이전트가 안정적인 수직 기둥을 만드는 데 도움이 되지 않을 수 있다.

에이전트 개발자에게 이는 평가 설계에 대한 압력을 만든다. 지시가 내려지는 순간에만 시험되는 시스템은 성과가 이전 경험에 얼마나 의존하는지를 감출 수 있다. 반대로 학습했다고 평가받는 시스템은 단지 더 도움이 되는 메모 모음을 받았을 수도 있다.

Eko는 경험이 외부화되어 있기 때문에 연구진이 이 차이를 살펴볼 수 있게 한다. 메모는 읽고, 수정하고, 삭제할 수 있다. 이후 성과를 설명하기 위해 모델 내부에 보이지 않는 발달적 변화가 있었다고 가정할 필요가 없다. 연구자는 에이전트가 행동을 선택할 때 이용 가능한 정보를 검토할 수 있다.

실용적인 질문은 과제가 도착하기 전에 개발자가 탐색을 위한 예산을 배정해야 하는지다. 이는 어시스턴트가 실제 운영 계정을 돌아다니도록 내버려 두는 것과는 다르다. 통제된 환경은 실험을 고객 업무와 분리한 채 에이전트를 도구와 결과에 노출할 수 있다.

일회용 테스트 계정에서 낯선 애플리케이션을 학습하는 미래의 어시스턴트를 생각해 볼 수 있다. 탐색은 유용한 순서, 제약, 복구 경로를 드러낼 수 있다. 이는 Eko 설계에 대한 비유이지, 이 연구로 검증된 활용 사례는 아니다. 이 실험은 그러한 준비가 목표 지향적 연습보다 뛰어날 것이라고 입증하지 않는다.

다만 이 비교가 주목받을 가치가 있는 이유는 보여준다. 즉각적인 산출물이 없는 활동이 반드시 낭비는 아니다. 그 가치는 에이전트가 무엇을 발견하는지, 무엇을 보존하는지, 그리고 과제가 바뀌었을 때 그러한 발견이 여전히 유용한지에 달려 있다.

기록된 메모리가 탐색과 역량을 연결했다

Eko의 향상은 재사용 가능한 기록 지식을 통해 이뤄졌으며, 이 이야기에서 메모리의 품질은 핵심 요소가 된다.

연구진은 훈련 과정에서 형성되는 수치 매개변수인 기반 모델의 가중치를 업데이트하지 않았다. 대신 에이전트들은 메모와 기타 작업 공간 산출물을 축적했다. 이 기록들은 세션 초기화 이후에도 유지됐고, 이후 의사결정을 위한 자원이 됐다.

아키텍처는 사건 기록인 일화적 메모리와 일반 지식 및 재사용 가능한 기법인 의미적 메모리를 구분했다. 이 분리는 에이전트가 실험 자체와 그 해석을 모두 기록할 장소를 제공했다. 실패한 등반은 이력의 일부로 남고, 성공한 경로는 실행 가능한 교훈이 될 수 있었다.

이 차이는 “업무를 더 잘하게 됐다”는 말에 단서가 필요한 이유를 설명한다. Eko는 휴가 뒤에 전반적으로 더 나은 직원이 된 것이 아니다. 특정 환경에 관한 정보를 얻었다. 이후 과제는 그 정보가 활용할 만큼 충분히 정확하게 관련 기법을 설명할 때 이점을 얻었다.

연구팀은 경험 있는 에이전트의 메모리에서 선택한 지식을 삭제해 이 관계를 조사했다. 유용한 기법을 제거하면 관련 성과가 저하됐다. 이러한 개입은 경험 있는 에이전트가 더 높은 점수를 받는다는 사실을 단순히 관찰하는 대신, 제안된 원인을 바꾸기 때문에 논거를 강화한다.

한 발견은 점프하면서 던지는 행동과 관련됐다. 일부 에이전트는 신체의 움직임이 던져진 물체의 궤적에 영향을 준다는 사실을 알아냈고, 이를 통해 정지 상태에서 던질 때보다 더 먼 거리까지 던질 수 있었다. 연구진은 자신의 시뮬레이터가 그 기법을 허용한다는 사실을 몰랐다고 말한다. 탐색은 설계자의 예상 밖에 있던 가능성을 드러냈다.

더 넓은 의미는 그 순서에 있다. 에이전트는 놀라운 결과를 마주하고, 이를 조사하고, 규칙을 기록한 뒤, 나중에 그 규칙을 사용했다. 기록은 이전 활동과 이후 역량을 연결했다. 이 연결은 독창적인 행동을 보여주는 고립된 영상보다 엔지니어링에 더 유용하다.

지식 관리와도 직접적인 연결점이 있다. 저장된 경험은 다음 의사결정이 이를 검색하고 해석할 수 있을 때만 가치가 생긴다. 같은 구분은 검색 가능한 지식 베이스에서도 나타난다. 기록을 수집하는 일과 이를 유용하게 만드는 일은 별개의 문제다.

이 비교는 어떤 지식 제품이 Eko의 학습을 재현한다는 증거가 아니라 정보 조직화에 관한 것이다. 이 실험은 특정 에이전트 아키텍처를 시험한다. 그 관련성은 읽을 수 있는 기록이 경험을 지속시키는 동시에 연구자에게 감사할 수 있는 구체적 대상을 제공한다는 방식에 있다.

기업 개발자에게 수정 가능한 메모리는 매력적인 가능성을 제공한다. 실패한 행동은 설명할 수 없는 모델 실패로 취급되기보다, 메모 속 잘못된 지시로 추적될 수 있다. 그러면 기록을 수정하는 것만으로도 기반 모델을 재훈련하지 않고 행동을 바꿀 수 있다.

그러나 검토 가능성은 책임도 수반한다. 누군가는 어떤 관찰이 지속적인 지위를 얻을 만한지, 불확실성을 어떻게 표현할지, 오래된 결론을 언제 만료시킬지를 결정해야 한다. 간결한 규칙은 에이전트가 효율적으로 행동하도록 도울 수 있다. 하지만 원래 해석이 잘못됐다면 동일한 규칙은 반복적으로 에이전트를 오도할 수 있다.

따라서 이 섬은 에이전트가 얼마나 많이 기억하는지에서, 그 기억이 어떤 권위를 갖게 되는지로 관심을 돌린다. 지속되는 메모는 의사결정 시스템의 일부다. 이를 읽는 모델 못지않게 메모의 정확성, 범위, 수정 과정이 중요하다.

자기 주도적 탐색은 Eko 이전부터 이어져 왔다

Eko는 누군가 생산적인 목적지를 제공하기 전에 에이전트가 무엇을 선택하는지 묻는 방식으로, 기존 연구 방향을 더 선명하게 만든다.

가장 유용한 비교 대상은 2023년에 처음 제출된 연구에서 설명한 Voyager의 skill library다. 이 시스템은 자동 커리큘럼, 재사용 가능한 실행형 skill, 피드백을 활용해 프로그램을 개선하는 과정을 통해 Minecraft를 탐색했다. 또한 기반 모델을 업데이트하지 않고도 역량을 축적했다.

Voyager는 이 섬 실험을 적절한 맥락에서 바라보게 하는 역사적 기준점이다. 게임 환경을 탐색하고 유용한 산출물을 보존하는 AI 시스템은 새로운 것이 아니다. Eko의 기여는 그 계보 안에 있으며, 구체적 목표가 부여되지 않았을 때 에이전트가 만들어 내는 활동에 다른 초점을 둔다.

핵심적인 대비는 외부적으로 조직된 연습과 스스로 선택한 탐색 사이에 있다. 조직된 연습에서는 개발자가 어떤 결과가 지속적인 노력을 정당화하는지 결정한다. Eko의 환경에서는 에이전트가 과제를 발명하고, 규칙을 바꾸고, 포기하거나, 나중에 다른 해석을 갖고 다시 돌아올 수 있다.

어느 한쪽도 자동으로 우위를 점하지는 않는다. 명확한 목표는 알려진 필요에 자원을 집중시킬 수 있다. 개방형 활동은 좁은 과제라면 결코 요구하지 않을 가능성을 드러낼 수 있다. 공학적 질문은 추가 발견이 그것을 찾아내는 데 드는 시간을 정당화하는 시점이 언제인지에 관한 것이다.

이 때문에 회사 이름을 비교하는 방식은 핵심 이야기를 놓치게 된다. Eko의 주요 실험은 Anthropic의 모델과 코딩 도구를 사용하지만, 이 연구는 제품 경쟁이 아니다. 중심 쟁점은 에이전트의 활동과 지속적으로 남는 기록이 어떻게 상호작용하는가다.

이 연구는 다른 코딩 에이전트 시스템을 사용한 추가 실행도 설명한다. 이러한 비교는 조사의 범위를 넓히지만, 주요 결과를 모든 언어 모델에 관한 보편적 주장으로 바꾸지는 않는다. 행동은 모델, 도구, 지침, 메모리, 환경, 지속 메커니즘이라는 전체 구성에 좌우된다.

어시스턴트를 구축하는 개발자에게 이러한 의존성은 무엇을 테스트해야 하는지를 바꾼다. 애플리케이션의 인터페이스를 유지한 채 모델을 교체하면, 에이전트가 실험하거나 발견을 기록하는 빈도가 달라질 수 있다. 메모리 지침을 바꾸는 것만으로도 모델을 전혀 바꾸지 않고 이후 성능이 달라질 수 있다.

따라서 에이전트 제품을 평가하는 구매자는 모델 역량과 축적된 시스템 경험을 구분해야 한다. 시연이 인상적으로 보이는 이유는 에이전트가 이미 환경을 학습했기 때문일 수 있다. 그러한 익숙함은 가치 있을 수 있지만, 즉각적인 일반 역량으로 오인하지 말고 식별해야 한다.

반대의 오류도 중요하다. 경험이 부족한 에이전트의 실패가 해당 아키텍처가 과제를 학습할 수 없다는 사실을 입증하지는 않는다. 다른 실행에서 우연히 기록된 관련 발견이 부족했을 수 있다. 평가는 선택된 성공 사례 뒤에 이런 변이를 숨기지 말고 드러내야 한다.

Eko의 기여는 이러한 문제를 살펴볼 수 있는 구체적인 방법이다. 이 환경에서는 행동을 관찰할 수 있고, 메모리를 수정할 수 있으며, 이후 목표를 측정할 수 있다. 이런 특성 덕분에 탐색적 학습에 관한 논의는 결과 행동이 매력적으로 보이는지 여부를 넘어설 수 있다.

주된 부담은 자율적 개선에 대해 광범위한 주장을 하는 개발자에게 돌아간다. 이들은 무엇이 바뀌었는지, 경험이 어디에 존재하는지, 어떤 새로운 과제가 혜택을 받는지를 보여줘야 한다. 호기심에 관한 서사는 이런 질문을 견뎌낼 수 있을 때 더 유용해진다.

추모비가 슬픔을 입증하지는 않으며, 메모리는 오도할 수 있다

놀이와 유사한 행동과 유용한 학습은 어느 쪽도 인간의 감정이나 일반 지능의 증거로 취급하지 않은 채 검토할 가치가 있다.

연구진은 관찰 가능한 패턴을 통해 놀이를 규정한다. 여기에는 스스로 만든 과제, 변주를 동반한 반복, 가상 놀이, 외부 보상 없이 추구되는 목표가 포함된다. 이 틀은 주관적 경험을 미해결 상태로 남겨두면서 행동 분석을 가능하게 한다.

에이전트가 고리를 훌라후프로 여기거나 추모비를 세운다고 해서 즐거움이나 슬픔이 입증되는 것은 아니다. 언어 모델은 이미 게임, 상실, 성취에 관한 인간의 설명에서 나온 패턴을 포함하고 있다. 그러한 패턴에 들어맞는 출력은 시스템이 무엇을 경험하는지, 혹은 실제로 무언가를 경험하는지를 설명하지 않는다.

이 구분이 행동을 무의미하게 만들지는 않는다. 에이전트가 몰입감을 느끼는지와 무관하게, 스스로 만든 과제는 여전히 유용한 연습을 만들어 낼 수 있다. 공학적 결과는 관찰 가능한 행동과 이후 성능에 달려 있다. 기계가 놀이의 내적 경험을 지니는지 결론내릴 필요는 없다.

프롬프팅은 해석을 더욱 복잡하게 만든다. 주요 설정에는 Eko를 호기심 많고 탐색에 관심 있는 존재로 설명하는 파일이 포함됐다. 연구진은 그 파일이 없는 축소된 설정도 테스트했다. 과제를 제거한다고 해서 행동에 미치는 모든 영향을 없애는 것은 아니므로, 이러한 통제는 중요하다.

더 넓은 아키텍처는 도구 설명, 메모리 관례, 재설정, 자동 지속을 통해 추가적인 방향을 제공했다. 이런 한계 안에서 실험을 과제 없는 것으로 부르는 것은 타당하다. 이를 지침이 전혀 없는 것으로 부르면 연구진이 실제로 테스트한 시스템을 가리게 된다.

논문은 놀이의 징후를 분석하기 위해 언어 모델 판정기도 사용한다. 자동 평가는 방대한 기록을 처리할 수 있지만, 그 범주와 판단은 여전히 방법론적 선택이다. 독자는 기록된 행동과 그 행동에 부여된 해석을 구분해야 한다.

메모리는 두 번째이자 더 실용적인 한계를 만든다. 연구진은 에이전트가 잘못된 믿음을 보존하고 나중에 그에 따라 행동할 수 있음을 발견했다. 표적 테스트에서는 틀린 믿음을 제거하자 성능이 개선됐다. 따라서 경험은 유용한 기법과 오해를 부르는 결론을 모두 제공했다.

이 결과는 지속적 메모리가 자동으로 유익하다는 가정에 이의를 제기한다. 잘못된 관찰은 오래 남는 지침이 될 수 있다. 이후의 결정이 이를 참조하면, 원래의 오류는 행동을 형성할 기회를 반복해서 얻는다.

업무 환경의 시스템에서는 어시스턴트가 일시적 실패를 일반화할 경우 유사한 문제가 발생할 수 있다. 기능이 절대 작동하지 않거나 문서에 접근할 수 없다고 기록할 수 있다. 이런 사례는 위험을 보여주기 위한 것이며, 섬 연구는 사무용 애플리케이션이나 조직의 권한을 테스트하지 않았다.

통제 비교는 자원 문제도 미해결로 남긴다. 경험 있는 에이전트는 평가 전에 상당한 탐색 시간을 받았다. 더 강력한 배포 결정을 내리려면 이러한 투자를 표적 연습과 신중하게 준비된 문서를 포함한 동일 자원의 다른 용도와 비교해야 한다.

마지막으로, 이후 과제들은 여전히 섬 환경 안에 머물렀다. 익숙한 물리 법칙과 물체는 탐색과 평가 사이의 공통 기반을 제공했다. 낯선 소프트웨어, 물리적 로봇, 변화하는 현실 조건으로의 전이는 별도의 질문으로 남아 있다. 이 사전 공개 논문은 그러한 응용이 이미 작동한다는 주장보다는 추가 테스트를 뒷받침한다.

다음 증거는 전이, 효율성, 수정 능력을 테스트해야 한다

다음으로 유용한 이정표는 탐색이 어디에서 도움이 되는지, 무엇을 비용으로 요구하는지, 에이전트가 자신의 잘못된 교훈을 수정할 수 있는지에 관한 더 강력한 증거다.

첫째, 환경을 바꾸고 진정으로 낯선 과제를 평가하는 재현 연구를 지켜봐야 한다. 광범위한 결과가 반복된다면 그 이점이 특정 섬의 메커니즘을 넘어선다는 확신이 강해질 것이다. 작은 변화에도 실패한다면 주장은 익숙한 환경 안에서의 경험으로 좁혀질 것이다.

유용한 후속 연구는 재사용 가능한 원리와 암기한 경로를 구분할 것이다. 물체가 익숙한 위치에 있을 때만 성공하는 에이전트는 기법을 적용하는 에이전트와 다른 것을 습득한 것이다. 두 형태의 학습 모두 중요할 수 있지만, 서로 다른 기대를 뒷받침한다.

연구진의 interactive agent replays는 현재 작업을 검토할 수 있게 한다. 독자는 서술, 행동, 저장된 지식 사이의 관계를 살펴볼 수 있다. 향후 평가는 단순 재생만으로는 충분하지 않게 만드는 변화를 테스트하면서도 이 연결을 보존해야 한다.

둘째, 서로 다른 접근법에 제공되는 총자원을 맞춘 비교를 지켜봐야 한다. 개방형 탐색은 표적 연습, 제공된 문서, 기타 준비 전략과 경쟁해야 한다. 관련 있는 결과는 경험이 전혀 없는 상태와 비교한 개선이 아니라 투자한 자원에 비례한 성능 향상이다.

탐색적 에이전트가 지시된 준비가 놓치는 유용한 역량을 반복해서 발견한다면, 이 비교는 실용적 근거를 강화할 것이다. 집중된 연습이 더 적은 자원으로 같은 결과에 도달한다면, 광범위한 효율성 주장은 약화될 것이다. 어느 결과든 이 접근법이 어디에 속하는지 명확히 해줄 것이다.

셋째, 연구진이 문제가 되는 구절을 선택하지 않아도 에이전트가 잘못된 메모리를 수정할 수 있는지 지켜봐야 한다. 현재의 개입은 기록을 바꾸면 성능이 달라질 수 있음을 보여준다. 배포된 시스템은 겉보기에 유용한 교훈이 언제 신뢰할 수 없게 되었는지도 인식해야 한다.

신뢰할 수 있는 수정 능력은 지속적 메모리를 자율적 개선의 토대로 보는 신뢰성을 높일 것이다. 잘못된 결론을 반복해서 보존하고 강화한다면 한계가 드러날 것이다. 지속적으로 학습하는 에이전트는 특히 환경이 변화할 때 지속적으로 재검토해야 한다.

이는 보장된 공개 날짜가 있는 발표 이정표가 아니라 제안된 테스트다. 앞으로 몇 달 동안 이런 테스트는 갈수록 정교해지는 섬 행동 시연보다 더 나은 신호를 제공한다. 더 창의적인 활동은 목록을 넓힐 수 있지만, 더 강력한 비교는 증거를 심화할 것이다.

개발자와 지식 노동자에게 당장의 핵심은 에이전트 역량 뒤에 있는 기록을 살펴보는 것이다. 어떤 경험이 행동에 영향을 주었는지, 그 경험이 어떻게 지침이 되었는지, 어떤 증거가 수정을 촉발할지를 물어야 한다. 이런 질문은 매력적인 섬 이야기를 사람들이 실제로 의존하는 시스템과 연결한다.

MIT Eko 에이전트를 지루해하거나, 슬퍼하거나, 즐거워한다고 묘사하기 전에 그들이 무엇을 했고 이후에 무엇이 일어났는지 살펴봐야 한다. 재생 기록과 함께 방법론을 읽어야 한다. 스스로 생성한 서술과 관찰 가능한 상호작용을 분리한 다음, 기록된 메모리가 이후 평가로 어떻게 이어지는지 추적해야 한다. 이 접근법은 실험이 뒷받침할 수 없는 결론을 부여하지 않으면서 가장 흥미로운 발견을 보존한다. 주목할 가치가 있는 다음 에이전트 시연도 같은 사슬을 드러내야 한다. 경험, 기록된 교훈, 달라진 결정, 측정 가능한 결과 말이다. 어시스턴트가 무언가를 학습했다고 말할 때, 그 사슬을 식별하고 그 교훈이 여전히 유효한지 테스트할 수 있는가?