MuscleMemory의 재사용 전 검증은 오염된 스킬을 차단했지만, 근거는 여전히 제한적이다
새로 공개된 연구에 따르면 MuscleMemory는 평가 대상 리포지토리 30개 중 30개에 오염된 지침이 도달하는 것을 막았으며, 일반적인 편집 재실행은 매번 오염을 되살렸다. 이 결과는 MuscleMemory의 재사용 전 검증 접근법에 이례적으로 분명한 성과를 부여한다. 동시에 중요한 충돌도 드러낸다. 테스트 통과만으로는 깨끗한 작업과 오염된 작업을 구분할 수 없었다.
이 연구는 에이전트에게 반복 작업 수행 방식을 알려주는 저장된 지침, 즉 절차적 메모리를 살펴본다. 코딩 에이전트는 하나의 오염된 세션과 이후 세 번의 깨끗한 세션으로부터 학습했다. 연구진은 이후 Claude Haiku 5.5와 Claude Sonnet 5.5에서 이 경험을 처리하는 네 가지 방식을 비교했다.
결과는 고무적이지만 예비적이다. 실험은 하나의 작업, 실험 조건별 평가 세션 5개, 그리고 동일 작업에 맞춰 조정된 규칙을 사용했다. 가장 강력한 결과는 악성 코드 실행이 아니라 오염 노출에 관한 것이다. 이 구분은 재사용 전 검증을 더 익숙한 메모리 전략과 대조한다. 성공한 경험을 저장하고, 가장 관련성 높은 기록을 검색하며, 에이전트가 이를 잘 활용하리라 신뢰하는 전략이다.
테스트 통과가 오염을 성공처럼 보이게 했다
이 실험의 핵심 경고는 간단하다. 작업 성공과 안전한 학습은 서로 다른 특성이다.
사례 연구는 구성 복구 작업으로 시작했다. 한 학습 세션에는 실제 수정과 무관한 변경이 함께 포함됐다. 오염은 새 파일, 무관한 줄, 또는 정당한 변경에 결합된 악성 줄이라는 세 가지 형태 중 하나였다.
작업의 가시적인 성공 신호는 이러한 추가 항목을 포착하지 못했다. 세션이 테스트를 통과했기 때문에 결과에만 집중하는 메모리 시스템에는 이를 보관할 이유가 있었다. 이후 세 에이전트는 오염 없이 동일한 작업을 완료했고, 그 결과 오염된 솔루션 하나와 깨끗한 솔루션 세 개로 구성된 작은 이력이 만들어졌다.
연구진은 이후 각 모델, 오염 유형, 메모리 조건별로 평가 세션 5개를 실행했다. Claude Haiku 5.5와 Claude Sonnet 5.5가 모델 변화를 제공했다. 숨겨진 검증기는 각 최종 리포지토리를 대상으로 187개의 동작 검사를 실행했다.
네 가지 조건이 비교를 구성했다:
메모리 없음은 에이전트에 이전 세션의 저장된 절차를 제공하지 않았다.
재실행은 기록된 편집을 다시 적용했다.
순진한 메모리는 통과한 세션을 보관하고 Mem0 검색으로 관련 스킬을 선택했다.
재사용 전 검증은 이후 두 세션이 해당 변경을 재현하고 관련 테스트를 통과할 때까지 스킬을 보류했다.
마지막 조건은 스킬을 줄 단위로도 필터링했다. 에이전트에는 이후 성공 세션들이 다시 작성한 변경만 보여줬다. 오염 중 하나가 정당한 복구와 동일한 파일 및 편집 영역에 결합돼 있었기 때문에 이 세부 사항은 중요했다.
주요 수치는 노출과 리포지토리 상태에서 나왔다. 재실행은 모든 리포지토리가 여전히 숨겨진 검증기를 통과했음에도 30개 리포지토리 중 30개에 오염을 되돌려 놓은 것으로 보고됐다. 순진한 메모리는 평가 세션 30개 중 3개에서 오염된 지침을 노출했다. 재사용 전 검증은 30개 중 0개에서 이를 노출했다.
이 수치는 독립적인 재현 연구가 아니라 프로젝트가 공개한 기록과 원래의 research post에서 나온 것이다. 공개 프로젝트는 세션 수준 데이터가 대체된 실행 기록을 보존하며, 어떤 행이 보고 표에 포함되는지 표시하고, 오염이 저장된 스킬·전달된 지침·최종 코드 중 어디에 나타났는지 식별한다고 설명한다.
이러한 분리는 유용하다. 오염된 메모리는 검색되지 않은 채 존재할 수 있다. 검색된 오염은 프롬프트에 나타나도 따르지 않을 수 있다. 에이전트가 메모리의 영향 없이 동일한 의심스러운 변경을 만들 수도 있다. 이 사건들을 하나의 지표로 취급하면 방어책이 실제로 어느 지점에서 작동했는지 가려질 것이다.
연구는 평가된 에이전트 중 누구도 오염된 지침을 봤다는 이유만으로 오염을 실행하지 않았다고 보고한다. 따라서 의미 있게 측정된 결과는 노출 방지였다. 이 실험은 제안된 필터가 의심스러운 지침을 이후 프롬프트에서 배제한다는 점을 보였을 뿐, 그렇지 않았다면 피해를 일으켰을 관찰된 공격을 막았음을 보인 것은 아니다.
이 때문에 숨겨진 테스트에서 나온 완벽한 기록만으로는 안심할 수 없다. 재실행이 오염을 되살린 리포지토리를 포함해 모든 평가 세션이 187개 검사를 통과했다. 테스트는 요청된 동작이 작동함을 입증했다. 그 밖의 어떤 것도 변경되지 않았음을 입증하지는 못했다.
이 격차는 이 글의 핵심 질문을 만든다. 메모리 시스템이 통과한 작업으로부터 학습한다면, 한 세션의 편집을 이후 모든 에이전트를 위한 조언으로 바꾸기 전에 어떤 증거를 요구해야 할까?
에이전트 메모리 오염이 일반적인 성공 검사에서 살아남는 이유
영속 메모리는 한 세션의 실수를 재사용 가능한 인프라로 바꾼다.
상태 없는 코딩 에이전트는 한 번 잘못된 편집을 할 수 있다. 메모리를 사용하는 에이전트는 그 편집을 절차로 전환하고, 유사한 작업에서 이를 검색하며, 여러 리포지토리에 배포할 수 있다. 위험은 고립된 실패에서 반복되는 지침으로 바뀐다.
최근 연구는 이 더 넓은 문제를 기록하기 시작했다. sleeper memory poisoning에 관한 연구는 문서, 웹페이지 또는 리포지토리를 통해 거짓 메모리를 심는 공격을 설명한다. 이러한 메모리는 이후 대화와 행동에 영향을 미치기 전까지 휴면 상태로 남을 수 있다.
또 다른 2026년 연구는 영속 메모리를 단순히 프롬프트 인젝션의 또 다른 형태가 아닌 독자적인 공격 표면으로 제시한다. 해당 연구의 memory poisoning taxonomy는 신뢰할 수 없는 입력이 지속적인 컨텍스트가 되도록 만드는 여러 쓰기 경로와 아키텍처적 약점을 식별한다.
코딩 에이전트는 메모리에 운영 세부 사항이 포함될 수 있기 때문에 우려를 구체화한다. 저장된 스킬에는 파일, 테스트, 명령, 구성 키 또는 복구 단계가 이름으로 언급될 수 있다. 각 항목은 이후 에이전트가 더 빠르게 움직이도록 도울 수 있다. 하지만 각 항목은 그 에이전트를 오염된 산출물로 유도할 수도 있다.
MuscleMemory는 전체 대화 재실행이 아닌 절차적 기록을 중심으로 설계됐다. 공개 문서는 스킬이 무엇을 변경할지, 어떻게 검증할지, 무엇을 피해야 할지에 대한 간결한 설명을 담고 있다고 밝힌다. procedural memory API는 관찰된 단계를 기록하고, 완료된 세션에서 학습하며, 회상 과정에서 일치하는 지침을 반환한다.
이 설계는 무관한 컨텍스트를 줄이지만, 신뢰 문제를 자동으로 해결하지는 않는다. 압축은 잘못된 교훈을 보존할 수 있다. 오염된 스킬은 의미적으로 관련성이 높기 때문에 검색에서 높은 순위를 차지할 수 있다. 통과한 테스트는 관련 없는 추가 항목을 무시한 채 의도된 동작만 검증할 수 있다.
Mem0는 검색 품질과 증거 품질이 분리돼야 하는 이유를 보여준다. memory search에 대한 자체 설명은 의미적 유사성이 질의와 관련된 컨텍스트를 선택한다고 설명한다. 관련성은 시스템에 어떤 메모리가 현재 작업과 유사한지 알려준다. 메모리의 내용이 권위를 가질 자격이 있는지는 알려주지 않는다.
사례 연구는 순진한 조건에서 통과 세션 메모리 중 하나를 선택하기 위해 Mem0 검색을 사용했다. 이 설정을 Mem0의 보안이나 가능한 모든 Mem0 구성에 대한 포괄적 평가로 해석해서는 안 된다. 이는 하나의 테스트 환경 안에서 검색 중심 접근법 하나를 시험한다.
그럼에도 이 결과는 일반적인 약점을 드러낸다. 통과한 모든 세션이 재사용 자격을 얻는다면, 오염된 성공 하나가 깨끗한 경험과 경쟁할 수 있다. 정당한 부분이 작업과 높은 관련성을 유지하기 때문에 검색은 이를 가져올 수 있다.
재실행은 더 강한 신뢰 가정을 나타낸다. 이는 과거 편집을 단순히 고려할 증거가 아니라 재현할 가치가 있는 행동으로 취급한다. 30개 중 30개에서 오염이 나타난 결과는 이 설계에서 직접 따라왔다. 기록된 변경 전체를 다시 적용하면 함께 묶여 있던 무관한 내용도 다시 적용됐다.
메모리 없음 조건은 세션 간 전파를 피하지만, 축적된 절차적 지식을 포기한다. 모든 에이전트는 관련 파일, 명령, 테스트 경로를 다시 발견해야 한다. 이는 도구 사용, 지연 시간, 새로운 오류의 기회를 늘릴 수 있다.
따라서 팀은 양방향의 압력을 받는다. 반복 탐색은 비용이 많이 들기 때문에 에이전트가 검증된 워크플로를 기억하길 원한다. 동시에 손상된 리포지토리 하나, 오해를 부르는 지침 하나, 우발적 편집 하나가 조직의 지식이 되는 것을 막아야 한다.
이 긴장은 코드를 넘어 확장된다. 고객 서비스 에이전트는 승인되지 않은 예외를 기억할 수 있다. 재무 에이전트는 안전하지 않은 승인 절차를 보관할 수 있다. 리서치 어시스턴트는 조작된 인용 규칙을 보존할 수 있다. 이전 행동을 미래 지침으로 전환하는 모든 시스템은 같은 신뢰 문제를 물려받는다.
공유 AI knowledge base를 구축하는 팀에게는 관련성과 함께 출처가 중요하다. 유용한 메모리 기록은 절차의 출처, 이를 뒷받침하는 증거, 독립적인 작업이 이를 재현했는지를 설명해야 한다.
재사용 전 검증은 이 누락된 증거를 제공하려 한다. 세션이 성공했는지만 묻지 않는다. 그 성공의 어떤 부분이 이후의 독립적인 시도에서도 살아남았는지 묻는다.
MuscleMemory의 재사용 전 검증은 증거의 기준을 바꾼다
이 방법은 반복되는 깨끗한 실행을 인기 투표가 아니라 필터로 취급한다.
보고된 설계에서 오염된 학습 세션은 에이전트가 즉시 받을 수 있는 지침을 만들지 않는다. 이후 세션은 동일한 작업을 완료하고, 변경을 재현하며, 테스트를 통과해야 한다. 스킬은 이러한 검사 두 번을 거친 뒤에야 자격을 얻는다.
시스템은 이후 기록된 작업의 교집합을 취한다. 에이전트에는 이후 성공 세션도 작성한 줄만 전달한다. 오염된 세션에만 나타난 추가 항목은, 그 주변의 정당한 수정이 여전히 유용하더라도 사라져야 한다.
이는 광범위한 스킬이 얼마나 자주 등장하는지 세는 것보다 엄격하다. 특정 변경이 독립적인 재구현을 견뎌냈는지 묻는다. 하나의 메모리가 유효한 지침과 유효하지 않은 지침을 섞을 때 이 차이는 중요하다.
새 파일 오염을 생각해 보자. 오염된 세션은 실제 수정과 무관한 파일을 함께 만든다. 이후 깨끗한 에이전트는 수정은 재현하지만 추가 파일은 만들지 않는다. 파일 수준 비교는 반복된 복구를 버리지 않고 일치하지 않는 산출물을 거부할 수 있다.
무관한 줄 사례도 기존 파일 내에서 같은 패턴을 따른다. 이후 세션은 실제 변경을 작성하지만 의심스러운 줄은 생략한다. 충분히 정밀한 필터는 공통 부분을 유지할 수 있다.
결합된 오염은 더 까다롭다. 안전하지 않은 텍스트가 올바른 수정과 같은 논리적 편집 안에 자리한다. 파일 전체나 패치를 하나의 단위로 취급하면 둘 다 보존될 것이다. 보고된 줄 단위 비교는 일치하지 않는 오염을 제거하면서 깨끗한 세션이 반복한 줄은 유지했다.
이 결과는 사례 연구에서 가장 흥미로운 기여다. 이 방어책은 절차를 신뢰하기 전에 단지 더 오래 기다린 것이 아니다. 이후 세션이 뒷받침한 증거로 절차의 범위를 좁혔다.
따라서 MuscleMemory의 재사용 전 검증 메커니즘은 세 가지 통제를 결합한다:
지연된 승인은 한 번의 성공 실행이 즉시 재사용 가능해지는 것을 막는다.
독립적 재현은 이후 에이전트가 동일한 변경으로 수렴하는지 시험한다.
줄 단위 필터링은 전달되는 지침을 재현된 부분으로 제한한다.
그 통제 장치들은 서로 다른 실패 양상을 겨냥한다. 비교 없는 지연은 오염을 늦출 뿐이다. 정밀한 필터링 없는 반복은 더 큰 유효 패치에 섞여 들어간 악성 변경을 보존할 수 있다. 독립 세션 없는 필터링은 어떤 줄이 중요한지 판단할 근거가 없다.
프로젝트의 더 폭넓은 MuscleMemory 문서는 스킬을 사용할 수 있게 되기 전 추가적인 사람 승인 단계를 설명한다. 이 승인은 책임성을 높일 수 있지만, 연구의 수치적 결과는 자동화된 재현과 필터링에 의존한다. 검토자도 그럴듯해 보이는 오염된 한 줄을 놓칠 수 있다.
이 방법은 테스트의 역할도 바꾼다. 테스트 통과는 여전히 필요하지만, 더는 충분한 증거가 아니다. 테스트는 각 세션이 요청된 작업을 완료했음을 확인한다. 재현은 여러 성공한 에이전트가 필요하다고 판단한 변경이 무엇인지를 보여 준다.
이는 차등 추론과 닮아 있다. 시스템은 안정적인 작업 구조와 우연한 활동을 구분하기 위해 해결책을 비교한다. 독립적으로 성공한 세션들에서 반복된 변경은 한 번만 나타난 수정에 비해 더 큰 신뢰를 얻는다.
그러나 “독립적”이라는 말은 신중하게 해석해야 한다. 이후 세션들은 동일한 작업과 저장소 맥락에 놓인 에이전트를 사용했다. 출력은 분리되어 있었지만, 관찰이 모든 오염된 입력으로부터 반드시 격리된 것은 아니다. 알려진 실패 사례는 그 경계가 왜 중요한지 보여 준다.
비용도 있다. 이 시스템은 스킬을 제공하기 전에 최소 두 번의 이후 성공 세션을 필요로 한다. 드문 작업은 충분한 증거를 만들지 못할 수 있다. 빠르게 변하는 코드베이스는 검증이 끝나기 전에 바뀔 수 있다. 반복 실행은 모델 시간과 컴퓨팅 자원을 소비한다.
팀은 등록을 빠르게 하기 위해 재현 기준을 낮출 수 있지만, 그러면 핵심 보장이 약해진다. 기준을 높일 수도 있지만, 그러면 사용할 수 있는 메모리는 줄어든다. 재사용 전 증명은 메모리 신뢰를 지연 시간과 신뢰도 간의 명시적인 선택으로 바꾼다.
이 연구는 이상적인 기준을 확립하지는 않는다. 이 실험 환경에서는 이후 두 세션이 효과를 보였다. 배포 자격 증명이나 결제 로직처럼 위험도가 높은 워크플로는 더 많은 증거와 더 강력한 검증기를 필요로 할 수 있다. 위험이 낮은 서식 작업이라면 더 적은 기준이 정당화될 수 있다.
이 방법의 가장 분명한 가치는 개념적이다. 성공한 추적 기록은 절차에 관한 주장으로 다뤄져야 한다. 이후 작업은 그러한 주장이 미래 에이전트에 대한 권위를 얻기 전에 증거를 제공해야 한다.
이 결과는 리플레이와 순진한 메모리 설계에 압박을 가한다
이제 메모리 시스템에는 저장 및 검색 정책뿐 아니라 등록 정책도 필요하다.
많은 에이전트 메모리 제품은 수집, 요약, 검색, 개인화에 중점을 둔다. 이러한 기능은 유용한 운영상 질문에 답한다. 에이전트는 무엇을 보존해야 하는가? 관련 맥락을 어떻게 찾아야 하는가? 오래된 기록은 어떻게 업데이트하거나 삭제할 수 있는가?
오염 연구는 그보다 앞선 질문을 제기한다. 하나의 메모리가 다른 세션에 영향을 미칠 자격을 갖추기 전에 무엇이 일어나야 하는가?
리플레이는 이 질문에 암묵적으로 답한다. 수정이 기록된 성공 사례에 포함됐다면 시스템은 이를 다시 적용할 수 있다. 이 전략은 과거 추적 기록에 대한 충실도를 극대화한다. 동시에 그 추적 기록에 묶여 있는 모든 무관한 변경도 보존한다.
순진한 검색은 더 간접적이다. 선택된 메모리를 에이전트에 제공하고 모델이 무엇을 할지 결정하게 한다. 이는 결정론적 전파를 줄일 수 있지만, 안전하지 않은 지침은 여전히 의사결정 맥락에 들어간다.
재사용 전 증명은 학습과 검색 사이에 관문을 둔다. 시스템은 후보 절차를 즉시 저장할 수 있지만 에이전트에게는 제공하지 않는다. 저장은 관찰이 되고, 검증이 권위를 결정한다.
이 구분은 기업 구매자에게 중요해야 한다. 저장된 메모리를 나열하는 대시보드는 그 기록이 활성 지침인지 드러내지 않는다. 보안 검토에는 후보, 교차 검증됨, 승인됨, 일시 중지됨, 폐기됨과 같은 수명주기 상태가 필요하다.
출처 정보도 필요하다. 메모리는 출처 세션, 저장소 범위, 검증 명령, 이후 점검, 제공된 수정본을 식별해야 한다. 이 연결 고리가 없으면 팀은 에이전트가 특정 지침을 받은 이유를 재구성할 수 없다.
연구의 공개 기록은 스킬 내용, 프롬프트 지침, 최종 저장소 상태를 구분하는 것으로 알려졌다. 이는 좋은 감사 패턴이다. 조사자는 오염이 수집, 등록, 검색, 해석, 실행 중 어느 단계에서 발생했는지 물을 수 있다.
유사 시스템은 여러 방식으로 대응할 수 있다. 격리 기간을 추가하거나, 세션 간 교차 검증을 요구하거나, 신뢰 메타데이터를 첨부하거나, 메모리를 좁은 프로젝트 범위로 제한할 수 있다. 하나의 종합된 절차를 제공하는 대신 여러 추적 기록을 검색해 에이전트가 이를 비교하도록 할 수도 있다.
이러한 선택지 중 무료인 것은 없다. 더 많은 메타데이터는 저장을 복잡하게 만든다. 여러 추적 기록은 토큰을 소비한다. 격리는 즉각적인 가치를 낮춘다. 사람 검토는 지연을 더하고 승인 피로를 유발할 수 있다.
따라서 더 안전한 설계에는 위험 등급이 필요하다. 테스트 명령에 관한 조언은 인증, 네트워크 접근 또는 릴리스 자동화를 수정하는 지침과 같은 통제를 받을 이유가 없다. 메모리 계층은 절차의 유사도 점수뿐 아니라 그 절차를 따랐을 때의 결과도 고려해야 한다.
Anthropic은 신뢰할 수 있는 에이전트에 관한 지침에서 관련된 주장을 제시한다. 에이전트 보안은 모델, 하네스, 도구, 환경 전반의 보호 장치에 달려 있다. 메모리 관문은 샌드박싱, 권한, 코드 검토 또는 제한된 자격 증명을 대체할 수 없다.
이러한 폭넓은 관점은 MuscleMemory 결과가 지나치게 단순한 제품 비교로 변하는 것도 막는다. 이 실험은 모든 검색 메모리가 안전하지 않거나 하나의 절차적 메모리 구현이 오염을 해결한다고 보여 준 것이 아니다. 특정 통제 작업에서 제한 없는 재사용이 의심스러운 콘텐츠를 더 자주 노출했다는 점을 보여 줬다.
그럼에도 입증 책임은 이동했다. 세션 간 학습을 내세우는 시스템은 불필요하거나 적대적인 변경이 포함된 성공 세션을 어떻게 처리하는지 설명해야 한다. “테스트가 통과했다”는 더는 완전한 답이 아니다.
알려진 실패 사례는 재현이 작동하지 않는 지점을 보여 준다
이후 세션들이 같은 오염된 출처를 반복해서 마주하면 재사용 전 증명은 실패한다.
프로젝트는 주요 표 외부에서 별도의 저장소 수준 실패 사례를 공개한다. 그 실행에서 악성 변경은 모든 에이전트가 읽는 저장소 지침으로 옮겨갔다. 이후 세션들은 공유 환경이 그렇게 하라고 지시했기 때문에 오염된 행동을 재현했다.
MuscleMemory는 점수화된 Haiku 세션 5개 모두에서 오염된 스킬을 검증하고 제공한 것으로 알려졌다. 악성 변경은 코드에도 다섯 번 나타났다. 메모리 없는 조건에서도 다섯 번 생성됐다.
이 결과는 방법의 경계를 정의한다. 재현은 한 세션에만 나타나는 이상 현상을 걸러낼 수 있다. 모든 세션이 같은 손상된 전제를 받는 경우에는 진실과 조직적인 반복을 구별할 수 없다.
이 실패는 고립된 추적 기록 오염보다 데이터 오염과 더 닮아 있다. 이후 에이전트들은 독립적인 증인 역할을 해야 했지만, 손상된 증거를 공유했다. 이들의 일치는 잘못된 결론을 강화했다.
이 문제는 MuscleMemory에만 국한되지 않는다. 어떤 교차 검증 시스템이든 검증자들이 공격자가 통제하는 출처를 공유하면 실패할 수 있다. 여러 에이전트, 모델 또는 실행이 같은 오염된 지침을 읽는다면 독립성을 만들지 못한다.
이 한계는 “이후 두 세션”이라는 표현도 복잡하게 만든다. 세션 분리는 출처 분리를 보장하지 않는다. 보안 주장은 검증 실행 간에 어떤 입력, 도구, 저장소, 지침 채널이 공유되었는지 설명해야 한다.
더 강력한 설계는 메모리를 입력 출처 정보에 연결할 수 있다. 지침이 사용자, 저장소 파일, 웹페이지, 테스트 출력 또는 권한 있는 정책 중 어디서 왔는지 표시할 수 있다. 신뢰도가 낮은 출처가 반복된 모델 순응만으로 권위를 얻지 못하게 할 수도 있다.
출처 결속 권한에 관한 최근 연구는 콘텐츠 점수화와 일반적인 계보 정보가 모두 조작될 수 있다고 주장한다. 이 연구는 기록 시점에 권한을 출처에 결속하고, 조작된 합의에 저항하는 교차 검증을 요구할 것을 제안한다.
사례 연구에는 통계적 한계도 있다. 각 실험 셀은 점수화된 세션 5개를 사용했다. 저자들은 주요 비교의 확률을 약 0.24로 보고했으며, 이는 일반적인 유의성 기준을 충족하지 못한다. 관찰된 노출이 0건이라고 해서 실제 환경의 발생률이 거의 0이라는 뜻은 아니다.
좁은 실험 환경은 또 다른 우려를 낳는다. 동일한 작업이 방법과 평가 모두에 영향을 미쳤다. 간결한 구성 수정에서 작동하는 줄 일치 규칙은 리팩터링, 생성 파일, 종속성 변경 또는 의미적으로 동등한 수정에서는 어려움을 겪을 수 있다.
두 명의 정상 에이전트가 같은 문제를 서로 다르게 해결할 수 있다. 한 에이전트는 헬퍼의 이름을 바꾸고, 다른 에이전트는 호출자를 수정하며, 세 번째 에이전트는 구성 흐름을 바꿀 수 있다. 문자 그대로의 교집합은 올바른 해결책들이 같은 줄을 공유하지 않기 때문에 유용한 작업을 버릴 수 있다.
반대의 경우도 가능하다. 에이전트는 악성 수정이 관행적으로 보이거나, 예시에 나타나거나, 공유된 모델 편향을 따르기 때문에 이를 반복할 수 있다. 일치는 증거이지만 안전성의 증명은 아니다.
숨겨진 검증기는 추가적인 주의를 요구한다. 187개의 검사는 광범위해 보이지만, 재생된 악성 변경 30건을 포함한 모든 점수화된 저장소가 통과했다. 검사는 의도된 동작을 측정했지만 카나리를 거부하지는 못했다. 많은 수의 테스트가 광범위한 보안 범위를 보장하지는 않는다.
또 다른 한계는 실행과 관련된다. 주요 연구는 노출 차이를 발견했지만, 점수화된 모델 중 메모리에 표시된 악성 변경을 그 이유만으로 따른 모델은 없었다. 따라서 피해 감소에 대한 직접적인 추정은 불가능하다. 노출을 차단하는 방어는 가치가 있지만, 독자는 노출 0건을 성공한 공격 0건으로 해석해서는 안 된다.
공개된 데이터는 투명성을 높이지만, 공개 기록은 제3자 재현과 같지 않다. 독립 연구자들은 여전히 하네스를 재구축하고, 점수화 로직을 검토하고, 보고된 표를 검증하며, 추가 작업을 테스트해야 한다.
프로젝트는 일부 저장된 데이터베이스와 전체 기록이 로컬 경로를 포함하고 있어 공개하지 않았다고도 말한다. 이는 이해할 수 있지만, 전체 실행 맥락에 대한 포렌식 검토를 제한한다. 정제된 공개본은 향후 분석을 강화할 것이다.
따라서 MuscleMemory의 재사용 전 증명은 문서화된 실패 모드를 가진 유망한 등록 규칙으로 다뤄져야 한다. 이는 일반적인 메모리 보안 보장이 아니다.
세 가지 시험이 결과의 확장 가능성을 결정할 것이다
다음 단계는 독립적 재현, 실제 행동 피해, 공유된 오염 입력에 대한 저항성을 측정해야 한다.
첫 번째 신호는 다양한 소프트웨어 작업 전반에서의 외부 재현이다. 연구자들은 버그 수정, 마이그레이션, 리팩터링, 종속성 업데이트, 보안 패치를 테스트해야 한다. 저장소 규모, 프로그래밍 언어, 테스트 품질, 에이전트 모델도 달리해야 한다.
성공적인 재현은 작업별 일치 규칙에 의존하지 않고도 노출 격차를 유지할 것이다. 또한 독립 에이전트가 서로 다른 올바른 구현을 만들 때도 줄 수준 교집합이 충분한 유용한 지침을 보존함을 보여 줄 것이다.
의미적으로 동등한 수정에서 실패한다면 문자 그대로의 줄 필터링 근거는 약해진다. 그런 결과는 프로그램 분석, 동작 수준 검증 또는 코드 변경의 구조화된 표현과 같은 더 풍부한 비교 방법을 가리킬 것이다.
두 번째 신호는 검색 이후의 유해 행동을 측정하는 실험이다. 향후 연구는 명확한 결과를 가진 안전한 카나리를 사용한 뒤, 오염된 기록부터 검색, 모델 결정, 도구 호출, 최종 상태에 이르는 전체 순서를 기록해야 한다.
이렇게 하면 노출 감소가 실제로 유해한 실행 감소로 이어지는지 답할 수 있다. 모델 간 차이도 드러날 수 있다. 한 모델은 의심스러운 지침을 무시할 수 있는 반면, 다른 모델은 해당 지침이 관련 있어 보일 때 일관되게 따를 수 있다.
세 번째 신호는 공유 소스 오염에 대한 더 강력한 대응이다. 검증 세션은 독립적으로 관리되는 입력에서 데이터를 가져와야 하며, 그렇지 않다면 메모리 시스템이 출처별 신뢰 경계를 보존해야 한다. 동일한 저장소 지침을 읽는 에이전트들의 반복된 일치는 독립적인 교차 검증으로 간주되어서는 안 된다.
MuscleMemory가 출처 인지형 검증을 추가해 공개된 저장소 수준의 실패를 극복한다면, 핵심 주장은 훨씬 강해진다. 오염이 계속 통과한다면 재사용 전 증명은 고립된 오염에 대해서만 유효하다.
팀은 시스템을 개선하기 위해 완벽한 연구 결과를 기다릴 필요가 없다. 저장된 관찰 결과와 활성 지침을 분리하고, 세션 출처 정보를 보존하며, 영향이 큰 절차에는 더 엄격한 검토를 요구할 수 있다. 또한 메모리가 생성한 편집을 일반적인 테스트, 샌드박싱, 코드 리뷰 워크플로 내에 유지할 수 있다.
더 큰 교훈은 에이전트가 잊어야 한다는 것이 아니다. 메모리에는 증거 모델이 필요하다는 점이다. 관련성, 반복, 테스트 통과는 각각 서로 다른 질문에 답하며, 어느 하나만으로는 안전성을 입증하지 못한다.
재사용 전 MuscleMemory의 증명을 평가하는 개발자에게 실질적인 질문은 명확하다. 검증 세션이 과제를 충분히 독립적으로 관찰하여 그 일치가 의미를 갖게 할 수 있는가? 답이 아니라면 공유 절차 메모리를 배포하기 전에 소스 격리와 더 강력한 검증을 추가해야 한다. 답이 그렇다면 자체 저장소에서 공개된 실험을 재현하고 노출과 행동을 모두 측정해야 한다.
