Andrej Karpathy, Techmeme LLMs가 새로운 창작 시대를 알리지만 검증 격차는 남아 있다고 말하다

Andrej Karpathy는 LLM이 여전히 근본적인 약점을 지니고 있음에도 주목할 만한 임계점을 넘어섰다고 말한다. 자신이 만든 결과물을 신뢰성 있게 점검하지 못한다는 점이다. 최근 techmeme llms 논의는 짧은 지시만으로 맞춤형 인터랙티브 세계를 만드는 시스템에 초점을 맞춘다. 그러나 이러한 시스템은 깨진 물리 법칙, 잘못 배치된 오브젝트, 시각적 결함, 누락된 상호작용을 발견하기 위해 여전히 인간에게 의존하는 경우가 많다.

Karpathy는 이전의 모델 테스트와 비교해 이러한 변화를 설명했다. LLM에게 자전거를 타는 펠리컨의 SVG를 만들어 달라고 요청하는 테스트는 한때 코드, 기하학, 오브젝트 간 관계에 대한 이해도를 드러냈다. 새로운 과제는 훨씬 더 크다. 이제 모델은 애니메이션, 카메라, 조명, 시뮬레이션된 동작까지 갖춘 탐색 가능한 장면을 뒷받침하는 소프트웨어를 생성할 수 있다.

이 정도의 규모는 성공의 기준을 바꾼다. 그럴듯한 코드 수천 줄을 만들어 내는 일은 일관된 세계를 만드는 일과 다르다. 이제 핵심 경쟁은 생성과 검증 사이에서 벌어진다. 모델은 결과물이 제공하는 경험을 인식하고, 테스트하고, 수정하는 속도보다 더 빠르게 산출물을 확장할 수 있다.

Techmeme LLMs, 펠리컨 테스트를 넘어가다

Karpathy의 게시물은 개별 산출물 평가에서 완성된 경험 평가로의 전환을 보여준다.

Karpathy는 자신의 원문 게시물에서 자전거를 탄 펠리컨 SVG를 만드는 것과 같은 테스트의 영역을 벗어나고 있다고 말했다. 그는 LLM이 필요에 따라 생성되는 초맞춤형 세계를 향해 나아가고 있다고 설명했다.

이 게시물은 2026년 8월 2일 Techmeme 토론을 통해 확산됐다. 함께 공개된 자료는 가상의 장면을 애니메이션이 적용된 3차원으로 해석한 결과를 보여줬다. 생성된 코드, 캐릭터, 환경 요소, 움직임, 카메라 동작이 결합된 것으로 보인다.

공개된 자료만으로는 통제된 벤치마크가 성립하지 않는다. 사용된 모든 프롬프트, 개입, 재시도, 수동 수정도 공개되지 않았다. 따라서 이 시연은 자율적 세계 생성의 증거가 아니라, 가능한 워크플로의 사례로 봐야 한다.

그러한 단서가 있더라도 변화는 의미가 크다. SVG는 표면적이 비교적 작은 범위가 제한된 산출물이다. 반면 브라우저 기반 세계에는 각각 별개로 실패할 수 있는 다수의 상호작용 시스템이 포함된다.

모델은 오브젝트의 위치, 크기, 색상, 재질, 이동 경로를 선택해야 한다. 렌더링 코드, 타이밍, 카메라 배치, 애니메이션 상태, 사용자 컨트롤도 관리해야 한다. 또한 모호한 문장을 구체적인 시각적 결정으로 옮겨야 한다.

이것이 펠리컨 테스트가 처음부터 유용했던 이유다. 자전거에는 알아볼 수 있는 기계적 관계가 있다. 모델은 자전거처럼 보이는 결과를 만들 수 있지만 프레임, 체인, 페달, 조향 장치를 잘못 연결할 수 있다.

소프트웨어는 더 큰 볼거리 뒤에 같은 문제를 숨길 수 있다. 생성된 장면은 짧은 녹화에서는 인상적으로 보이지만, 다른 카메라 각도에서는 실패할 수 있다. 오브젝트가 공중에 떠 있거나, 사라지거나, 벽을 통과하거나, 사용자가 움직일 때 크기가 바뀔 수도 있다.

이런 실패는 형태가 잘못된 그림보다 요약하기 어렵다. 하나의 정지 프레임이 아니라 시간에 따른 상호작용에서 나타나기 때문이다. 검토자는 세계를 탐색하고, 이전 상태를 기억하며, 어떤 결과가 의도된 디자인을 위반하는지 이해해야 한다.

Simon Willison이 계속 확장 중인 펠리컨 컬렉션은 시각적 테스트가 주목받은 이유를 보여준다. 서로 다른 모델은 유효한 SVG 코드를 작성하면서도 같은 요청을 눈에 띄게 다르게 해석할 수 있었다. 그 결과는 일반적인 코딩 벤치마크가 놓치기 쉬운 격차를 드러냈다.

그러나 벤치마크에서의 성공은 포화 상태에 이를 수 있다. 모델이 익숙한 테스트 패턴을 재현하게 되면, 프롬프트는 폭넓은 역량과 특정 학습 또는 기억된 관례를 구분하지 못하게 된다. 더 크고 예측하기 어려운 환경은 실수를 드러낼 여지를 더 많이 만든다.

따라서 최근 techmeme llms 논쟁의 핵심은 표시된 세계가 예술적 찬사를 받을 만한지 여부가 아니다. AI 창작의 단위가 확장됐는지가 핵심이다. 증거는 그렇다는 점을 시사한다.

사용자는 이제 그림, 문단, 컴포넌트, 스크립트만 요청할 필요가 없다. 한 사람에게 맞춘 일시적인 경험을 설명할 수 있다. 사용자가 기다리는 동안 모델은 코드로 그 경험을 조립할 수 있다.

이는 기존 게임 개발과 다르다. 스튜디오는 폭넓은 이용자를 위한 공유 제품을 만들고 출시 전에 테스트한다. 반면 온디맨드 생성은 소프트웨어를 일시적이고 개인적이며 요청 비용이 낮은 것으로 취급한다.

교사는 역사적 배경을 인터랙티브하게 표현해 달라고 요청할 수 있다. 아이는 잠자리 이야기 기반의 작은 세계를 요청할 수 있다. 제품 팀은 프로덕션 투자를 확정하기 전에 서면 시나리오를 탐색 가능한 프로토타입으로 바꿀 수 있다.

이러한 결과가 의미를 갖기 위해 영화적 사실감이 필요한 것은 아니다. 저충실도 생성 세계도 공간적 관계, 상호작용 아이디어, 서사 순서를 전달할 수 있다. 그 가치는 완성도보다 구체성과 속도에서 나올 수 있다.

그 결과, 이 시연은 질문을 바꾼다. 더 이상 단순히 “LLM이 요청된 오브젝트를 그릴 수 있는가?”가 아니다. 더 어려운 질문은 “탐색되는 동안 LLM이 일관된 시스템을 유지할 수 있는가?”다.

온디맨드 세계가 창작 소프트웨어에 압력을 가하다

당장의 압력은 모든 인터랙티브 경험에 긴 수작업 제작 과정이 필요하다고 가정하는 도구에 가해진다.

전통적인 창작 소프트웨어는 글쓰기, 일러스트레이션, 모델링, 애니메이션, 프로그래밍, 테스트를 분리한다. 전문가들은 파일, 에디터, 검토 과정을 거쳐 작업을 각 단계로 옮긴다. 생성형 시스템은 여러 단계를 하나의 대화형 인터페이스로 압축한다.

이러한 압축은 프로토타입의 경제성을 바꾼다. 한때 문서 안에만 머물렀을 개념이 작동하는 장면이 될 수 있다. 팀은 완성된 에셋에 투자하기 전에 타이밍, 규모, 상호작용을 평가할 수 있다.

가장 강력한 단기 활용 사례는 완성형 상업 게임을 대체하는 일이 아니다. 일회용 시뮬레이션, 시각적 설명, 스토리 스케치, 인터페이스 실험을 생성하는 일이다. 이러한 결과물은 명확한 질문에 답할 만큼만 유지되면 된다.

게임 디자이너는 메커니즘이 이해하기 쉽게 느껴지는지 테스트할 수 있다. 영화 제작자는 장면의 대략적인 블로킹을 검토할 수 있다. 교육자는 한 학생의 관심사에 맞춘 탐색형 수업을 만들 수 있다.

지식 노동자 역시 노트를 인터랙티브한 표현으로 바꿀 수 있다. 개인 AI knowledge base는 이러한 요청의 바탕이 되는 원본 자료를 보존할 수 있다. 생성된 경험에 추적 가능성이 필요할 때 그 맥락은 중요해진다.

더 큰 기회는 개인화에 있다. 기존 미디어는 대개 모든 시청자에게 같은 산출물을 제공한다. 생성형 소프트웨어는 세션마다 캐릭터, 복잡도, 진행 속도, 언어, 주제를 달리할 수 있다.

맞춤형 세계는 불과 몇 분 전에 제공된 정보에 반응할 수 있다. 사용자의 프로젝트, 가상 캐릭터, 학습 목표, 선호하는 시각 스타일을 반영할 수도 있다. 이는 결과물을 정적인 미디어 조각보다 생성된 애플리케이션에 가깝게 만든다.

Google DeepMind는 행동 이후 환경이 어떻게 변화하는지를 시뮬레이션하는 월드 모델을 통해 관련 방향을 추구해 왔다. Genie 3 연구는 텍스트에서 생성된, 720p 해상도와 초당 24프레임의 탐색 가능한 세계를 설명한다.

DeepMind는 그러한 환경이 수 분 동안 일관성을 유지할 수 있다고 보고했다. 동시에 제한적인 행동 공간, 여러 독립 에이전트 모델링의 어려움, 완벽하지 않은 지리적 정확성도 인정했다. 이러한 한계는 인상적인 영상만으로는 충분하지 않은 이유를 보여준다.

Karpathy의 사례는 다른 기술적 경로를 보여준다. LLM은 브라우저가 실행하는 일반적인 그래픽 코드를 작성할 수 있다. 전용 월드 모델은 이전 프레임과 사용자 행동을 바탕으로 미래의 시각 상태를 더 직접적으로 생성한다.

두 경로 모두 반응형 환경을 목표로 하지만, 서로 다른 실패 양상을 드러낸다. 생성된 코드는 점검 가능한 프로그램 구조와 결정론적 실행을 제공한다. 그러나 기하학, 물리, 서사적 의미에 대한 잘못된 가정을 여전히 포함할 수 있다.

월드 모델은 모든 오브젝트를 명시적으로 구성하지 않고도 더 자연스러운 이미지를 만들 수 있다. 그러나 개발자가 내부 상태를 점검하기는 더 어려울 수 있다. 상호작용이 모델의 유효 메모리를 넘어 확장되면 일관성도 저하될 수 있다.

이러한 접근법은 결국 융합될 수 있다. 에이전트는 장면 로직을 작성하고, 생성형 미디어 모델을 호출하며, 렌더링 결과를 관찰하고, 둘 모두를 수정할 수 있다. 완성된 시스템은 기호적 구조와 시각 생성 기능을 결합하게 될 것이다.

이 전망은 기존 게임 엔진, 디자인 도구, 창작 스위트가 에이전트가 더 쉽게 작동할 수 있도록 바뀌어야 한다는 압력을 가한다. 이들의 인터페이스는 캔버스를 보고 미묘한 시각적 피드백을 이해할 수 있는 인간을 위해 설계됐다.

텍스트를 통해 작동하는 LLM은 자동으로 같은 경험을 얻지 못한다. 소스 코드의 모든 오브젝트를 알고 있으면서도 최종 장면이 어떻게 보이는지는 놓칠 수 있다. 도구 제작사는 스크린샷, 씬 그래프, 테스트 컨트롤, 구조화된 진단 정보를 제공해야 한다.

코딩 에이전트는 이러한 전환이 얼마나 빠르게 일어날 수 있는지 이미 보여준다. Anthropic은 2025년 10월부터 2026년 4월까지 진행된 약 40만 건의 Claude Code 세션을 연구했다. 코딩 에이전트 연구는 검증 측정이 여전히 대화 내 명시적 확인에 부분적으로 의존한다는 사실을 발견했다.

이 세부 사항은 소프트웨어 개발을 넘어 중요하다. 성공 여부가 모델이 작업이 완료됐다고 선언하는 데 좌우된다면, 결과는 실제보다 더 신뢰할 수 있어 보일 수 있다. 인터랙티브 세계는 이러한 측정 문제를 가시화한다.

생성된 애플리케이션은 컴파일되고 실행될 수 있지만 여전히 목적을 달성하지 못할 수 있다. 컨트롤이 불편할 수 있다. 장면이 원본을 잘못 표현할 수 있다. 가장 중요한 상호작용이 전혀 작동하지 않을 수도 있다.

따라서 창작 도구에는 에이전트가 실제로 활용할 수 있는 피드백을 제공해야 한다는 압력이 가해진다. 성공적인 통합은 모델이 코드를 더 많이 생성하는 데 그치지 않고, 동작을 점검하도록 도와야 한다.

생성 능력이 본연의 인식 능력을 앞질렀다

핵심적인 상충 관계는 단순하다. 모델은 자신이 신뢰성 있게 탐색하고 감사할 수 있는 범위보다 더 큰 상태 공간을 만들 수 있다.

상태 공간은 서로 다른 행동을 통해 시스템이 진입할 수 있는 조건들의 집합이다. 작은 인터랙티브 세계조차 수많은 위치, 카메라 시점, 오브젝트 상태, 이벤트 조합을 포함할 수 있다. 모든 경로를 테스트하는 일은 빠르게 비현실적이 된다.

코드를 생성하는 LLM은 피드백이 텍스트로 도착할 때 잘 작동한다. 컴파일러는 문법 오류를 식별하고 특정 줄을 가리킬 수 있다. 테스트는 명확한 통과 또는 실패 결과를 반환할 수 있다.

시각적 품질은 이처럼 명확한 피드백을 제공하는 경우가 드물다. 프로그램은 불가능하거나 혼란스러운 장면을 보여주면서도 정상적으로 실행될 수 있다. 캐릭터의 발이 지면을 미끄러져도 예외는 발생하지 않는다.

이런 종류의 문제를 찾으려면 모델에 인식 능력이 필요하다. 렌더링된 결과를 캡처하고, 오브젝트를 인식하며, 지시문과 비교하고, 그 관계가 타당한지 판단해야 한다. 그런 다음 눈에 보이는 결함을 올바른 코드와 연결해야 한다.

현재의 멀티모달 시스템은 이 루프의 일부를 수행할 수 있다. 스크린샷을 해석하고 많은 시각 요소에 대해 추론할 수 있다. 또한 사용자가 결함을 설명하면 그에 맞춰 코드를 수정할 수 있다.

하지만 그러한 능력이 신뢰할 수 있는 자기 감사 능력을 보장하는 것은 아니다. 잘못된 레이아웃을 만든 동일한 모델은 스크린샷을 검토하면서도 자신의 가정을 반복할 수 있다. 미묘한 오류를 놓치거나 이를 의도된 디자인이라고 합리화할 수도 있다.

멀티모달 자기 피드백 연구는 기회와 한계를 모두 보여 준다. Volcano 연구는 시각적 피드백이 모델이 초기 응답을 수정하도록 도와 환각을 줄일 수 있음을 발견했다. 다만 이는 단순 생성이 아니라 설계된 피드백 과정이 필요했다.

이 차이가 Karpathy의 주장의 핵심이다. 모델은 세계를 구성하는 요소를 산출할 수 있지만, 그 세계를 지속적이고 본질적으로 경험하지는 못한다. 모델의 접근은 대개 선택된 프레임을 캡처하거나 특정 상태를 설명하는 도구에 의존한다.

인간 개발자는 움직임, 타이밍, 균형, 시각적 위계를 함께 본다. 카메라를 움직이고, 예상 밖의 조작을 시도하며, 무언가 어색하다는 점을 알아챌 수 있다. 이러한 관찰은 언어적 지시로 바뀌기 전에 일어난다.

LLM이 받는 표현은 대체로 더 얇다. 하나의 스크린샷, 콘솔 로그 또는 텍스트 기반 장면 그래프를 살펴볼 수 있다. 각 형식은 인간 검토자가 이용할 수 있는 정보 일부를 빠뜨린다.

스크린샷은 시간을 멈춘다. 로그는 프로그래밍된 이벤트를 기록하지만 외형은 보여 주지 않는다. 장면 그래프는 객체를 설명하지만, 그 구성이 의도한 의미를 전달하는지는 알 수 없다.

동영상은 움직임을 보존할 수 있지만, 이를 검토하는 데는 또 다른 난제가 따른다. 모델은 많은 프레임에 걸쳐 중요한 순간을 식별하고 이를 프로그램 상태와 연결해야 한다. 긴 녹화본은 상당한 컨텍스트와 연산도 소모한다.

이로 인해 비대칭성이 생긴다. 코드 1,000줄을 더 생성하는 일은 저렴하고 빠를 수 있다. 반면 결과물을 다양한 상태에서 신중히 실행해 보는 작업은 반복적인 렌더링, 인식, 추론, 수정이 필요할 수 있다.

따라서 시스템은 신뢰도보다 복잡성을 더 빠르게 확장할 수 있다. 생성된 상호작용 하나하나는 숨은 결함을 품을 수 있는 또 하나의 경로를 추가한다. 출력이 늘어날수록 더 나은 평가가 필요해진다.

이 문제는 자동완성에서 코딩 에이전트로 전환하는 과정과 닮았다. 자동완성은 개발자가 즉시 확인할 수 있는 작은 변경을 제안한다. 에이전트는 사람이 결과를 검토하기 전에 많은 파일을 바꾸고 명령을 실행할 수 있다.

인터랙티브 생성은 이 패턴을 증폭한다. 모델은 누군가가 카메라, 물리, 조작 방식, 서사 정확성 또는 접근성을 검증하기 전에 완전한 장면을 만들 수 있다. 출력이 겉보기에 완성돼 보이면 신중한 검토를 저해할 수 있다.

여기서 “native perception”이라는 표현은 신중히 써야 한다. 현대의 멀티모달 모델은 이미지, 동영상, 오디오, 텍스트를 처리할 수 있다. 격차는 인식이 자율적인 제작 루프 안에 얼마나 신뢰성 있게 통합되는지에 있다.

모델이 소프트웨어를 감사하기 위해 인간의 의식이 필요한 것은 아니다. 관련 증거에 대한 신뢰할 수 있는 접근, 적절한 평가 기준, 그리고 새로운 실패를 만들지 않고 수정하는 능력이 필요하다.

이러한 요건은 많은 창의적 판단이 주관적이기 때문에 여전히 어렵다. 정답인 카메라 각도나 애니메이션 속도가 하나뿐인 것은 아닐 수 있다. 그러나 다른 문제들은 테스트하기에 충분히 객관적이다.

객체는 예기치 않게 서로 교차해서는 안 된다. 조작은 문서화된 동작을 실행해야 한다. 필수 캐릭터는 등장해야 한다. 요청된 순서는 올바른 순서로 진행돼야 한다.

유용한 감사 시스템은 이런 기계적 검사를 미적 선호와 분리해야 한다. 충돌과 이벤트 완료는 자동으로 테스트하는 한편, 톤과 구도는 인간이 판단하도록 할 수 있다.

미래의 시스템은 여러 평가기를 결합할 가능성이 크다. 정적 분석은 코드를 검사할 수 있다. 자동화 테스트는 상호작용을 실행할 수 있다. 비전 모델은 프레임을 검토하고, 인간은 모호한 창의적 선택을 판단한다.

이러한 스택이 신뢰할 수 있게 될 때까지 생성된 세계는 완성품이라기보다 야심 찬 프로토타입에 가깝다. 그 가치는 분명하지만, 규모만으로 정확성을 추론할 수는 없다.

이 데모는 아직 범용 월드 빌딩 벤치마크가 아니다

인상적인 생성 장면이 모델이 물리적 공간, 서사적 의도 또는 자신의 실수를 이해한다는 사실을 입증하지는 않는다.

공개된 사례에는 여러 검증 공백이 있다. 관찰자는 프롬프팅 과정의 완전한 기록을 갖고 있지 않다. 또한 표시된 결과가 나오기 전에 얼마나 많은 선택 작업이 있었는지도 판단할 수 없다.

강력한 시연은 한 번의 요청, 수차례의 재시도 또는 광범위한 인간의 안내에서 나올 수 있다. 각 워크플로는 서로 다른 역량을 드러낸다. 이 맥락이 없다면 자율성에 관한 단정적인 결론은 시기상조다.

소스 자료 역시 익숙한 가상 세계와 연결돼 보인다. 잘 알려진 이야기는 온라인에 방대한 텍스트, 이미지, 해설, 팬 자료가 있다. 이러한 학습 노출은 모델이 예상되는 캐릭터와 설정을 추론하는 데 도움을 줄 수 있다.

더 강력한 테스트에는 낯선 소스 자료를 사용해야 한다. 평가자는 학습 코퍼스에 등장하지 않는 새로운 장면을 제공할 수 있다. 그러면 모델은 제공된 설명을 토대로 자신의 세계를 구축해야 한다.

테스트는 전체 상호작용 이력도 보존해야 한다. 연구자에게는 프롬프트, 도구 호출, 생성된 파일, 수정 사항, 실패한 시도가 필요하다. 짧은 동영상만으로는 출력에 도달한 과정을 알 수 없다.

최신 Andrej Karpathy LLMs 논의에는 이러한 이유로 열광과 비판이 모두 존재한다. 지지자들은 맞춤형 창작을 위한 더 넓은 캔버스를 본다. 비판자들은 통제된 평가가 부족한 시각적으로 매력적인 시연을 본다.

두 반응 모두 중요한 점을 짚는다. 출력은 일반 지능을 입증하지 않아도 유용할 수 있다. 프로토타입은 인간의 검토가 필요하더라도 시간을 절약할 수 있다.

시스템을 “world builder”라고 부르는 것 역시 기술적 구분을 흐릴 위험이 있다. JavaScript를 통해 생성된 브라우저 장면은 학습된 시뮬레이터와 동등하지 않다. 이는 프로그램에 인코딩된 규칙을 따른다.

그 규칙은 물리적 이해를 표현하지 않아도 물리적 행동을 근사할 수 있다. 낙하하는 객체는 단순한 방정식에 따라 움직일 수 있다. 그렇다고 모델이 시뮬레이션 시스템의 모든 결과를 예측할 수 있다는 뜻은 아니다.

반대로 일관된 그래픽 코드를 작성하려면 의미 있는 역량이 필요하다. 모델은 언어를 좌표, 객체, 변환에 매핑해야 한다. 결과를 단순한 자동완성으로 치부하면 그 과정에 필요한 통합 작업을 간과하게 된다.

올바른 해석은 이 양극단 사이에 있다. LLM 기반 세계 생성은 더 폭넓은 소프트웨어 합성을 보여 준다. 그러나 아직 완전한 시각적 자기 검증을 보여 주지는 않는다.

이 워크플로를 고려하는 팀은 전체 루프를 평가해야 한다. 첫 결과가 작동하는 비율, 필요한 수정 횟수, 자동화 검사를 벗어나는 결함을 측정해야 한다.

변형도 테스트해야 한다. 하나의 상징적인 장면에서 성공한 모델은 캐릭터, 카메라 위치 또는 제약 조건이 바뀌면 실패할 수 있다. 신뢰할 수 있는 시스템은 온라인에서 널리 공유되는 인기 사례 밖의 요청도 견뎌야 한다.

보안은 또 다른 우려를 낳는다. 생성된 인터랙티브 소프트웨어에는 의존성, 브라우저 권한, 네트워크 호출 또는 안전하지 않은 코드가 포함될 수 있다. 시각적으로 성공적이라는 사실은 그러한 구성 요소가 적절한지에 대해 아무것도 말해 주지 않는다.

성능도 중요하다. 장면은 제작자의 컴퓨터에서는 부드럽게 실행되지만 모바일 하드웨어에서는 실패할 수 있다. 생성된 지오메트리, 텍스처, 애니메이션 루프는 뚜렷한 경고 없이 메모리나 처리 시간을 소모할 수 있다.

접근성은 놓치기 쉽다. 키보드 탐색, 읽기 쉬운 레이블, 모션 제어, 대체 설명은 화려한 시연에서 자동으로 등장하는 경우가 드물다. 이러한 품질에는 명시적인 사양과 테스트가 필요하다.

저작권과 정체성에 관한 질문도 여전히 해결되지 않았다. 사용자는 보호받는 캐릭터, 알아볼 수 있는 인물 또는 기존 게임을 기반으로 한 세계를 요청할 수 있다. 이를 생성할 수 있는 기술적 능력이 권리나 배포 문제를 해결해 주지는 않는다.

이러한 약점이 Karpathy의 관찰을 무효화하는 것은 아니다. 이는 그 관찰을 신뢰할 수 있는 제품 범주로 전환하기 위해 필요한 작업을 규정한다.

신뢰할 만한 벤치마크는 비공개 프롬프트, 낯선 참조 자료, 반복 가능한 채점을 사용해야 한다. 공간적 일관성, 상호작용 완료, 시각적 정확성, 성능, 안전성, 감지된 오류로부터의 복구를 평가해야 한다.

가장 중요한 것은 자기 수정을 테스트해야 한다는 점이다. 모델은 실행 중인 세계에 접근해 의도적으로 주입된 결함을 식별하고, 원인을 찾은 뒤, 상세한 인간 안내 없이 이를 수정할 수 있어야 한다.

이는 단순한 제작 이상의 것을 측정한다. 생성과 인식이 하나의 신뢰할 수 있는 루프가 되고 있는지를 드러낼 것이다.

Techmeme LLMs 모멘트 이후에는 무엇이 일어나야 할까

세 가지 신호가 주문형 세계가 신뢰할 수 있는 도구가 되고 있는지, 아니면 인상적인 시연에 머무르는지를 보여 줄 것이다.

첫 번째 신호는 재현 가능한 월드 빌딩 평가의 등장이다. 이러한 테스트는 프롬프트, 환경, 채점 규칙, 완전한 에이전트 추적 기록을 공개해야 한다. 숨겨진 테스트 사례는 모델이 익숙한 바이럴 사례에 맞춰 최적화할 가능성을 줄일 수 있다.

유용한 평가는 제작과 감사 성능을 모두 채점한다. 모델은 낯선 설명을 바탕으로 장면을 구축한 뒤 여러 카메라 위치에서 이를 검사할 수 있다. 평가자는 결함을 주입하고 시스템이 이를 찾아내는지 측정할 수 있다.

이러한 벤치마크가 관련 없는 작업 전반에서 일관된 향상을 보인다면 Karpathy의 논지는 더 강해진다. 이 분야는 모델이 전이 가능한 공간 및 인터랙티브 역량을 학습하고 있음을 입증할 수 있다. 개별 소셜 게시물에서의 성공은 중요성이 줄어들 것이다.

실패는 이 주장을 약화시킬 것이다. 인식 가능한 이야기나 선호되는 그래픽 라이브러리 밖에서 성능이 무너진다면, 겉으로 보이는 전환은 특화된 코딩 유창성을 반영하는 것일 수 있다. 아직 범용적인 주문형 세계 생성은 아닐 것이다.

두 번째 신호는 코딩 에이전트 내부에서 더 긴밀해지는 인식이다. 개발자는 생성된 애플리케이션을 자동으로 실행하고, 인터페이스를 탐색하며, 프레임을 기록하고, 움직임을 검사하며, 눈에 보이는 오류를 소스 코드와 연결하는 에이전트를 주시해야 한다.

스크린샷 지원만으로는 충분하지 않다. 에이전트에는 시간적 기억과 체계적인 탐색이 필요하다. 어떤 상태를 테스트했고 어떤 상태가 아직 검증되지 않았는지 알아야 한다.

시스템은 증거도 보존해야 한다. 검토자는 에이전트가 무엇을 관찰했고, 어떤 기준을 적용했으며, 왜 결과가 완료됐다고 판단했는지를 보여 주는 로그가 필요하다. 이 기록은 사용자가 요약을 무조건 신뢰하도록 요구하지 않으면서 검토를 더 빠르게 만들 수 있다.

선도적인 에이전트가 신뢰할 수 있는 시각적 회귀 테스트를 도입한다면 감사 격차는 좁아질 것이다. 시각적 회귀 테스트는 의도하지 않은 변경을 식별하기 위해 버전 간 렌더링 출력을 비교한다. 에이전트는 가능한 원인을 설명함으로써 이 방법을 확장할 수 있다.

진전이 더 정교한 코드를 생성하는 데에만 머문다면 격차는 더 커질 것이다. 사용자는 더 많은 숨은 상태를 지닌 더 큰 결과물을 받게 되지만, 신뢰도는 그에 비례해 높아지지 않을 것이다.

세 번째 신호는 코드로 작성된 장면과 학습된 월드 모델의 융합이다. Google DeepMind의 작업은 직접적이고 실시간인 환경 생성을 보여 준다. LLM 기반 코딩은 편집 가능한 구조와 확립된 소프트웨어 도구에 대한 접근을 제공한다.

결합된 시스템은 규칙, 인터페이스, 영속 상태에 코드를 사용할 수 있다. 월드 모델은 시각적 세부 묘사, 변형, 시뮬레이션된 행동을 제공할 수 있다. 감사 에이전트는 두 출력 모두를 원래 요청과 비교할 수 있다.

이러한 융합은 엔터테인먼트를 넘어선 응용을 뒷받침할 것이다. 훈련 시뮬레이션은 학습자에게 맞춰 적응할 수 있다. 제품 팀은 현실적인 사용 시나리오를 생성할 수 있다. 로봇은 물리적 공간에 들어가기 전에 다양한 환경에서 연습할 수 있다.

동시에 실수의 비용도 커질 것이다. 결함 있는 시뮬레이션은 에이전트에게 잘못된 행동을 가르칠 수 있다. 개인화된 수업은 설득력 있는 시각적 세부 묘사와 함께 거짓 관계를 제시할 수 있다.

그러한 이유로 개인화에는 출처 정보가 반드시 따라야 합니다. 사용자는 어떤 소스 자료가 생성된 세계를 형성했는지 추적할 수 있어야 합니다. 또한 어떤 구성 요소가 검색된 것이 아니라 추론된 것인지도 알아야 합니다.

지식 블렌딩을 위한 도구는 생성된 설명을 원본 맥락에 연결해 두는 데 도움이 될 수 있습니다. 이는 검증을 대체하지는 않지만, 경험과 이를 뒷받침하는 자료 사이의 거리를 줄일 수 있습니다.

단기적으로 승리하는 기업이 반드시 가장 화려한 데모를 만드는 것은 아닙니다. 이들은 요청, 생성, 관찰, 테스트, 수정 사이의 순환을 완성할 것입니다.

이 순환에는 합리적인 중단 규칙도 필요합니다. 이미 작동하는 장면을 반복적으로 수정하는 에이전트는 사소한 시각적 개선을 추구하다가 회귀 문제를 일으킬 수 있습니다. 차단 수준의 결함과 미적 선호를 구분할 수 있어야 합니다.

특히 의미와 취향에 관한 영역에서는 인간의 검토가 계속 중요할 것입니다. 목표는 검토자를 없애는 것이 아닙니다. 승인 요청 전에 모델이 명백한 실패를 발견하도록 하는 것입니다.

따라서 더 광범위한 Andrej Karpathy LLMs 논지는 처음 보이는 것보다 덜 축하할 만한 이야기입니다. 생성은 결과물에서 시스템으로 확장됐지만, 평가는 같은 속도로 확장되지 않았습니다.

이 불균형은 앞으로 몇 달 동안 제품 설계를 좌우할 것입니다. 더 많은 기업이 즉석 앱, 게임, 시뮬레이션, 인터랙티브 스토리를 내세울 것입니다. 이들의 결정적 기능은 그러한 경험이 실제로 검토됐다는 증거여야 합니다.

techmeme llms의 순간은 개발자에게 새로운 모든 데모를 위한 유용한 시험을 제시합니다. 모델은 무엇을 만들었으며, 그 결과를 이해했다는 증거는 무엇인가?

자신의 AI 생성 프로젝트에도 같은 질문을 적용해 보세요. 에이전트에게 점검한 상태, 발견한 결함, 완료 판단의 근거를 나열하도록 요청하세요. 그런 다음 에이전트가 한 번도 언급하지 않은 경로를 테스트하세요. 그곳에서 프로젝트가 실패한다면, 부족한 기능은 또 하나의 생성 모델이 아닙니다. 신뢰할 수 있는 감사 순환입니다.