top of page

Anthropic과 Google 모델, 펠리컨맥싱 테스트에 직면하다…벤치마크 이론은 무너지다

7월 27일
11분 분량

Anthropic과 Google 모델이 AI 연구소들이 유명한 한 가지 프롬프트에 몰래 최적화하는지 탐지하기 위해 설계된 1,008개 이미지 테스트를 받았다. Anthropic과 Google의 비교에서는 Claude, Gemini, 그리고 경쟁 모델 5종이 펠리컨을 위한 특별 훈련을 받았다는 설득력 있는 증거가 발견되지 않았다. 하지만 이 결과는 더 중대한 문제를 낳는다. 표적 최적화와 광범위한 역량 향상을 구분할 수 없다면, 널리 쓰이는 AI 벤치마크는 여전히 신뢰하기 어렵다.

연구자 Dylan Castillo는 Simon Willison의 비공식 과제를 변형해 7개 모델을 테스트했다. 과제는 “자전거를 타는 펠리컨의 SVG를 생성하라”는 내용이다. 실험은 8종의 동물과 6종의 탈것을 교차해 48개의 프롬프트를 만들었다. 각 모델은 모든 프롬프트에 세 번씩 답했다.

이번 연구는 출력 품질이 개선된 이유에 관한 가장 우스운 설명을 배제한다. AI 연구소들이 훈련 과정에 자전거를 타는 펠리컨을 대량으로 넣고 있을 가능성은 낮다. 다만 이 연구는 Anthropic, Google, OpenAI와 경쟁사를 평가하려면 익숙한 테스트를 반복하는 것만으로는 부족한 이유도 보여준다.

농담 같은 벤치마크가 통제된 실험이 되다

Castillo는 인터넷의 반복 농담을 벤치마크 특화 최적화를 검증하는 구조화된 테스트로 바꿨다.

Willison은 수년간 주요 언어 모델 출시를 평가하면서 펠리컨 프롬프트를 사용해 왔다. SVG, 즉 확장 가능한 벡터 그래픽은 텍스트 기반 도형과 좌표로 이미지를 표현한다. 이를 생성하려면 한 번의 응답 안에서 코딩, 공간 추론, 객체 인식, 시각적 구성을 모두 수행해야 한다.

이런 조합은 프롬프트를 예상외로 유용하게 만들었다. 성능이 약한 모델은 종종 유효하지 않은 마크업, 망가진 바퀴, 잘못 배치된 팔다리, 혹은 펠리컨처럼 보이지 않는 새를 만든다. 더 강한 모델은 올바르게 렌더링되면서 요청된 관계를 유지하는 이미지를 반환할 수 있다.

이 프롬프트는 유난히 널리 알려지기도 했다. Willison은 pelican benchmark 태그 아래에 100개가 넘는 글을 축적했다. 그의 결과는 새 모델을 둘러싼 공개 논의에서 자주 등장한다.

이런 가시성은 인센티브 문제를 만든다. 개발자들이 특정 프롬프트가 매번 새 출시를 맞이할 것임을 알게 되면, 그 프롬프트에 최적화할 수 있기 때문이다. 벤치맥싱(Benchmaxxing)은 다른 영역에서 동등하게 폭넓은 개선을 이루지 않고도 공개 벤치마크에서 잘 작동하도록 시스템을 조정하는 것을 뜻한다.

펠리컨맥싱은 그 우려를 희화화한 버전이다. 연구소는 훈련 데이터에 펠리컨과 자전거 예시를 넣거나, 사후 훈련에 유사 과제를 추가하거나, 익숙한 구도와 일치하는 출력을 보상할 수 있다. 결과 이미지는 인상적으로 보이겠지만, 일반적인 역량에 대해서는 거의 알려주지 못한다.

Castillo는 이런 패턴을 드러낼 수 있는 실험을 설계했다. 그의 통제 연구에는 펠리컨, 플라밍고, 왜가리, 수달, 너구리, 영양, 고래, 고양이가 포함됐다. 탈것으로는 자전거, 외발자전거, 스케이트보드, 스쿠터, 비행기, 보트가 쓰였다.

그는 GPT-5.6 Terra, Claude Sonnet 5, Gemini 3.5 Flash, Grok 4.5, Qwen3.7-Max, GLM-5.2, DeepSeek V4 Pro를 테스트했다. 연구는 모델-프롬프트 조합마다 온도 1.0에서 세 번의 생성을 사용했다.

계산하면 총 1,008개 이미지가 나온다. 48개 프롬프트에 샘플 3개, 모델 7개를 곱한 수치다. 원래 응답에 사용 가능한 SVG가 없어 다시 시도해야 했던 생성은 11건뿐이었다.

평가 파이프라인은 세 단계로 구성됐다. 먼저 모든 SVG를 PNG 이미지로 렌더링했다. 다음으로 GPT-5.6 Luna가 동물, 탈것, 행동의 일관성을 1점에서 5점으로 평가했다.

세 번째로 Gemini 3.1 Flash-Lite가 눈에 보이는 특징을 추출했다. 여기에는 인식된 동물, 탈것, 바라보는 방향, 반복적으로 등장하는 장면 요소가 포함됐다. 이후 Castillo는 통계 분석을 위해 Claude Fable 5의 도움을 받았다.

이 설정이 중요한 이유는 보기 좋은 펠리컨 한 장만으로는 벤치마크 게임화를 입증할 수 없기 때문이다. 대신 실험은 각 모델이 펠리컨 전반, 자전거 전반, 또는 두 요소의 정확한 조합에서 유난히 좋은 성과를 내는지를 묻는다.

이 구분은 일화를 검증 가능한 가설로 바꾼다. 표적 훈련이 있었다면, 유명한 프롬프트는 난이도 차이를 고려한 뒤에도 밀접하게 관련된 프롬프트보다 더 좋은 성과를 보여야 한다.

Anthropic과 Google의 결과에서는 펠리컨 우위가 보이지 않았다

Claude와 Gemini 모두 의도적인 펠리컨맥싱에서 예상되는 광범위한 패턴을 보이지 않았다.

가장 단순한 결과부터 이 이론에 불리했다. 모든 모델의 점수를 합산했을 때 펠리컨은 8종 동물 중 6위였다. 고양이, 고래, 너구리, 왜가리, 영양은 더 높은 동물 평가를 받았다.

자전거의 성과는 더 나빴다. 6종 탈것 중 5위였으며, 비행기보다 근소하게 앞섰을 뿐이다. 평가 모델은 자전거 이미지의 약 3분의 2에서 부품이 빠져 있거나 연결되지 않은 자전거 구성 요소를 식별했다.

이 순위만으로 문제를 결론낼 수는 없다. 펠리컨은 고양이보다 표현하기 어렵고, 자전거는 바퀴 두 개와 연결된 프레임, 핸들바, 페달, 안장을 요구한다. 특별 훈련은 어려운 대상을 개선하면서도 전체 순위 1위까지 올려놓지 못할 수 있다.

이에 Castillo는 고정효과 회귀를 적용했다. 이는 일관된 집단 간 차이와 조사 대상인 특정 효과를 분리하는 통계 모델이다. 이 모델은 모든 동물-탈것 조합에 내재한 난이도를 반영했다.

그런 다음 연구소별로 세 가지 효과를 추정했다. 하나는 모든 펠리컨 프롬프트의 성과를 측정했고, 다른 하나는 모든 자전거 프롬프트의 성과를 측정했다. 마지막은 정확한 펠리컨-자전거 조합을 분리했다.

모든 연구소의 펠리컨 추정치는 평가 점수 기준 마이너스 0.11점에서 플러스 0.14점 사이에 머물렀다. 어느 것도 통계적 유의성에 근접하지 않았으며, 보고된 가장 작은 p값은 0.25였다.

정확한 조합에서 통계적으로 유의미한 향상을 보인 연구소도 없었다. GLM-5.2는 0.35점으로 가장 큰 양의 추정치를 기록했지만, p값은 0.12였다. 이 결과는 여전히 우연으로 설명될 수 있다.

유명한 조합은 난이도 조정 전 48개 조합 중 42위였다. 광범위한 특별 준비를 받은 프롬프트라면 일반적으로 비교 표의 하단 부근에 머물러서는 안 된다.

자전거 결과에서는 한 가지 예외처럼 보이는 사례가 나왔다. Gemini 3.5 Flash는 0.27점의 자전거 효과와 0.022의 p값을 보였다. 이 수치는 단독으로 볼 경우 통상적인 0.05 기준을 통과한다.

그러나 연구는 서로 관련된 통계 검정 21개를 수행했다. 0.05 기준에서는 무작위 변동만으로도 평균 약 하나의 겉보기 양성 결과가 나올 수 있다. Gemini의 효과는 바로 그 하나의 결과였다.

또한 여러 가설을 검정할 때 유의성 기준을 낮추는 Bonferroni 보정도 통과하지 못했다. 보정된 기준은 약 0.002로, Gemini의 0.022보다 훨씬 낮았다.

이 때문에 Anthropic과 Google의 대비는 키워드 친화적인 제목이 암시하는 것만큼 극적이지 않다. Claude는 펠리컨 특화 우위를 보이지 않았다. Gemini의 고립된 자전거 결과도 다중 비교에 대한 표준 보정을 거치면 유지되지 않는다.

OpenAI, xAI, Qwen, Z.ai, DeepSeek도 예상된 신호를 만들어내지 못했다. 일부 모델은 전반적으로 더 나은 이미지를 그렸지만, 일반적인 품질이 좁은 범위의 최적화를 입증하지는 않는다.

이 결과는 시각적 검토만으로 제기되는 주장을 절제해야 함을 시사한다. 세련된 출력은 더 나은 코딩, 구성, 또는 지시 이행 능력을 반영할 수 있다. 그것이 자동으로 암기된 벤치마크 자료를 드러내는 것은 아니다.

Castillo는 실험 저장소도 공개해 독자가 파이프라인과 기초 결과를 검토할 수 있도록 했다. 이런 투명성은 성공한 생성 결과만 선별한 갤러리보다 연구에 더 큰 가치를 부여한다.

결론은 적절히 제한적이다. 이 실험은 이런 조건에서 해당 모델들 사이에 명백한 펠리컨맥싱 증거가 거의 없음을 발견했다. 어떤 연구소도 관련 예시로 훈련한 적이 없다는 점을 증명한 것은 아니다.

익숙한 이미지는 암기를 입증하지 않는다

반복되는 시각적 패턴은 의심스러워 보이지만, 비교 표는 그중 다수가 일반적인 그림 관습에서 비롯됨을 보여준다.

21개의 펠리컨-자전거 이미지 모두 오른쪽을 향했다. 다른 어떤 조합도 완전한 방향 일치를 달성하지 못했다. 이 결과만 보면 암기된 구도의 강력한 징후처럼 보인다.

더 넓은 데이터셋은 그 의미를 바꾼다. 전체 1,008개 이미지 중 60%가 오른쪽을 향했다. 자전거는 표본의 81%에서 오른쪽을 향했고, 스쿠터는 83%에 달했다.

펠리컨 역시 이미지의 78%에서 오른쪽을 향했다. 영양도 같은 비율을 기록했고, 왜가리는 77%였다. 정면 자세는 정의적 특징을 가리기 때문에 이들 대상은 자연스럽게 측면 구도를 유도한다.

자전거는 두 바퀴가 모두 보여야 더 쉽게 인식된다. 펠리컨은 긴 부리와 목주머니를 드러내는 측면 프로필이 유리하다. 두 선호가 결합되면 방향의 일관성은 놀랍지 않다.

다른 몇몇 조합도 거의 만장일치에 도달했다. 스쿠터를 탄 영양과 스쿠터를 탄 펠리컨은 21개 표본 중 20개에서 같은 방향을 향했다. 자전거를 탄 왜가리는 21개 중 19개가 그랬다.

반복되는 소품도 비슷한 이야기를 들려준다. 보트 위의 플라밍고 이미지에는 모두 태양이 들어갔다. 비행기를 탄 수달 이미지의 38%에는 스카프가 등장했고, 자전거를 탄 고양이 이미지의 38%에는 바구니가 등장했다.

펠리컨-자전거 장면에도 반복 요소가 있었지만, 유일하게 두드러지는 수준은 아니었다. 모델들은 유명한 한 프롬프트에만 의존하기보다, 여러 프롬프트에 걸친 공통된 시각적 연상에서 그림을 끌어오는 것으로 보인다.

이 구분은 Anthropic과 Google의 벤치마크 논쟁에서 핵심이다. 생성 모델은 특정 훈련 예시를 불러오지 않고도 유사한 구도로 수렴할 수 있다. 학습된 분포는 익숙한 배치, 색상, 자세, 장식 요소를 선호한다.

훈련 데이터는 여전히 중요하다. 수많은 삽화는 움직이는 캐릭터를 측면으로 배치하며, 종종 왼쪽에서 오른쪽 또는 오른쪽에서 왼쪽으로 이동하게 그린다. 모델은 식별 가능한 한 장의 이미지를 암기하지 않고도 이런 규칙성을 흡수할 수 있다.

반대도 성립한다. 모델은 정확한 복사본을 반환하지 않으면서도 훈련의 영향을 받은 패턴을 재현할 수 있다. 출력 유사성은 연속선상에 존재하며, 작은 이미지 표만으로는 모든 결과가 그중 어디에 놓이는지 판별할 수 없다.

이 불확실성은 시각적 유사성만으로는 약한 증거가 되는 이유를 설명한다. 태양, 스카프, 바구니, 또는 오른쪽을 향한 새는 학습된 관습을 나타낼 수 있다. 더 좁은 범위에서 반복된 예시 집합을 나타낼 수도 있다.

더 강한 주장을 하려면 추가 테스트가 필요하다. 연구자들은 표현 방식, 구도, 방향, 예술적 스타일, 출력 형식을 다양하게 바꿀 수 있다. 내부 모델 확률을 비교하거나 알려진 훈련 코퍼스에서 유사한 예시를 검색할 수도 있다.

폐쇄형 모델은 대부분의 외부 연구자가 이런 더 깊은 신호를 조사하지 못하게 한다. 대중은 행동을 테스트할 수 있지만, Anthropic이나 Google의 전체 훈련 데이터 구성과 사후 훈련 방식을 검토할 수는 없다.

이 정보 격차는 비공식 벤치마크에 이례적인 영향력을 부여한다. 사용자는 동일한 프롬프트를 실행하고 눈에 보이는 출력을 즉시 비교할 수 있다. 하지만 한 시스템이 더 잘 수행한 이유를 쉽게 판단할 수는 없다.

펠리컨 실험은 비교 집합을 확장함으로써 이런 상황을 개선한다. 매력적인 서사가 통설이 되기 전에, 통제된 대안이 그 서사에 이의를 제기할 수 있음을 보여준다.

진짜 가능성은 SVG맥싱이다

이 연구는 좁은 의미의 펠리컨 이론을 약화시키지만, 광범위한 SVG 최적화 가능성은 충분히 남겨둔다.

SVGmaxxing은 하나의 유명한 프롬프트를 겨냥하는 대신, 다양한 주제에 걸친 벡터 그래픽 생성 성능을 개선하는 것을 의미한다. 이런 방식으로 학습된 모델은 Castillo의 격자 전반에서 더 나은 성능을 보여야 한다. 그러한 개선은 진정한 일반 능력처럼 보일 것이다.

이는 이 실험의 가장 중요한 사각지대다. 통계 설계는 각 연구소 내에서 이례적인 펠리컨, 자전거 또는 결합 효과를 감지한다. 하지만 48개 조합 전체를 함께 끌어올리는 학습은 식별할 수 없다.

Castillo는 Google DeepMind가 SVG 생성 개선 작업을 공개적으로 논의해 왔다고 지적한다. 이는 펠리컨 예시로 가득 찬 비밀 데이터 저장소보다 일반적인 최적화라는 설명을 더 신빙성 있게 만든다.

일반적인 SVG 학습이 곧바로 벤치마크 조작을 뜻하는 것은 아니다. 벡터 그래픽은 아이콘, 다이어그램, 차트, 인터페이스 자산, 교육 자료, 편집 가능한 일러스트레이션에 실용적으로 활용된다. 성능 향상은 여러 실제 작업에 기여할 수 있다.

경계는 일반화에 달려 있다. 다양한 요청 전반에서 유효하고 편집 가능한 그래픽을 생성하도록 모델을 학습시키는 것은 유용한 역량을 개발한다. 예상되는 평가 프롬프트의 좁은 계열에 모델을 학습시키는 것은 오해를 부르는 점수를 만든다.

외부 관찰자는 연구소가 이 두 지점 사이 어디에 위치하는지 알기 어렵다. 공개 모델 문서는 대체로 폭넓은 평가 결과를 설명하지만, 상세한 데이터 혼합과 강화 신호는 비공개로 남아 있다.

Anthropic과 Google의 비교는 이 모호성을 명확히 보여준다. Claude와 Gemini는 어느 쪽도 펠리컨 특화 학습을 받지 않았더라도 전반적인 SVG 품질에서 차이를 보일 수 있다. 이러한 차이는 코딩 능력, 공간 추론 또는 목표형 그래픽 작업을 반영할 수 있다.

일반적인 개선조차 시연을 위해 최적화될 수 있다. 연구소들은 어떤 역량이 눈길을 끄는 소셜 게시물을 만드는지 안다. 선명한 SVG는 미묘한 추론 개선보다 즉각적인 전후 비교를 만들고 공유하기도 쉽다.

그러한 인센티브가 역량 자체를 무효화하지는 않는다. 다만 독자는 제품의 유용성과 출시 당일의 볼거리를 구분해야 한다. 모델은 인상적인 자전거를 만들 수 있지만, 덜 사진발 받는 작업에서는 실패할 수 있다.

따라서 개발자는 그래픽 모델을 실제 워크플로에 맞춰 테스트해야 한다. 제품 팀에는 일관된 크기의 재사용 가능한 아이콘이 필요할 수 있다. 연구자에게는 관계가 라벨로 표시된 정확한 다이어그램이 필요할 수 있다.

이러한 요구 사항은 기발한 동물을 그리는 일과 다르다. 유효한 마크업, 편집 가능성, 접근성, 좌표 정확도, 스타일 일관성이 시각적 매력보다 더 중요할 수 있다.

같은 원칙은 SVG 생성 밖에도 적용된다. 코딩 에이전트는 공개 소프트웨어 작업에서는 뛰어날 수 있지만 기업의 비공개 저장소 안에서는 어려움을 겪을 수 있다. 추론 모델은 학술 질문에서 높은 점수를 받을 수 있지만 불완전한 직장 내 증거를 잘못 다룰 수 있다.

팀에는 대표적인 업무와 비공개 테스트 사례를 중심으로 설계된 평가가 필요하다. 또한 어떤 프롬프트, 출처, 출력이 의사결정에 영향을 주었는지 보여주는 기록도 필요하다.

검색 가능한 AI 지식 베이스는 이러한 평가 산출물을 사람의 관찰 결과와 함께 보존할 수 있다. 모델 업데이트가 행동을 바꿀 때 그 기록은 가치가 높아진다.

더 큰 교훈은 공개 벤치마크가 쓸모없다는 것이 아니다. 공개 벤치마크는 공동의 기준점을 제공하고 성능 저하를 드러낸다. 하지만 연구소와 사용자가 이를 중심으로 최적화할수록 그 가치는 감소한다.

유명한 벤치마크는 점차 자신이 측정하는 환경의 일부가 된다. 연구자는 이를 논의하고, 개발자는 이를 보며, 생성된 예시는 온라인에 퍼진다. 이후의 학습 데이터셋은 그러한 논의와 출력을 흡수할 수 있다.

이러한 피드백 루프는 오염을 피하기 어렵게 만든다. 의도적인 조작이 없더라도, 잘 알려진 테스트는 이를 마주하는 시스템으로부터 통계적으로 덜 독립적이 될 수 있다.

Pelicanmaxxing이 웃긴 이유는 그 파급 효과가 사소해 보이기 때문이다. 하지만 그 이면의 메커니즘은 그렇지 않다. 유사한 오염은 중요한 구매 결정에 쓰이는 코딩, 수학, 안전성, 사실성, 에이전트 평가에 영향을 줄 수 있다.

하나의 LLM 심사위원만으로는 결론을 내릴 수 없다

이 결과는 유익하지만, 표본 크기와 평가 방식은 더 작은 효과와 측정 오류가 개입할 여지를 남긴다.

모든 점수는 GPT-5.6 Luna가 이미지를 한 번에 하나씩 판단해 산출했다. Castillo는 같은 이미지를 반복해서 제시했을 때 심사위원이 얼마나 일관되게 점수를 매길지는 측정하지 않았다.

신뢰할 수 없는 심사위원은 모든 추정치에 잡음을 더한다. 스타일 선호도 역시 특정 모델 계열에 유리하게 작용할 수 있다. Luna는 테스트된 시스템 중 하나인 GPT-5.6 Terra와 같은 더 넓은 계열에 속한다.

연구의 모델 내 비교는 이러한 우려를 줄인다. Luna가 단순히 Terra의 스타일을 좋아한다면 Terra의 전체 격자 점수를 올려야 한다. 분석은 특정 셀이 해당 모델의 일반적인 성능보다 높은지에 초점을 맞춘다.

그럼에도 심사위원의 행동은 콘텐츠와 상호작용할 수 있다. Luna는 일부 동물을 다른 동물보다 더 신뢰성 있게 인식할 수 있다. 해부학적 오류를 놓치면서 깔끔한 시각적 단순성에 보상할 수도 있다.

인간 평가도 또 하나의 검증 수단이 될 수 있다. 여러 독립 평가자는 동물 정체성, 탈것 구조, 행동의 일관성, 전반적 품질을 평가할 수 있다. 일치도 점수는 어떤 판단이 여전히 주관적인지 드러낼 것이다.

두 번째 독립 모델 심사위원도 도움이 될 수 있다. 서로 다른 심사위원 계열이 동일한 루브릭으로 같은 렌더링 이미지를 채점할 수 있다. 큰 의견 불일치는 취약한 결론을 가려낼 것이다.

예산 제약으로 인해 실험은 셀당 세 개의 샘플과 한 번의 심사로 제한됐다. Castillo는 전체 실행에 약 80달러의 API 크레딧이 들었다고 보고했다. 그 결과 신뢰구간은 심사 점수 기준 평균 약 ±0.6점이었다.

이러한 구간은 작지만 벤치마크 특화된 개선을 가릴 만큼 넓다. 연구소가 작은 이점을 얻었더라도, 이 실험에는 이를 감지할 통계적 검정력이 부족할 수 있다.

이 연구는 모든 프롬프트가 사용 가능한 SVG를 생성할 때까지 유효하지 않은 출력을 다시 생성했다. 재시도는 11번에 불과했으므로 이 선택의 영향은 제한적이었을 가능성이 크다. 하지만 재시도 방식은 최종 이미지 점수에서 일부 신뢰성 차이를 제거한다.

실서비스 평가는 첫 응답을 집계할 수 있다. 사용자는 모델이 수정 없이 요청된 형식을 따르는지에 관심이 있다. 자동화된 워크플로에서는 렌더링 실패가 시각적 품질만큼 중요할 수 있다.

“plane”의 사용은 또 다른 알려진 문제를 만들었다. 일부 모델은 이 단어를 항공기가 아니라 평평한 기하학적 표면으로 해석했다. 특성 추출기는 168개의 plane 이미지 중 25개에서 탈것을 찾지 못했다.

plane 이미지의 20%는 탈것 점수 1점 또는 2점을 받았다. 자전거는 5%에 그쳤으며, 보트, 스쿠터, 스케이트보드는 그처럼 낮은 점수를 받은 사례가 없었다.

이 표현 오류가 핵심 결과를 뒤집지는 않는다. 모든 모델은 같은 프롬프트를 받았고, 회귀분석은 조합 난이도를 고려했다. 다만 하나의 모호한 용어가 벤치마크를 어떻게 왜곡할 수 있는지는 보여준다.

OpenRouter를 통한 모델 접근도 또 다른 고려 사항이다. 이 실험은 해당 실행 당시 이용 가능했던 모델 버전과 라우팅 동작을 반영한다. 제공업체는 외부 연구자에게 모든 변경 사항을 완전히 공개하지 않은 채 시스템을 업데이트할 수 있다.

따라서 이 연구는 영구적인 판결이 아니라 강력한 초기 테스트로 다뤄야 한다. 세심한 설계 덕분에 큰 효과가 없다는 사실에는 의미가 있다. 그러나 더 작거나 이전의 모든 최적화 노력을 배제할 수는 없다.

이러한 신중한 틀은 결과를 널리 알린 원문 기사에도 적용된다. Willison은 7월 논평에서 Castillo의 작업이 이전의 표본 점검보다 더 부지런했다고 평가했다. 그는 이를 벤치마크 조작이 결코 발생하지 않는다는 증거로 제시하지 않았다.

독자는 “여기서는 명확한 증거가 없다”를 “연구소들은 무혐의다”로 바꾸어 해석하지 말아야 한다. 감지되지 않았다는 사실은 프롬프트, 샘플, 심사위원, 통계 모델, 이용 가능한 검정력에 달려 있다.

더 나은 결론은 방법론에 관한 것이다. 벤치마크 조작에 대한 주장은 통제된 비교, 공개 데이터, 다수의 평가자, 명시적인 불확실성을 필요로 한다. 스크린샷만으로는 그 부담을 감당할 수 없다.

Anthropic, Google, 그리고 모델 구매자가 다음에 주시할 점

다음으로 유용한 증거는 재현 연구, 더 폭넓은 SVG 테스트, 그리고 릴리스 간 행동 변화에서 나올 것이다.

첫째, 연구자들은 더 많은 샘플과 독립 심사위원을 활용해 연구를 재현해야 한다. 더 큰 규모의 실행은 신뢰구간을 좁히고, 작은 효과가 반복 평가에서도 지속되는지 보여줄 것이다.

인간 평가자는 서면 루브릭에 따라 대표적인 하위 표본을 검토해야 한다. 다른 모델 계열의 심사위원 최소 한 명은 전체 데이터셋을 채점해야 한다. 방법 전반의 일치는 결과를 강화할 것이다.

펠리컨, 자전거, 결합 효과가 0에 가깝게 유지된다면 좁은 의미의 pelicanmaxxing 이론은 약해진다. 한 연구소에서 효과가 반복적으로 나타난다면 조사자들은 더 명확한 표적을 갖게 될 것이다.

둘째, 향후 테스트는 동물-탈것 만화 너머로 과제를 확장해야 한다. 모델은 기술 다이어그램, 인터페이스 아이콘, 지도, 라벨이 있는 프로세스, 기하학 도형, 일관된 자산 계열을 생성할 수 있다.

이러한 프롬프트는 더 나은 SVG 출력이 유용한 작업으로 전이되는지 시험할 것이다. 또한 일반적인 그래픽 학습과 시각적으로 익숙한 프롬프트 계열 주변의 최적화를 구분할 수 있다.

연구자는 외형 이상의 요소를 측정해야 한다. 첫 시도에서의 유효성, 편집 가능성, 접근성 라벨, 요청된 크기, 객체 수, 공간 정확도는 모두 독립적인 점수를 받을 만하다.

이는 Anthropic과 Google이 릴리스 사이에 모델이 무엇을 개선하는지 명확히 하도록 압박할 것이다. 여러 비공개 SVG 작업 전반에서 더 나은 성능을 보이는 모델은 일반 역량에 대한 더 강한 증거를 제공한다.

셋째, 관찰자들은 주요 출시를 전후한 불연속성을 추적해야 한다. 유명한 프롬프트에서의 갑작스러운 향상은 동일한 조건에서 실행한 인접 비공개 과제와 비교할 필요가 있다.

Simon Willison 아카이브는 유용한 공개 이력을 제공하지만, 미래의 평가는 미공개 프롬프트 세트도 필요하다. 비공개 테스트는 직접적인 최적화와 우발적 오염을 줄인다.

모델 구매자는 천 장의 이미지 연구를 구축하지 않고도 같은 접근법을 적용할 수 있다. 먼저 인상적으로 보이는 공개 시연에서 시작하라. 그다음 기본 역량을 보존하는 여러 통제 변형을 만들어라.

개체, 형식, 제약 조건, 표현을 바꿔라. 성능이 일반적인 변동에도 유지되는지 확인할 수 있을 만큼 충분한 샘플을 실행하라. 수정된 출력뿐 아니라 첫 시도도 저장하라.

Anthropic과 Google 사이의 조달 결정에서 승리하는 모델은 하나의 유명한 공개 과제가 아니라 대표적인 비공개 작업에서 성공해야 한다. 구매자는 모델 업데이트 후에도 재테스트해야 한다.

펠리컨 연구는 실용적인 템플릿을 제공한다. 의심되는 지름길을 정의하고, 인접한 대안을 구성하며, 난이도를 통제하고, 성공 사례와 함께 실패 사례를 공개하라. 그런 다음 설계가 감지할 수 없는 것을 명시하라.

이 기준은 AI 평가가 점점 더 엔지니어링 계획, 공급업체 선정, 업무 자동화에 영향을 미치기 때문에 중요하다. 벤치마크 점수는 복잡한 행동을 하나의 시장성 있는 숫자로 압축할 수 있다.

어떤 단일 숫자도 모델을 완전히 설명할 수는 없다. 그렇더라도 통제된 실험은 설득력 있는 이야기가 증거를 앞지를 때 이를 드러낼 수 있다.

즉각적인 답은 안심할 만하지만 불완전하다. Castillo는 선도적인 7개 모델이 자전거를 타는 펠리컨에 특별한 이점을 받았다는 강력한 징후를 발견하지 못했다. Google의 고립된 자전거 결과는 다중 검정 보정 후 사라진다.

더 큰 과제는 여전히 해결되지 않았다. 광범위한 최적화, 오염된 테스트, 비공개 학습 선택, 주관적인 심사위원은 진정한 진전과 평가 전략의 경계를 계속 흐릴 수 있다.

다음 바이럴 모델 시연을 믿기 전에, 그 주변에 작은 비교 표를 만들어 보세요. 주장된 능력이 주제, 형식, 제약 조건이 바뀌어도 유지되는지 물어야 합니다. Anthropic Google 펠리컨 테스트는 누군가 이야기를 되풀이하는 대신 실제로 검증한다면, 엉뚱한 프롬프트도 심각한 평가 문제를 드러낼 수 있음을 보여줍니다.

 
 

무료로 시작하세요

개인 지식 관리 기능을 갖춘 로컬 우선 AI 어시스턴트

더 나은 AI 경험을 위해

현재 remio는 Windows 10+ (x64) 및 M-Chip Macs만 지원합니다.

업무를 위한 AI 파트너
remio와 더 많은 일을 해내세요

계획하고, 만들고, 완성하세요
모든 일을 한곳에서

bottom of page