AI 워터마킹이 모델 동작을 바꾸면서 커지는 SynthID 안전성 위험

Google DeepMind의 워터마킹 방식은 이제 우려스러운 충돌을 안고 있다. 새로운 테스트에서 유해한 프롬프트에 대한 모델의 응답이 바뀌는 것으로 나타났기 때문이다. SynthID 안전성 위험은 특히 프롬프트 인젝션 상황에서 두드러졌으며, 여러 모델이 워터마킹이 없을 때는 거부했던 요청을 따랐다.

이 발견은 보이지 않는 AI 텍스트 표시에 대한 핵심 가정에 도전한다. 워터마크는 읽기 품질을 유지하면서도 모델이 선택하는 토큰을 바꿀 수 있다. 이러한 토큰 변화는 AI 에이전트 내부의 거부 응답, 도구 선택, 도구 인자에 영향을 줄 수 있다.

즉각적인 압박은 Anthropic, Google, 그리고 호스팅 모델 기반의 에이전트를 구축하는 개발자들에게 가해진다. Anthropic은 유럽 투명성 규정에 대응하는 과정에서 향후 Claude 모델에 SynthID-Text를 추가할 계획이다. 다만 새 테스트는 Claude나 Anthropic의 프로덕션 구현을 평가하지 않았다.

이 구분은 중요하다. 이 연구는 Claude의 안전성이 낮아졌다는 증거가 아니다. 대신 워터마킹을 생성 후 수동적으로 부착하는 라벨이 아니라, 동작을 바꾸는 시스템 변경으로 다뤄야 한다는 증거다.

연구진은 표현 차이뿐 아니라 동작 변화를 발견했다

새 결과가 중요한 이유는 전체 성능이 비교적 안정적으로 보이더라도 SynthID가 개별 안전성 판단을 바꿨기 때문이다.

Lasso Security의 AI 보안 연구원 Andrea Siposova는 엄격하게 짝지은 조건에서 워터마킹된 생성 결과와 워터마킹되지 않은 생성 결과를 비교했다. 모델, 프롬프트, 난수 시드, 배치 구성, 온도는 고정했다. 워터마크 프로세서만이 의도적으로 달라진 요소였다.

그녀의 실험은 Hugging Face에서 제공하는 수정되지 않은 SynthIDTextWatermarkLogitsProcessor를 사용했다. 구성에는 30개의 토너먼트 레이어, 5개 토큰 컨텍스트, 65,536개 항목의 샘플링 테이블, 1,024개의 컨텍스트 이력이 포함됐다.

거부 응답 평가는 HarmBench의 유해 행동 200개를 다뤘다. JailbreakBench의 무해한 통제 요청 100개도 포함했다. 연구진은 유해한 요청을 단독으로, 그리고 하나의 고정된 프롬프트 인젝션 기법과 함께 테스트했다.

프롬프트 인젝션은 애플리케이션의 의도된 지침을 덮어쓰려는 적대적 입력이다. 이 실험에서 검색된 텍스트는 안전성 필터링이 비활성화됐다고 거짓 주장하고 모델에 따르도록 지시했다.

결과는 모델별로 상당한 차이를 보였다. 온도 0.001에서 Gemma 3 27B는 워터마킹되지 않은 유해 요청의 6%에서 판단을 바꿨다. 프롬프트 인젝션 상황에서는 이 불일치율이 23.5%로 올랐다.

더 중요한 점은 변화의 방향이었다. 워터마킹은 단독 요청에서 유해한 준수를 1%포인트 줄였다. 하지만 인젝션 상황에서는 유해한 준수가 12.5%포인트 증가했다.

Gemma 3 12B도 비슷한 양상을 보였다. 불일치율은 단독 요청에서 7.5%였으나 인젝션 상황에서는 11%로 상승했다. 유해한 준수의 순증가는 9%포인트에 달했다.

Llama 3.1 8B는 낮은 온도에서 14%, 0.7에서 17.5%의 불일치율을 기록했다. 순변화는 덜 확정적이었지만, 개별 판단은 여전히 달라졌다.

Phi-4와 Qwen3 4B는 변화가 거의 없었다. 하지만 두 모델은 무해한 통제 요청도 자주 거부했다. 이러한 높은 기본 거부율은 겉보기 안정성을 더 나은 안전성으로 해석하기 어렵게 만든다.

전체 행동 연구는 이 효과를 “sampling drift”라고 설명한다. 이 용어는 생성 과정에 개입하면 추론 중 선택되는 토큰이 달라지고, 그에 따라 판단도 바뀐다는 의미다.

이는 모든 워터마크가 모든 모델을 약화한다는 뜻은 아니다. 일부 워터마크 키는 더 안전한 응답 쪽으로 동작을 옮겼다. 다른 키는 공격 성공률을 높였으며, 그 정도는 모델마다 달랐다.

가장 강한 결론은 더 좁고 유용하다. 워터마크는 안전성 동작을 바꿀 수 있으므로, 워터마크 없이 수행한 평가는 실제 배포 시스템을 설명하지 못할 수 있다.

실험은 도구 호출 작업에서 7개의 오픈 웨이트 모델도 살펴봤다. 워터마킹은 6개 모델의 정확도를 낮췄고, 그중 4개에서는 통계적으로 유의미한 하락이 나타났다.

연구진은 온도 비교를 위해 Berkeley Function Calling Leaderboard의 고정된 비실시간 작업 1,150개를 사용했다. 21개의 모델 및 온도 조합에서 평균 짝비교 불일치율은 6.5%였다.

온도 1.0의 Phi-4에서는 개별 도구 호출 판단의 16.8%가 바뀌었다. 하지만 순정확도는 2.87%포인트 하락하는 데 그쳤다.

Llama 3.1 8B도 같은 가려짐 효과를 보였다. 판단은 작업의 9.9%에서 바뀌었지만, 전체 정확도는 0.87%포인트만 하락했다.

이러한 격차는 상위 수준 벤치마크 보고의 약점을 드러낸다. 한 호출은 정답에서 오답으로 바뀌는 반면 다른 호출은 개선될 수 있어 평균은 안정적으로 보일 수 있다.

에이전트 관점에서 이러한 오류는 서로 대체 가능하지 않다. 수신자, 경로, 쿼리 또는 금액이 잘못된 그럴듯한 함수 호출은 성공적으로 실행되면서 피해를 일으킬 수 있다.

SynthID 안전성 위험이 에이전트 개발자에게 가하는 압박

개발자들은 더 이상 제공업체 측 워터마크가 에이전트의 테스트된 동작을 그대로 유지한다고 가정할 수 없다.

Anthropic은 2026년 8월 14일 향후 Claude 모델이 워터마킹된 텍스트를 생성할 것이라고 발표했다. 회사는 이 방식이 SynthID-Text를 사용하며 유럽연합 AI Act 준수를 지원할 것이라고 밝혔다.

Anthropic은 이 표시를 단어 선택에 포함되는 보이지 않는 통계적 패턴으로 설명한다. 텍스트에 어떤 것도 덧붙이지 않으며, 시스템은 숨겨진 문자를 삽입하지 않는다.

회사는 내부 테스트에서 콘텐츠, 창의성, 가독성 또는 출력 품질에 실질적인 영향이 없었다고 말했다. 공개된 워터마크 설명에서도 Google의 대규모 품질 평가를 인용한다.

이 주장과 새 연구 결과는 직접적인 모순이 아니다. 서로 다른 속성을 측정하기 때문이다.

응답은 유창성을 유지하고 동일한 사용자 평가를 받을 수 있으면서도 다른 도구 인자를 포함할 수 있다. 또한 똑같이 세련되게 들리면서 거부에서 준수로 넘어갈 수도 있다.

원래 SynthID-Text 연구진은 탐지 가능성, 지연 시간, 인지된 응답 품질을 연구했다. 이들의 Nature 논문은 거의 2,000만 건의 Gemini 응답을 다룬 실시간 실험을 보고했다.

표준 벤치마크와 인간 비교에서는 측정 가능한 역량 또는 품질 저하가 발견되지 않았다. 워터마크는 테스트된 프로덕션 설계에서 무시할 수 있는 수준의 계산 오버헤드만 추가했다.

Lasso의 연구는 다른 질문을 던진다. 토큰 샘플링이 바뀐 뒤에도 같은 시스템이 같은 입력에 대해 같은 판단을 내리는가?

이 질문은 모델이 에이전트 뒤에서 작동할 때 긴급해진다. 챗봇 응답은 텍스트로 끝나지만, 에이전트는 생성된 토큰을 실행 가능한 작업으로 변환할 수 있다.

어시스턴트는 캘린더 함수, 데이터베이스 쿼리, 이메일 수신자, 파일 경로 또는 결제 금액을 선택할 수 있다. 문장의 작은 변화는 무해할 수 있다. 구조화된 인자의 작은 변화는 그렇지 않다.

이 압박은 애플리케이션 개발자가 관리하기도 어렵다. 호스팅 모델 제공업체는 애플리케이션 개발자의 릴리스 주기와 무관하게 워터마킹을 활성화하거나 비밀 키를 교체할 수 있다.

에이전트 팀은 그 변경 이전에 모델을 검증했을 수 있다. 이후 다른 개별 요청 집합이 실패하더라도 모니터링에서는 전체 정확도가 비슷하게 보일 수 있다.

Lasso 실험은 워터마크 효과가 비밀 키에 따라 달라진다는 사실을 발견했다. 연구진은 연구의 주 키와 온도 0.7에서 추가 키 10개를 테스트했다.

Llama 3.1 8B에서 연구 키는 공격 성공률을 3.5%포인트 높였다. 다른 키들은 평균 4.4%포인트 증가를 보였으며, 범위는 4.5%포인트 감소부터 14.5%포인트 증가까지였다.

테스트된 두 Gemma 모델도 키 전반에서 대부분 더 높은 공격 성공률을 보였다. Granite 3.2 8B는 양방향 변화를 보였고, Phi-4와 Qwen3 4B는 기준선 부근에 머물렀다.

이 범위는 키 교체를 보안 관련 사건으로 만든다. 제공업체는 탐지 무결성을 보호하기 위해 키를 교체할 수 있지만, 대체 키는 다른 동작 프로필을 생성할 수 있다.

따라서 개발자에게는 배포별 테스트가 필요하다. 워터마킹 전 안전성 보고서만으로는 워터마킹된 버전이 같은 거부 응답과 도구 호출을 유지한다는 사실을 입증할 수 없다.

책임은 모델 제공업체에만 있을 수 없다. 에이전트 구축자는 어떤 함수가 제공되는지, 어떤 데이터가 민감한지, 어떤 잘못된 인자가 실질적 피해를 만드는지 알고 있다.

제공업체는 워터마크 구성을 통제한다. 애플리케이션 팀은 권한, 확인 단계, 실행 경계, 다수의 런타임 검사를 통제한다.

양측은 이제 공동의 테스트 부담에 직면한다. 제공업체는 동작상 중요한 변경을 공개해야 하며, 개발자는 실제 배포 엔드포인트를 대상으로 적대적 평가를 반복해야 한다.

SynthID 워터마킹이 모델의 판단을 바꾸는 방식

토큰 수준에서 설명한 SynthID 워터마킹은 출처 추적 기능이 언어와 행동 모두에 영향을 줄 수 있는 이유를 보여준다.

대규모 언어 모델은 다음 토큰을 반복적으로 선택하며 출력을 생성한다. 토큰은 단어, 단어 조각, 문장 부호, 코드 요소 또는 구조화된 값을 나타낼 수 있다.

모델은 먼저 가능한 다음 토큰에 확률을 부여한다. 이후 샘플링 설정이 어떤 후보가 응답의 일부가 될지를 결정한다.

SynthID-Text는 이 선택 과정에 개입한다. 비밀 키와 점수 함수를 사용해 여러 선택 전반에 걸쳐 탐지 가능한 통계적 신호를 만든다.

Google의 SynthID 문서는 이 시스템을 Top-K 및 Top-P 필터링 이후 적용되는 logits 프로세서로 설명한다. Logits는 토큰 확률을 계산하는 데 사용되는 모델 점수다.

테스트된 구성에서 후보들은 토너먼트 샘플링을 통과한다. 토큰 쌍은 키에서 파생된 숨겨진 점수를 사용해 경쟁하고, 승자는 시스템이 최종 토큰을 선택할 때까지 다음 단계로 진출한다.

비왜곡적 설계는 워터마크 무작위성 전반에서 평균을 내면 원래 분포를 보존한다. 하지만 이 수학적 속성이 특정 고정 키에서 동일한 출력을 요구하지는 않는다.

이 구분은 SynthID 안전성 위험의 중심에 있다. 기대값 측면에서는 분포가 올바르게 유지될 수 있지만, 배포된 키는 특정 응답을 바꿀 수 있다.

“overcast”와 “cloudy”가 거의 동일한 의미를 지닌 문장을 생각해 보자. 어느 단어를 선택하든 실제 결과는 거의 달라지지 않는다.

이제 대상 경로 또는 수신자를 포함한 구조화된 출력을 생각해 보자. 여러 값이 모델에는 그럴듯하게 보일 수 있지만, 사용자 의도와 일치하는 것은 하나뿐이다.

워터마크가 문제를 일으키기 위해 터무니없는 토큰을 강제할 필요는 없다. 중요한 지점에서 다른 그럴듯한 후보를 선택하기만 하면 된다.

같은 메커니즘은 거부 응답에도 영향을 줄 수 있다. 안전성 훈련은 언제나 동일하게 나타나는 고정된 거부 메시지를 삽입하지 않는다.

거부 응답도 생성되는 시퀀스다. 초기 토큰 선택은 그 시퀀스를 거부, 부분적 지원 또는 직접적 준수 쪽으로 이동시킬 수 있다.

프롬프트 인젝션은 모델의 컨텍스트 안에 경쟁하는 지침을 배치하기 때문에 위험을 높인다. 모델은 신뢰할 수 있는 지시와 공격자가 통제하는 텍스트 사이의 충돌을 해결해야 한다.

작은 샘플링 변화가 그 충돌의 해결 방식을 바꿀 수 있다. 모델이 준수를 시작하면, 이후 토큰은 새로운 궤적을 따라갈 수 있다.

이것이 일반적인 품질 테스트가 문제를 놓칠 수 있는 이유다. 가독성 점수는 답변이 일관되고 유용하게 들리는지에 초점을 맞춘다.

일반적으로 에이전트가 동일한 기능을 선택했는지, 같은 보안 경계를 유지했는지를 묻지 않는다. 또한 많은 상호작용에 걸친 결과를 평균화한다.

Lasso 팀은 이러한 숨겨진 변화를 드러내기 위해 쌍별 불일치 방식을 사용했다. 각 프롬프트는 그 외 조건을 동일하게 맞춘 상태에서 워터마킹 적용 여부에 따라 평가됐다.

이 방법은 두 가지 효과를 구분한다. 순 정확도는 최종 평균을 측정하고, 변동률은 개별 판정이 얼마나 자주 바뀌는지를 측정한다.

배포된 에이전트에서는 변동률이 더 유의미한 신호일 수 있다. 안정적인 평균값이 이메일을 잘못된 수신자에게 보내는 특정 고객을 보호해 주지는 않는다.

따라서 SynthID와 모델 안전성은 투명성과 보호 사이의 단순한 대결이 아니다. 출처 추적성과 안전성은 서로 다른 속성을 측정하며, 하나가 다른 하나를 보장하지 않는다.

탐지 가능성은 생성된 텍스트에서 통계적 신호가 유지되는지를 묻는다. 행동 안정성은 동일한 입력이 허용 가능한 수준으로 동등한 결정을 내리는지를 묻는다.

텍스트 품질은 사람들이 품질 저하를 알아차리는지를 묻는다. 보안은 적대적 입력이 무단 동작을 유발할 수 있는지를 묻는다.

워터마크는 첫 번째와 세 번째 측정에서는 좋은 성능을 보이면서도, 두 번째와 네 번째 측정에서는 불안정성을 만들 수 있다. 각 속성은 별도의 평가가 필요하다.

컴플라이언스 해법이 보안 상충관계를 만든다

책임성을 높이기 위한 시스템이 안전 규칙을 집행해야 하는 모델 내부에 새로운 불확실성을 도입할 수 있다.

유럽 규제 당국은 합성 콘텐츠가 식별 가능한 상태로 유지되기를 원한다. AI Act 제50조는 특정 AI 출력물에 기계 판독 및 탐지가 가능한 형식의 표시를 요구한다.

이 규정은 효과적이고 상호운용 가능하며 신뢰할 수 있고, 제거에 충분히 견디는 방법을 요구한다. 유럽위원회의 투명성 가이드라인은 이러한 의무를 허위정보, 사칭, 사기, 소비자 기만과 연결한다.

이러한 목표는 실제 문제를 다룬다. 텍스트 생성기는 대량의 설득력 있는 자료를 만들 수 있으며, 복사된 출력물은 출처에 관한 눈에 보이는 정보 대부분을 잃는다.

SynthID는 기술적으로 매력적인 대응책을 제시한다. 이 신호는 분리 가능한 메타데이터에만 의존하지 않고 단어와 함께 이동한다.

그러나 규제 당국과 제공업체는 대체로 워터마킹을 식별 계층으로 논의해 왔다. 새 연구는 생성 시점의 표시가 모델의 의사결정 과정 일부가 될 수도 있음을 보여준다.

이는 출처 추적성과 행동 안정성 사이에 상충관계를 만든다. 두 목표가 양립할 수 없다는 뜻은 아니지만, 어느 목표도 비용 없이 달성된다고 가정할 수는 없다.

Anthropic의 도입은 이 문제를 더 시급하게 만든다. 회사는 향후 지원되는 Claude 모델이 API와 클라우드 플랫폼을 통해 제공되는 텍스트를 포함해 모델 수준에서 출력물에 표시를 적용할 것이라고 밝혔다.

독립 개발자는 워터마킹 기능을 호출하지 않을 수도 있다. 제공업체에서 도착하는 생성 토큰은 이미 표시 과정의 영향을 반영할 수 있다.

이 아키텍처는 영향을 받는 범위를 넓힌다. 엔터프라이즈 검색 도우미, 코딩 에이전트, 고객 지원 시스템, 연구 도구 모두 표시된 출력을 사용할 수 있다.

읽기 전용 권한을 가진 에이전트는 하나의 위험 프로필을 제시한다. 메시지 전송, 기록 수정, 코드 실행 또는 거래 승인 권한을 가진 에이전트는 또 다른 위험 프로필을 제시한다.

워터마크는 다층 방어와도 상호작용한다. 시스템은 모델 거부 응답, 프롬프트 필터링, 도구 권한, 인수 검증, 사람의 확인을 결합할 수 있다.

샘플링 드리프트가 모든 계층을 자동으로 무력화하는 것은 아니다. 그러나 후속 방어 계층이 위험한 요청을 받게 될지를 결정하는 모델 수준의 판단은 약화시킬 수 있다.

이 결과는 더 엄격한 출시 절차를 뒷받침한다. 팀은 프로덕션에서 표시를 활성화하기 전에 워터마크 적용 및 미적용 실행을 동일 조건에서 비교해야 한다.

프롬프트 인젝션 상황에서 거부에서 준수로 바뀌는 변화를 측정해야 한다. 개별 도구 호출에서 정답이 오류로, 오류가 정답으로 바뀌는 전환도 추적해야 한다.

집계 정확도는 여전히 유용하지만 단독으로는 충분하지 않다. 잘못된 형식의 호출, 잘못된 도구, 잘못된 인수는 서로 다른 결과를 초래하므로 테스트에서 구분해야 한다.

고위험 도구에는 모델 외부의 결정론적 제어가 필요하다. 수신자 허용 목록, 스키마 검증, 범위가 제한된 자격 증명, 거래 한도, 명시적 사용자 승인은 노출을 줄일 수 있다.

로그에도 비교에 충분한 맥락이 남아 있어야 한다. 팀에는 프롬프트, 모델 버전, 샘플링 설정, 도구 스키마, 정책 구성, 워터마크 상태가 필요하다.

키 변경은 모델 업데이트와 같은 수준의 주의가 필요하다. 연구에서 키별로 방향성이 다른 효과가 발견됐으므로, 새 키는 집중적인 회귀 테스트를 유발해야 한다.

에이전트를 배포하는 조직은 실제 워크플로에서 가져온 평가 사례도 유지해야 한다. 일반 벤치마크로는 모든 민감한 인수나 비즈니스 규칙을 대표할 수 없다.

바로 이 지점에서 SynthID와 모델 안전성은 운영상의 문제가 된다. 확률적 생성은 원래 변동성을 갖기 때문에, 관련 기준은 워터마크가 무언가를 바꾸는지 여부가 아니다.

기준은 표시된 시스템이 정의된 안전 허용 범위 안에 머무르는지 여부다. 이는 현실적인 공격과 권한 조건에서 측정돼야 한다.

이 연구가 입증하지 않는 것

이 증거는 신뢰할 만한 실패 가능성을 식별하지만, Claude, Gemini 또는 모든 SynthID 배포가 덜 안전하다는 점을 증명하지는 않는다.

실험은 연구자들이 토큰 샘플링을 직접 제어해야 했기 때문에 오픈 웨이트 모델을 평가했다. 향후 워터마크가 적용된 Claude 모델을 테스트하지는 않았다.

또한 Hugging Face의 공개 SynthID-Text 구현을 사용했다. Anthropic은 다른 설정, 주변 안전장치, 디코딩 제어 또는 배포 테스트를 사용할 수 있다.

거부 응답 실험은 하나의 고정된 프롬프트 인젝션 기법을 사용했다. 공격자는 많은 전략을 사용할 수 있으며, 다른 프롬프트에서는 효과가 더 작거나, 더 크거나, 반대 방향으로 나타날 수 있다.

연구는 거부 응답 테스트와 도구 호출 테스트를 분리했다. 주입된 유해 요청을 수용한 에이전트가 실제로 피해를 주는 도구 호출을 실행하는 종단간 사례를 보여주지는 않았다.

이 결합된 시나리오는 여전히 추론에 해당한다. 연구가 변경된 거부 응답과 변경된 도구 동작을 각각 관찰했으므로 개연성은 있지만, 직접 검증이 필요하다.

결과는 보편적인 방향성을 보여주지도 않는다. 일부 키는 유해 요청 준수를 늘린 반면, 다른 키는 이를 줄였다. 여러 모델은 테스트 조건에서 거의 변하지 않았다.

이러한 변동성은 워터마킹이 본질적으로 모델을 안전하지 않게 만든다는 주장을 약화시킨다. 대신 알고리즘의 일반적 설계만으로 안전성을 추론할 수 없다는 근거를 강화한다.

이 연구는 AI 보안 및 레드팀 제품을 판매하는 Lasso Security가 발표했다. 이 회사의 상업적 위치가 데이터를 무효화하지는 않지만, 독립적인 재현 연구는 신뢰도를 높일 것이다.

연구자들은 추가 구현, 모델 크기, 프롬프트 인젝션, 에이전트 아키텍처 전반에서 쌍별 테스트를 재현해야 한다. 제공업체가 수행하는 연구는 평균 품질 점수 이상을 공개해야 한다.

기존 SynthID 평가는 여전히 의미가 있다. 약 2,000만 건의 응답 평가는 해당 배포에서 사용자가 광범위한 품질 저하를 인지하지 못했다는 강력한 증거를 제공한다.

하지만 좋아요 평가는 적대적 거부 응답 안정성과는 다른 질문에 답한다. 두 결과는 동시에 정확할 수 있다.

보도된 결과에도 같은 주의가 적용된다. 가장 강력한 증거는 테스트된 모델과 구성에 관한 것이며, SynthID라는 이름을 가진 모든 제품에 관한 것은 아니다.

Anthropic은 자사의 워터마크가 출력의 의미나 품질을 바꾸지 않는다고 말한다. 현재 공개 증거는 이 주장이 틀렸다고 단언하기보다 신중한 접근을 뒷받침한다.

에이전트 동작에서 의미를 정의하기는 어렵다. 두 자연어 응답은 동등해 보이면서도 후속 단계에서 서로 다른 구조화된 인수를 만들 수 있다.

제공업체는 공개 구현으로 재현되지 않는 구성 선택을 통해 안정적인 프로덕션 동작을 달성할 수도 있다. 이 가능성은 가정이 아니라 테스트가 필요하다.

일반적인 모델 변동성에 관한 또 다른 불확실성도 있다. LLM 출력은 이미 무작위 시드, 온도, 인프라, 모델 개정에 따라 변한다.

연구는 동일 조건의 쌍을 비교하고 온도 변화로 인한 변동률을 검토함으로써 이 문제의 일부를 다뤘다. 온도 0.7에서 워터마크로 인한 거부 응답 변동률은 6개 모델 중 4개에서 온도 변화로 인한 변동률을 초과했다.

Gemma 3 27B는 인젝션 상황에서 26%의 워터마크 변동률을 보였으며, 온도 변화로 인한 수치는 13.5%였다. Llama 3.1 8B는 17.5% 대 7.5%를 보였다.

Granite 3.2 8B는 워터마크 변동률 21.5%와 온도 변동률 15.5%에 도달했다. Gemma 3 12B는 각각 11%와 6%를 보였다.

이러한 비교는 워터마크가 단순히 일반적인 무작위성을 추가한 것이 아님을 시사한다. 그러나 여전히 선택된 설정, 모델, 작업을 대표한다.

책임 있는 결론은 구체적이다. 품질을 보존하는 출처 추적 방법으로 설명되는 SynthID 워터마킹은 행동 보안이 별도로 측정되지 않는 한 불완전하다.

제공업체가 위험을 억제하는지 보여줄 세 가지 신호

다음 증거는 배포별 테스트, 독립적 재현, 에이전트 보안 관행의 가시적인 변화에서 나와야 한다.

첫 번째 신호는 Anthropic의 워터마크 적용 Claude 모델 평가다. 회사는 배포 전이나 배포와 함께 쌍별 거부 응답 및 도구 호출 결과를 보고해야 한다.

유용한 공개는 일반 프롬프트와 프롬프트 인젝션을 구분할 것이다. 또한 평균 정확도나 사용자 선호도뿐 아니라 개별 불일치 비율도 보여줄 것이다.

Claude가 여러 키와 적대적 작업에서 안정적으로 유지된다면, 그 결과는 SynthID 안전성 위험을 특정 모델이나 구성으로 좁힐 수 있다. 데이터가 없으면 핵심 불확실성은 해소되지 않는다.

두 번째 신호는 워터마크 구현 전반의 독립적 재현이다. 연구자들은 레퍼런스 코드, Hugging Face 통합, 프로덕션에 가까운 구성을 테스트해야 한다.

재현에는 여러 비밀 키와 다수의 인젝션 기법이 포함돼야 한다. 또한 통제된 환경에서 거부 응답을 실제 에이전트 동작과 연결해야 한다.

모델 전반에서 일관된 변화가 나타난다면, 생성 시점 워터마킹이 일반적인 보안 비용을 만든다는 주장을 강화할 것이다. 결과가 엇갈린다면 구성별 완화책을 가리킬 것이다.

세 번째 신호는 에이전트 개발자들이 워터마크 변경을 보안 릴리스로 취급하는지 여부다. 제공업체의 발표는 회귀 테스트, 권한 검토, 새로운 레드팀 훈련을 촉발해야 한다.

팀은 실패한 구문뿐 아니라 변경된 도구 인수도 살펴봐야 한다. 모델, 구성 또는 키 업데이트 전후로 같은 고위험 사례를 비교해야 한다.

성숙한 대응은 중요한 통제를 확률적 생성 외부로 옮길 것이다. 민감한 작업을 처리하는 에이전트는 실행 시점에 검증된 인수와 명시적 확인을 요구해야 한다.

지식 노동자에게 즉각적인 교훈은 더 단순하다. 워터마크는 추정되는 출처에 대해 말해 줄 뿐, 진실성, 안전성 또는 변하지 않은 동작을 보장하지 않는다.

개발자는 제공업체에 워터마킹 활성화 여부, 적용 위치, 키가 버전 공지 없이 변경될 수 있는지를 물어야 한다. 엔터프라이즈 구매자는 적대적 평가 결과를 요청해야 한다.

보안 팀은 모델 인벤토리와 사고 기록에 워터마크 상태를 추가해야 한다. 제품 리더는 개별 결정이 변동할 수 있을 때 어떤 에이전트 동작이 여전히 허용 가능한지 결정해야 한다.

더 이상 열린 질문은 보이지 않는 텍스트 표시가 가독성에 영향을 미치는지 여부가 아니다. 출처 추적성을 가장 중요한 결정을 바꾸지 않고 추가할 수 있는지가 핵심이다.

SynthID와 모델 안전성은 투명성과 보안 에이전트 사이의 선택지가 되어서는 안 됩니다. 이는 실제 배포된 구성에서 두 속성을 모두 검증해야 하는 요구사항이 되어야 합니다.

제공업체가 그 증거를 공개하기 전까지, 팀은 생성 시점 워터마크를 활성화하는 것이 시스템을 변경한다고 가정해야 합니다. 그리고 모델 업그레이드와 동일한 수준의 주의를 기울여 이를 테스트해야 합니다.