Galileu 프롬프트 인젝션: 브라질 법원, 숨겨진 제출 문구 문제로 변호사들에게 벌금 부과

Galileu 프롬프트 인젝션은 노동법원이 제출 서류 안에 숨겨진 지시문을 발견한 뒤 브라질 변호사 두 명에 대한 제재로 이어졌다. 프롬프트 인젝션은 AI가 처리하는 자료에 지시문을 삽입해 그 행동을 다른 방향으로 유도하는 것을 뜻한다. 이 사건에서는 흰색 배경 위의 흰색 글씨가 일반적인 사람의 시야에서는 해당 자료를 감췄다. 법원은 이 삽입을 사법 업무에 개입하려는 시도로 판단했다.

판결은 브라질 파라주 파라우아페바스 제3노동법원에서 2026년 5월 12일에 나왔다. 이 시점은 중요하다. 11월 보도는 새롭게 발견된 제출 서류가 아니라 이전 결정에 관한 내용이기 때문이다. 이 판단에는 신중한 경계도 필요하다. 조작 시도가 있었다고 해서 AI가 이를 따랐거나 판결을 바꿨다는 사실이 입증되는 것은 아니다.

핵심 갈등은 문서 자동화와 대립 당사자의 제출물을 엄밀한 검토가 필요한 증거로 다뤄야 하는 의무 사이에 있다. Microsoft와 Anthropic도 보안 가이드라인에서 이와 같은 경계를 다룬다. 법원이 마주한 문제는 특히 까다롭다. 대립 당사자는 설득력 있는 문서를 정당하게 제출할 수 있지만, 판사는 그러한 주장을 소프트웨어를 통제하려는 은밀한 시도와 구분해야 한다.

Galileu 프롬프트 인젝션 판결이 실제로 확정한 내용

labor court ruling은 최초 소장을 Galileu로 처리하는 과정에서 발견된 숨겨진 텍스트를 설명한다. 글꼴 색상을 바꾸자 해당 자료가 드러났다.

판사는 소장에 서명한 두 변호사에게 책임이 있다고 판단했다. 결정은 청구 금액의 10%에 해당하는 공동 벌금을 부과하고, 전문직 및 사법 감독 기관에 통지하도록 명령했다.

문서화된 판단은 법원 AI의 장악이 성공했다는 사실을 확정하지 않은 채, 조작 시도에 관한 것이다.

이 구분은 사건이 증거보다 더 크게 부풀려지는 일을 막는다. 발견, 영향력 행사 시도, 영향력 행사 성공, 변경된 사법 결과는 각각 별개의 주장이다. 하나가 입증된다고 해서 나머지가 자동으로 입증되지는 않는다.

은폐 방식은 독자가 제출 서류를 이해하는 방식도 바꾼다. 변호사들은 일상적으로 법원에 사실관계와 법률에 대한 자신의 해석을 받아들여 달라고 요청한다. 소프트웨어를 겨냥한 숨겨진 지시문은 다른 경로를 통해 작동한다.

법원의 논리는 제출물을 작성하고 서명한 전문가들에게 책임을 둔다. 이 판단은 판사에게 귀속된 것으로 유지돼야 한다. 이는 외부 관찰자에게 문서 작성 과정의 모든 단계에 대한 독립적인 지식을 제공하지는 않는다.

기저의 노동 분쟁과 제재 역시 별도로 다뤄져야 한다. 당사자가 고용 관련 구제를 받을 권리가 있는지는 그 대리인들이 제출 서류를 적절히 처리했는지를 결정하지 않는다. 마찬가지로 문서와 관련한 위법행위가 기저 주장 각각의 본안을 자동으로 확정하는 것도 아니다.

기술 관련 사건이 법률 보도로 들어올 때 이 분리는 중요하다. AI 공격에 대한 극적인 서술은 판사가 실제로 취한 더 제한적인 절차상 조치를 가릴 수 있다. 독자에게는 기술적 주장과 사법 판단의 한계가 모두 필요하다.

접근 가능한 결정문은 유통 중인 소셜 게시물 이상의 증거를 제공한다. 이는 이 사건을 문서화된 법원 조치로 보도하는 근거가 된다. 다만 이후 절차, 제재에 대한 이의 제기, 징계 결과에 관한 의문까지 없애지는 않는다.

변호사협회 회부는 별도의 책임 추궁 절차를 시작한다. 이를 완료된 징계 판단으로 설명해서는 안 된다. 최초 벌금이 반드시 변경 없이 유지됐다고 가정하는 경우에도 같은 주의가 필요하다.

따라서 가장 명확한 설명은 여러 지점을 함께 다룬다. 법원은 은폐된 자료를 확인하고 책임을 귀속했으며 제재를 부과했다. 최종 징계 결과나 더 광범위한 기술적 성공에 관한 주장은 별도의 증거가 필요하다.

브라질 외부의 독자에게 지속적인 의미는 이러한 증거 규율에 있다. 의심스러운 제출 서류는, 보도가 의도한 조작의 성공을 입증하지 못하더라도 결과를 초래할 수 있다.

법원 자동화가 문서 경계에 가하는 압력

Galileu는 사법적 추론과 직접 맞닿아 있는 업무를 위해 설계됐다. 브라질 국가사법위원회는 2025년 5월 judicial drafting role을 설명했다.

그 설명에 따르면 이 시스템은 최초 청구서와 답변서를 읽고, 정보를 정리하며, 판사를 위한 초안 자료를 제안한다. TRT-4가 개발한 이 시스템은 브라질 전역 노동법원에서 사용할 수 있도록 승인을 받았다.

초안 작성 보조 도구는 그 출력이 결정 책임자에게 도달하기 전에 보호 장치가 필요하다.

제도적 약속은 이해할 만하다. 주장과 답변을 정리하면 반복 업무를 줄일 수 있다. 구조화된 초안은 검토자가 복잡한 기록을 살피는 데 도움이 될 수 있다.

보안 문제는 보조 도구를 유용하게 만드는 바로 그 자료에서 시작된다. 당사자는 문서를 제공하고, 법원은 업무를 통제한다. 이 역할들은 처리 전 과정에서 분명히 구별돼야 한다.

제출 서류는 사건 내 제출물로서 권위를 갖는다. 그러나 그 지위가 작성자에게 법원 소프트웨어에 대한 권한을 부여하지는 않는다. 검토를 위해 문서를 받아들인다는 것은 보조 도구의 작동 방식을 지시하는 내장 명령까지 받아들인다는 뜻이 되어서는 안 된다.

이는 여러 집단에 압력을 가한다. 판사는 초안 자료가 기록을 충실히 반영한다는 확신이 필요하다. 법원 직원에게는 정당한 증거를 잃지 않으면서 의심스러운 콘텐츠를 상향 보고할 수 있는 신뢰할 만한 방식이 필요하다.

개발자들은 다른 의무를 마주한다. 이들은 문서의 진술과 애플리케이션의 지시문 사이의 구분을 보존해야 한다. 유창한 응답만으로는 그 구분이 유지됐는지 알 수 없다.

조달팀 또한 깨끗한 샘플 문서를 활용한 시연 이상의 것이 필요하다. 핵심 질문은 제출물에 상충되거나 은폐됐거나 오해를 유발하는 자료가 포함됐을 때의 성능이다. 일반적인 정확도 테스트만으로는 이 질문에 답할 수 없다.

사람의 감독은 여전히 필수지만, 그 배치가 중요하다. 처리 후 완성된 초안을 검토하는 것은 생성 전에 의심스러운 원본 자료를 살피는 것과는 다른 검토 기회를 만든다.

검토자는 출력물에서 이상한 문장을 발견할 수 있다. 반면 누락된 주장을 찾아내는 일은 누락 자체가 뚜렷한 경고를 남기지 않기 때문에 더 어렵다. 이는 특정 사건에 대한 판단이 아니라 분석상 위험이다.

따라서 압력은 판사가 최종 결정을 서명하는지 여부를 넘어선다. 워크플로가 해당 판사에게 초안을 형성한 정보를 의미 있게 검토할 기회를 제공하는지에 관한 문제다.

기업 구매자에게도 비교점은 즉각적이다. 계약 검토 보조 도구와 법원 초안 작성 보조 도구는 서로 다른 기관을 위해 쓰이지만, 둘 다 외부인이 작성한 문서를 처리한다.

AI knowledge base는 외부 자료를 통합할 때 관련된 질문을 제기한다. 검색 가능성과 편리한 검색 기능은 출처가 보조 도구의 행동에 영향을 미쳐야 하는지를 결정하지 않는다.

배포상의 교훈은 구체적이다. 유용한 문서 접근성은 해당 문서에 어떤 권한을 부여할지 통제하는 일의 중요성을 높인다. 이점과 노출 위험은 같은 입력 채널을 통해 들어온다.

공격의 표적은 단순한 텍스트 가시성이 아니라 권한이었다

흰색 글씨는 보이지 않는 잉크를 연상시키기 때문에 주목을 끈다. 더 깊은 문제는 신뢰 경계, 즉 애플리케이션이 읽는 자료와 수용하는 지시문 사이의 분리에 관한 것이다.

은폐는 사람이 해당 자료를 놓칠 수 있는 이유를 설명하고, 권한 혼동은 그 자료가 AI 워크플로에서 중요한 이유를 설명한다.

문서는 일반적인 화면 표시로는 알아차리기 어려운 텍스트를 포함할 수 있다. 처리 방식에 따라 소프트웨어는 여전히 그 텍스트를 마주할 수 있다. 따라서 사람이 보는 모습과 기계의 입력은 별도로 검토할 필요가 있다.

Galileu 프롬프트 인젝션 사건은 시각적 검사만으로 모든 보안 질문에 답할 수 없는 이유를 보여준다. 정상적으로 보이는 페이지가 텍스트 처리 시스템에 제공된 모든 내용을 반드시 드러내는 것은 아니다.

반대 방향도 중요하다. 특이한 텍스트를 발견했다고 해서 모델이 그것을 따랐다는 사실이 입증되는 것은 아니다. 보안 평가는 시도된 지시문의 존재와 그 효과에 관한 증거를 구분해야 한다.

법원 워크플로에서 외부 당사자는 자신의 주장과 뒷받침 자료를 통제해야 한다. 그러나 그 당사자가 보조 도구의 해당 자료 평가 기준을 통제해서는 안 된다.

문서가 정식 법률 용어를 사용하더라도 이 구분은 필요하다. 전문적인 형식, 서명, 절차상 수리는 맥락을 형성한다. 그렇다고 모든 문장이 승인된 소프트웨어 지시문이 되는 것은 아니다.

이 같은 논리는 흰색 글씨 금지 규정만으로는 불완전한 이유도 설명한다. 표현 방식은 문제의 한 측면일 뿐이다. 핵심 질문은 외부 콘텐츠가 애플리케이션의 방향을 바꿀 수 있는지에 관한 것이다.

이 지점에서 이 사건은 상업 AI 보안 작업과 연결된다. Microsoft의 document attack controls는 문서 내부 공격과 사용자가 직접 제출한 공격을 구분한다.

Microsoft는 Prompt Shields가 제공된 자료에서 조작 패턴을 분석한다고 설명한다. 또한 문서는 탐지와 차단을 구분한다. 의심스러운 결과 이후 어떤 일이 일어나는지는 애플리케이션 구성과 통합 방식이 결정한다.

이 차이는 운영상 중요하다. 경고는 어떤 구성 요소가 무언가를 감지했다는 증거다. 그 자체로 모든 후속 구성 요소가 의심스러운 자료 사용을 중단했다는 뜻은 아니다.

Anthropic의 untrusted content guidance는 입력 검사와 제3자 콘텐츠를 애플리케이션 지시문에서 명시적으로 분리하는 방식으로 이 경계에 접근한다.

이 회사는 검색된 자료의 출처와 성격을 명확히 표시할 것을 권고한다. 이러한 권고는 방어적 접근법을 설명하지만, 이 제출 서류가 처리될 당시 Galileu가 어떻게 구성됐는지를 입증하지는 않는다.

어느 업체의 문서도 법률 AI 보안에서 보편적인 승자를 선언하는 근거가 되지는 않는다. 애플리케이션마다 노출되는 문서, 권한, 검토 단계가 다르다. 제품명만으로는 특정 배포 환경의 안전성을 입증할 수 없다.

유용한 비교는 워크플로 전반의 책임에 관한 것이다. 검사, 권한 제한, 출력 검토, 사건 상향 보고는 서로 다른 실패 지점을 다룬다. 기저 언어 모델만 평가하면 이러한 애플리케이션 선택은 검토되지 않는다.

브라질 사건은 이 문제를 구체화한다. 중요한 경계는 당사자의 제출물을 검토하는 것과 그 제출물이 보조 도구의 업무 수행 방식을 정의하도록 허용하는 것 사이에 있다.

변호사들은 숨겨진 프롬프트의 목적을 다퉜다

이 사건에는 다툼이 있는 설명도 포함돼 있다. JOTA의 lawyers’ stated defense에 관한 보도에 따르면, 변호사들은 숨겨진 프롬프트를 사용했음을 인정했다.

그들은 자신들이 조작을 시도한 것이 아니며, AI로부터 의뢰인을 보호하는 것이 목적이었다고 주장했다. 이러한 입장은 해당 행위를 규정한 판사의 판단과 다르다.

사법 AI에 대한 우려는 면밀히 검토할 가치가 있지만, 은폐된 개입을 둘러싼 분쟁을 해결하지는 못한다.

법원 자동화에 대한 비판은 정당할 수 있으므로 이 구분은 중요하다. 당사자들은 자신의 제출물이 어떻게 처리되는지, 자동화된 지원이 자신들의 처우에 영향을 미치는지 알 권리가 있다.

이러한 관심은 투명성, 정확성, 실질적인 검토에 관한 의문을 낳는다. 그러나 그것만으로 은밀한 개입이 그러한 우려를 제기하는 데 허용되는 방식임이 자동으로 입증되지는 않는다.

따라서 법원의 입장과 변호사들의 설명은 함께 제시되어야 한다. 독자들은 어느 한쪽의 설명도 동기에 대한 독립적으로 확립된 사실로 취급하지 않은 채, 양측의 이견을 확인할 수 있어야 한다.

자료를 삽입했다는 인정은 그 자료가 의도한 법적 또는 기술적 효과를 인정하는 것과도 다르다. 보도는 이 차이를 보존해야 하며, 분쟁을 단순한 자백으로 축소해서는 안 된다.

기술 이야기에 대한 가장 강한 회의적 해석은 여전히 보이지 않는 것에 관한 것이다. 공개된 판단 내용은 의심스러운 콘텐츠와 제재를 설명한다. 그러나 모든 모델 상호작용을 완전하게 재구성해 주지는 않는다.

그러한 재구성이 없다면, 관찰자들은 해당 자료가 중간 요약에 어떤 영향을 미쳤는지, 어느 처리 단계에서 거부되었는지, 또는 다른 구성에서는 어떻게 작동할지를 자신 있게 측정할 수 없다.

탐지된 시도는 제한적인 긍정적 결론을 뒷받침한다. 이 사건은 사람의 주의까지 도달했다는 것이다. 이는 다른 문서나 향후 공격 전반에 걸친 일반적인 탐지율을 입증하지는 않는다.

반대 방향의 과장도 오해를 부를 수 있다. 공격 시도가 존재한다는 사실이 전체 플랫폼이 실패했다는 뜻은 아니다. 시스템은 적대적 입력을 마주하더라도, 주변 통제 장치의 도움으로 사건을 억제할 수 있다.

이 불확실성은 지지자와 비판자 모두에게 엄격한 기준을 요구한다. 지지자들은 탐지를 포괄적 보호로 제시하기 전에 증거가 필요하다. 비판자들은 은밀한 텍스트가 판결을 통제했다고 주장하기 전에 증거가 필요하다.

절차적 불확실성도 있다. 원래의 결정과 변호사들의 대응에 관한 보도만으로는 모든 이의 제기나 회부의 최종 상태를 확정할 수 없다.

독자들은 장기적인 제재에 대한 결론을 내리기 전에 이후의 법원 명령과 징계 결정을 확인해야 한다. 회부, 초기 판단, 최종적인 직업상 결과는 서로 다른 사건으로 남는다.

따라서 명확하고 제한된 판단이 남는다. 법원은 은폐된 자료를 개입 시도로 다뤘고, 변호사들은 보도에 따르면 그 목적을 다퉜다. 더 광범위한 결론에는 이 이견을 넘어서는 증거가 필요하다.

적발된 시도는 더 큰 책임성 검증을 남긴다

Galileu 프롬프트 인젝션 사건은 법적 책임과 소프트웨어 동작이 만나는 지점에서 책임성의 문제를 제기한다. 기술적 의문이 해결되지 않은 상태에서도 법원은 제출 서류에 대한 책임을 부과할 수 있다.

작성자를 제재하는 일과 처리 시스템을 안전하게 만드는 일은 별개의 의무를 다룬다.

직업적 의무는 대리인이 무엇을 제출하는지에 관한 것이다. 제도적 의무는 법원이 선의의 자료라고 가정할 수 없는 콘텐츠를 어떻게 처리하는지에 관한 것이다. 어느 한 의무가 주목받는다고 해서 다른 의무가 사라지지는 않는다.

벌금은 제출한 전문가들에게 귀속된 행위에 대한 결과를 만든다. 그러나 향후 모든 문서가 동등한 수준의 검사를 받을지까지 설명하지는 않는다. 이를 위해서는 시스템과 그 운영에 관한 증거가 필요하다.

기술적 통제에도 그에 못지않게 중요한 한계가 있다. 효과적인 탐지조차 전문적 책임, 의도, 적절한 절차에 관한 모든 문제를 결정하지는 못한다. 이는 여전히 권한 있는 의사결정자의 판단 사항이다.

실질적인 과제는 두 절차를 연결하는 기록을 유지하는 것이다. 의심스러운 콘텐츠가 회부를 촉발했다면, 기관은 무엇이 발견되었고 왜 그것이 중요했는지 설명할 수 있을 만큼의 정보를 갖춰야 한다.

영향을 받는 당사자에게 AI가 무언가를 알아챘다는 모호한 설명은 검토 기회를 거의 제공하지 못한다. 검토 가능한 설명은 원본 문서, 탐지 과정, 그에 따른 조치를 구분해야 한다.

이 요건은 법원 자체의 분석도 보호한다. 명확한 기록은 의심스러운 자료가 존재한다는 사실만으로 기술적 성공을 추론하려는 유혹을 줄인다.

같은 원칙은 제품 주장에도 적용된다. 공급업체의 시연은 선택된 사례에 성공적으로 대응했음을 보여줄 수 있다. 하지만 모든 문서 유형이나 적대적 전략에 걸친 성능을 입증할 수는 없다.

따라서 구매자는 기능의 증거와 신뢰할 수 있는 운영의 증거를 구분해야 한다. 전자는 통제 장치가 작동할 수 있음을 보여준다. 후자는 실제 배포 환경에서 어떻게 작동하는지 관찰해야 확인할 수 있다.

일반 자료를 의심스러운 것으로 잘못 표시하는 오탐은 놓친 공격과 함께 주목받아야 한다. 법률 문서는 때때로 다툼이 있는 언어를 논의하거나 증거 목적으로 자료를 인용한다.

접수 절차는 해당 콘텐츠에 운영상 권한을 부여하지 않으면서도 검토할 수 있는 능력을 보존해야 한다. 모든 이례적인 문구를 자동으로 위법 행위로 취급하면 그 자체로 공정성 문제가 생긴다.

이는 Galileu가 적법한 문서를 처리한 방식에 대한 주장이 아니라, 신뢰할 수 있는 처리를 위한 분석적 요건이다. 증거가 평가자를 지시하도록 허용하지 않으면서 증거를 평가해야 할 필요성에서 비롯된다.

지식 노동자에게 더 넓은 함의는 검색된 정보의 지위와 관련된다. 어떤 문구는 질문과 관련이 있을 수 있지만, 지시로서 신뢰할 수 있는 것은 아니다.

개발자에게 이는 사용자에게 무엇을 약속하는지와 관련된다. 도구가 문서를 처리한다고 주장한다면, 상충하는 콘텐츠, 에스컬레이션, 검토에 관한 증거가 뒤따라야 한다.

기관에 이는 책임의 소재와 관련된다. 의심스러운 자료를 진행시킬지, 중단할지, 추가 검토할지를 결정할 책임을 누군가는 계속 져야 한다. 그 책임을 암묵적으로 남겨 두면 사건과 일상적인 오류 모두 조사하기 어려워진다.

따라서 이 사건은 구체적인 책임성 검증을 제시한다. 기관은 인간의 행위와 자동화된 처리 모두에 대한 검토를 뒷받침할 만큼, 문서가 시스템을 통과한 경로를 설명할 수 있는가?

은폐된 텍스트 판결 이후 주목할 점

브라질 국가사법위원회는 2026년 6월 9일 사법 AI 시스템의 은폐된 명령을 다루는 지침을 승인했다. 공개된 설명은 이 이니셔티브를 법적 확실성 유지와 연결한다.

사법 보안 지침은 제도적 대응이 개별 제출 서류를 넘어선다는 점을 보여준다. 독자들이 다음으로 살펴봐야 할 문제는 여전히 이행이다.

다음으로 유용한 증거는 검토 가능한 결과, 검증된 통제 장치, 문서 접수 과정 내부의 변화에 관한 것이다.

첫 번째 신호는 후속 절차 기록이다. 앞으로 몇 달 동안에는 최초 제재에 대한 이의를 다루는 접근 가능한 결정이나 전문직 회부의 결과를 살펴봐야 한다.

이러한 기록은 법원의 대응이 얼마나 지속되는지와 그 범위를 명확히 해 줄 것이다. 제재를 확정하는 결정은 책임성 사례로서 그 가치를 강화할 것이다.

이를 제한하거나 뒤집는 결정이 나온다면 더 신중한 설명이 필요하다. 어느 쪽의 전개든 최초 판단과 공개 설명을 넘어 이용 가능한 증거를 개선할 것이다.

두 번째 신호는 배포된 워크플로와 연결된 기술 평가다. 유용한 공개 자료는 무엇을 테스트했는지, 시스템이 무엇을 탐지했는지, 이후 어떤 일이 일어났는지를 식별해야 한다.

탐지 결과에는 맥락이 필요하다. 독자들은 의심스러운 콘텐츠가 생성 전에 차단되었는지, 검토자에게 전달되었는지, 또는 후속 처리에 계속 제공되었는지를 확인해야 한다.

테스트에는 공격과 유사해 보이는 적법한 문서도 포함되어야 한다. 그렇지 않으면 시스템은 일반 제출물에 불필요한 장벽을 만들면서도 효과적인 것처럼 보일 수 있다.

악의적 자료와 무해한 자료 양쪽에 걸친 증거는 통제 장치에 대한 신뢰를 강화할 것이다. 선택된 성공 사례만 설명하는 홍보성 발표는 더 넓은 신뢰성 문제를 열어 둔다.

세 번째 신호는 제도적 지침의 가시적인 이행이다. 문서화된 접수 절차 변경, 배정된 검토 책임, 의심스러운 자료가 나타날 때 증거를 보존하는 절차를 살펴봐야 한다.

이러한 변화는 법원이 이를 지속적인 운영 문제로 다루고 있다는 주장을 강화할 것이다. 명확한 이행 기록이 없는 지침은 그 결론을 뒷받침하는 힘이 약하다.

이러한 신호 어느 것도 예정된 발표를 예측할 필요는 없다. 이는 이미 약속된 사건이 아니라, 2026년 11월부터 2027년 초 사이에 찾아야 할 증거다.

이들을 종합하면 기억에 남는 사건과 지속 가능한 대응을 구분하는 데 도움이 된다. 중요한 척도는 기관이 반복적으로 문제를 식별하고, 자신의 조치를 설명하며, 공정한 검토를 보존할 수 있는지다.

문서 AI를 평가하는 사람이라면 이 사건을 통해 구체적인 질문을 던져야 한다. 원본 자료가 어시스턴트에게 지시를 내리려 하면 어떤 일이 발생하는가? 애플리케이션이 무엇을 읽고, 어떤 권한을 부여하며, 어느 지점에서 인간 검토가 개입하는지 보여주는 증거를 요구하라. 탐지와 예방, 조작 시도와 변경된 결과를 구분하는 설명을 찾아야 한다. Galileu 프롬프트 인젝션 사건은 모든 문서 어시스턴트가 지켜야 할 경계에 그 의미가 놓여 있으므로, 이 정도의 정밀함이 필요하다. 중대한 결정을 뒷받침하는 요약을 신뢰하기 전에, 워크플로가 상충하는 자료를 어떻게 처리했는지와 결과에 대해 누가 계속 책임을 지는지를 보여줄 수 있는지 살펴봐야 한다.