Stephen Aarons의 ChatGPT 제재, 가짜 증인을 법적 위기로 만들다

Stephen Aarons는 ChatGPT의 도움을 받아 작성한 항소심 준비서면에 재판에 출석한 적 없는 증인과 허위 증언을 담아 5,000달러의 제재를 받았다. New Mexico Supreme Court는 이 베테랑 형사 변호사를 직접 법정모독으로 판단하기도 했다. Stephen Aarons의 ChatGPT 제재는 또 하나의 날조된 법률 인용보다 훨씬 심각한 실패를 드러낸다.

Aarons는 살인 유죄 판결 뒤 종신형을 선고받은 Oscar Renee Sandoval를 변호했다. 법원에 따르면 항소심 준비서면은 재판 기록과 법률 근거를 모두 잘못 표현했다. 일부 문단은 총격범의 복장과 외모에 관한 것으로 추정되는 관찰을 포함해, 날조된 증인들의 증언을 묘사했다.

이 차이는 사건의 중대성을 바꾼다. 이전의 AI 제재는 흔히 존재하지 않는 판례나 인용문과 관련됐다. 그러나 이 준비서면은 의뢰인의 자유가 정확한 기록에 달린 형사재판의 사실관계를 바꿨다고 주장된다. 신뢰할 수 없는 요약을 증거로 보이게 만들고, 이를 주 최고법원에 제출한 셈이다.

Stephen Aarons의 ChatGPT 제재는 벌금을 넘어섰다

법원은 이 제출물이 단순히 난처한 조사 실수가 아니라 항소 절차 자체를 위협하는 행위라고 판단했다.

New Mexico Supreme Court는 2026년 9월 9일 Aarons에게 제재를 부과했다. 대법관들은 Aarons를 직접 법정모독으로 판단하고 New Mexico State Bar Client Protection Fund에 5,000달러를 납부하도록 명령했다.

법원은 이 사안을 변호사 징계를 위해 회부하기도 했다. 해당 절차가 진행되는 동안 Aarons는 주 대법원에 출석할 수 없다. 이 제한은 경고나 계속교육으로 마무리된 사례와 이 사건을 구분한다.

기존 항소심 준비서면은 모두 효력을 잃었다. Sandoval의 항소는 New Mexico 공공변호인 제도를 통해 변호사 Kim Chavez Cook에게 재배당됐다. Reuters가 보도한 사건 보도에 따르면, 본안 항소는 계속 진행 중이다.

이러한 구제 조치는 서로 다른 두 가지 피해를 인정한다. 첫째는 기록과 일치하지 않는 내용을 담은 서면을 받은 법원에 관한 문제다. 둘째는 직접 항소가 지연되고 새 변호인과 함께 절차를 다시 시작해야 했던 Sandoval에 관한 문제다.

Sandoval는 자신의 자녀들의 어머니를 살해한 혐의에 무죄를 주장했다. 그는 2025년 유죄 판결을 받고 종신형을 선고받았다. 그의 중대범죄 항소는 증거, 증인 공개, 전문가 증언, 대면권, 그리고 재판 변호인의 변호 효력과 관련한 쟁점을 제기했다.

New Mexico 사법부의 기일 사건 목록은 이러한 항소 쟁점을 확인한다. 이는 재판 기록, 보존된 이의 제기, 그리고 지배 법규 간의 세심한 비교를 요구했다.

그러나 법원은 제출된 준비서면에 허위 경찰 증언과, 실제로 그러한 진술을 하지 않은 사람들에게 귀속된 발언이 포함됐다고 밝혔다. 법률 근거에 대한 부정확한 설명도 포함됐다.

증거와 주장의 구분은 중요하다. 날조된 판례는 사건에 적용되는 법률 원칙을 왜곡할 수 있다. 날조된 증언은 배심원이 들은 내용, 존재했던 증인, 그리고 평결이 뒤집혀야 할 이유를 다시 쓸 수 있다.

허위 사실 요약은 그 위에 구축된 모든 주장까지 오염시킬 수 있다. 예를 들어 변호 효력 부족 주장은 변호인이 무엇을 했고 기록에 실제로 무엇이 있었는지에 달려 있다. 날조된 증인은 존재하지 않았던 실패를 만들어낼 수 있다.

따라서 법원의 대응은 제출 서면, 변호사, 그리고 변호 업무 모두를 겨냥했다. 준비서면을 무효화함으로써 오염된 업무 결과물을 제거했다. 새 변호인을 선임함으로써 피고인에게 깨끗한 진행 경로를 제공했다. 징계 회부는 직업적 책임 문제를 항소 절차 밖으로 옮겼다.

이 구조는 Stephen Aarons의 ChatGPT 제재가 New Mexico 밖에서도 주목받아야 하는 이유를 설명한다. 법원은 변호사들이 생성형 AI를 피해야 한다고 선언한 것이 아니다. 변호사는 제출하는 모든 주장에 대해 여전히 책임을 진다는 오래된 원칙을 집행했다.

이 사건은 AI 실수에 대한 익숙한 변명도 시험한다. Aarons는 이 사건을 정직한 실수라고 부르며 ChatGPT가 사실을 얼마나 광범위하게 만들어낼 수 있는지 이해하지 못했다고 말했다. 법원은 대신 그의 서명이 담긴, 검증되지 않은 문서에 초점을 맞췄다.

서명된 준비서면은 브레인스토밍 메모가 아니다. 이는 판사, 상대 변호인, 그리고 의뢰인에게 하는 공식적 진술이다. 생성된 텍스트가 그 문서에 들어가는 순간, 그 출처가 변호사의 책임을 줄이지는 않는다.

AI 요약이 재판의 허위 버전이 됐다

핵심 실패는 생성된 문장을 문장별 검증 없이 충실한 기록으로 취급했을 때 발생했다.

8월 21일 심리에서 Aarons는 ChatGPT에 컴퓨터로 생성된 녹취록과 기타 사건 자료를 제공했다고 설명했다. 그는 시스템이 자신이 말한 “빈틈없는 요약”을 만들어주기를 기대했다.

그 기대는 적절한 입증 책임을 뒤집었다. 생성형 모델은 패턴과 맥락을 바탕으로 그럴듯한 텍스트를 생산한다. 업로드된 녹취록에 각 문장이 실제로 존재한다는 사실을 인증하지는 않는다.

AI 환각은 관련 증거나 출처의 뒷받침 없이 자신 있게 제시되는 출력이다. 이 용어는 무해하게 들릴 수 있지만, 결과는 해당 출력이 어디에 사용되느냐에 달려 있다. 개인 메모의 잘못된 요약은 혼란을 낳는다. 같은 요약이 항소심 준비서면에 들어가면 법원에 대한 진술이 된다.

보도에 따르면 이 준비서면은 법원이 허위라고 판단한 진술을 Danny Stanton과 Linda Stanton에게 귀속했다. 또한 총격범의 복장과 외모에 관한 설명에서 Mariah Chavez와 Teresa Marquez를 언급했다. 법원은 Marquez를 날조된 증인으로 지목했다.

한 문단은 총격범이 어두운 바지와 흰 셔츠를 입었다고 말한 것으로 보인다. 이 진술은 평범한 사실적 세부사항처럼 들렸기에 더 큰 서사에 쉽게 흡수될 수 있었다. 그러나 법원은 이를 뒷받침하는 유효한 기록을 찾지 못했다.

이는 명백히 터무니없는 답변을 감지하는 것보다 더 어려운 문제다. 생성된 법률 문서는 종종 올바른 어조, 예상되는 어휘, 익숙한 논증 구조를 사용한다. 이런 특성은 근거 없는 세부사항을 이미 확정된 사실처럼 보이게 한다.

빠르게 읽는 변호사는 전체 이야기를 알아보면서도 날조된 연결 고리를 놓칠 수 있다. 이름, 복장 묘사, 위협, 증인의 관찰은 주변 자료와 일관돼 보일 수 있다. 유창함이 출처 추적의 부재를 가린다.

이 업무 흐름은 서로 다른 두 문서도 혼동했다. 녹취록은 증언과 법정 사건을 기록한다. 모델이 생성한 요약은 그 출처에서 만들어진 새로운 텍스트다. 모든 핵심 주장이 다시 추적될 때까지 이는 해석으로 다뤄져야 한다.

원본 자료를 업로드한다고 환각이 사라지지는 않는다. 긴 기록은 시스템의 실질적 주의 범위를 넘을 수 있고, 전사 오류를 포함할 수 있으며, 근거 없는 종합을 유도할 수 있다. 모델은 인접한 세부사항을 어느 증인도 하지 않은 진술로 결합할 수도 있다.

명확한 서사를 요구하는 지시가 있을 때 이 위험은 커진다. “완전한”, “빈틈없는”, “포괄적인” 같은 표현은 명시적 불확실성보다 겉보기의 완전성을 보상할 수 있다. 출력은 공백을 표시하는 대신 채워 넣을 수 있다.

신뢰할 수 있는 법률 업무 흐름에는 주장 수준의 출처 추적이 필요하다. 모든 사실 문장은 녹취록 페이지, 증거물, 사건 기록 항목 또는 사법 판단을 가리켜야 한다. 모든 인용문은 출처와 정확히 일치해야 한다. 인용된 모든 판례는 실제로 존재하며 제시된 명제를 뒷받침해야 한다.

이 과정은 같은 챗봇에게 자신의 요약이 정확한지 묻는 것으로 끝날 수 없다. 생성기는 자신이 만든 근거 없는 출력을 추가로 날조한 설명으로 방어할 수 있다. 검증은 독립적인 원본 자료로 돌아가야 한다.

이 교훈은 법률 분야를 넘어 적용된다. 연구자, 분석가, 컨설턴트, 경영진은 긴 기록을 압축하기 위해 점점 더 AI를 사용한다. 요약이 이후 검토자들이 보는 유일한 버전이 되면 위험은 커진다.

팀은 생성된 종합본과 함께 원본 증거를 보존해야 한다. 구조화된 지식 블렌딩 업무 흐름은 메모를 원본 문서와 연결하는 데 도움이 될 수 있다. 그러나 검색만으로는 생성된 모든 주장이 정확하다는 사실을 확립할 수 없다.

결정적인 안전장치는 권위 있는 기록에 대조하는 인간의 검토다. AI는 문단을 찾고, 쟁점을 정리하며, 작업 메모를 초안하는 데 도움을 줄 수 있다. 검증되지 않은 추론을 사실적 주장으로 바꿔서는 안 된다.

책임은 ChatGPT가 아니라 변호사의 서명에 있었다

핵심 충돌은 위임된 초안 작성과 위임할 수 없는 직업적 책임 사이에 있다.

Aarons는 Reuters에 자신이 40년 넘게 형사 변호를 해왔다고 말했다. 그는 2025년 Sandoval의 항소를 맡았을 당시 AI 환각의 범위에 익숙하지 않았다고 밝혔다.

“후회하고 있지만, 징계위원회가 이것이 정직한 실수였다는 점을 고려해주기를 바란다”고 그는 말했다. 그는 이 사건을 불안정한 기술을 사용하는 전문가들을 위한 교훈으로 규정했다.

법원은 더 엄격하게 평가했다. 명령문에 따르면 Aarons는 준비서면에 서명하고 제출하기 전 사실 주장이나 법률 근거를 검증하지 않았다고 인정했다. 또한 이러한 결함을 의뢰인에게 알리지 않았다고 밝혔다.

대법관들은 그가 Sandoval에 대한 후회와 우려를 충분히 보이지 않았다고 판단했다. C. Shannon Bacon 대법관은 변호사가 널리 보도된 AI 실패를 알지 못할 수 있다는 주장에 이의를 제기했다. 그의 질문은 환각된 법률 자료가 이미 반복되는 공적 문제로 떠올랐음을 강조했다.

이러한 긴장이 ChatGPT를 무책임하지 않은 존재로 취급해야 한다는 뜻은 아니다. Aarons와 법원에 따르면 이 시스템은 근거 없는 자료를 포함한 언어를 생산했다. OpenAI는 제재에 관한 Reuters의 문의에 즉각적인 답변을 제공하지 않았다.

그러나 챗봇은 소송대리인으로 출석할 수 없고, 준비서면에 서명하거나, 의뢰인에게 조언하거나, 법정모독 명령에 답변할 수도 없다. 이러한 의무는 면허를 가진 변호사에게 속한다. 법률 시스템은 행동할 권한을 받은 사람에게 책임을 부과한다.

American Bar Association도 이 사건 이전에 같은 기본 결론에 도달했다. 해당 기관의 AI 윤리 의견서는 변호사가 생성형 도구의 이점과 위험을 이해해야 한다고 명시한다.

Formal Opinion 512는 AI 사용을 능력, 비밀유지, 의뢰인 소통, 감독, 성실성, 정당한 청구, 합리적인 수임료에 관한 기존 의무와 연결한다. 이 의무들에 대한 AI 예외를 만들지는 않는다.

이 지침은 생성형 텍스트 시스템을 예측 도구로도 설명한다. 이 시스템은 데이터의 패턴을 바탕으로 통계적으로 개연성 있는 출력을 생산한다. 이러한 설계는 인증된 법원 문서를 반환하는 데이터베이스와 다르다.

변호사는 조사나 초안 작성을 동료 변호사, 법률 보조원, 계약자, 소프트웨어에 위임할 수 있다. 위임은 누가 첫 번째 작업을 수행하는지 바꾼다. 그러나 누가 업무를 감독하고 제출 서면을 검증해야 하는지는 바꾸지 않는다.

이 사건은 단순한 공개만으로 문제가 해결되지 않는 이유를 보여준다. “AI 지원”이라는 표시는 법원에 알림이 될 수 있지만, 날조된 증언을 정확하게 만들지는 못한다. 판사들이 소프트웨어로 작성된 모든 서면의 사실 확인자가 될 수는 없다.

도구 금지도 비슷한 한계에 부딪힌다. 변호사는 잘못된 기억, 부주의한 받아쓰기, 훈련되지 않은 직원, 또는 평범한 복사·붙여넣기 오류를 통해 허위 정보를 도입할 수 있다. 법원은 제작 방식과 관계없이 서명된 제출 서면의 정확성을 중요하게 본다.

더 나은 경계선은 검증에 있다. 핵심 주장 하나하나를 기록에 비춰 확인한다면 AI 지원은 여전히 유용할 수 있다. 하지만 유창함이 그 검증을 대체하는 순간 위험해진다.

의뢰인과의 소통은 또 다른 층위를 더한다. 형사 항소인은 부실한 서면이 자신의 항소를 위태롭게 했을 때 이를 알아야 한다. 법원에 따르면, Aarons는 서면의 사실 및 법률상 허위 진술을 Sandoval에게 알리지 않았다.

이러한 누락은 의뢰인이 실질적 결과를 떠안는다는 점에서 중요하다. 변호사는 제재와 징계를 받을 수 있지만, 항소인은 지연과 불확실성, 그리고 훼손된 변호사 관계를 겪게 된다.

따라서 전문직 책임성은 전체 업무 흐름을 포괄해야 한다. 이는 적절한 도구를 선택하고 기밀 정보를 보호하는 일에서 시작된다. 이어 출처 검증, 실질적 검토, 의뢰인 소통, 최종 확인 절차로 이어진다.

ChatGPT 가짜 증인은 더 위험한 선을 넘었다

날조된 증언은 AI 환각을 부실한 조사 문제에서 증거 기록의 오염 문제로 끌어올린다.

가장 잘 알려진 초기 제재 사건은 Mata v. Avianca였다. 변호사들은 연방 개인상해 분쟁에서 ChatGPT가 생성한 존재하지 않는 판례를 제출했다. 판사는 2023년 5,000달러의 제재금을 부과했다.

이 사건은 지속적인 경고를 남겼다. 챗봇은 사건명, 인용문, 사건번호, 법률 논리를 지어낼 수 있다. 법원은 변호사들이 공인된 법률 조사 시스템을 통해 해당 권위를 확인할 것을 기대한다.

New Mexico 사건은 문제를 확장한다. 보도에 따르면 Aarons의 서면에는 날조된 증인과 증언에 대한 허위 묘사가 포함됐다. 이러한 오류는 다른 법원이 무엇을 판시했는지를 잘못 전달한 데 그치지 않았다. 의뢰인 자신의 사건 안에 사실을 만들어 넣었다.

항소법원은 일반적으로 기존 기록을 심리한다. 새로운 재판을 진행하거나 변호사가 추가한 사실을 증거로 받아들이지 않는다. 서면의 서술은 녹취록, 증거물, 결정문, 보전된 이의 제기에 근거해야 한다.

날조된 사실 하나는 판사가 불이익을 이해하는 방식에 영향을 줄 수 있다. 배제된 증거가 더 중요해 보이게 하거나, 신원 확인 논거를 강화하거나, 반대신문의 외견상 가치를 바꿀 수 있다. 이러한 영향은 정정 이후에도 지속될 수 있다.

이 문제는 상대방 대리인에게도 부담을 준다. 검사는 서면을 기록과 대조하고 불일치를 찾아야 한다. 판사와 법원 서기는 낯선 진술이 실제 녹취록의 일부인지, 아니면 생성된 허구인지 판단해야 한다.

이 검증 비용은 시스템 전반으로 확산된다. 한 변호사가 초안 작성 시간을 절약하는 동안 법원, 상대방, 후임 변호인, 의뢰인에게 검토 업무를 전가할 수 있다. 제재는 그 비용을 책임 있는 전문가에게 되돌리려는 시도다.

2026년 Georgia 살인 항소 사건은 또 다른 오염 경로를 보여줬다. Payne v. State에서 허구이거나 잘못 귀속된 인용이 검찰 제출서면과 원심법원이 서명한 제안 명령에 등장했다.

Payne 판결은 원심법원의 명령을 취소하고 사건을 새 명령을 위해 돌려보냈다. 이 사건은 생성된 오류가 대리인의 초안에서 사법 문서로 옮겨갈 수 있음을 보여줬다.

이러한 전파 위험 때문에 출처 이력이 필수적이다. 법률 문서는 신청서, 제안 명령, 내부 메모, 항소 서면 전반에서 자주 재사용된다. 뒷받침되지 않는 문구가 이 연쇄에 들어가면, 이후 작성자들은 누군가 이미 이를 검증했다고 가정할 수 있다.

New Mexico 제출서면도 비슷한 신뢰 지름길을 따른 것으로 보인다. Aarons는 절차를 압축적으로 재현하기 위해 ChatGPT를 사용했다. 이후 그는 녹취록으로 충분히 돌아가 확인하지 않은 채 그 재현 내용에 의존했다.

그 결과 문서는 항소 변론의 외형을 갖췄다. 증인을 특정하고, 증언을 묘사하며, 판례를 원용하고, 사실을 법적 주장과 연결했다. 이러한 형식은 내용이 전문적으로 검토된 것처럼 보이게 했다.

이 때문에 “human in the loop”만으로는 거의 보장이 되지 않는다. 사람이 초안을 훑어보고 문법을 고치면서도 사실 날조를 놓칠 수 있다. 이 표현은 검토자에게 시간, 전문성, 직접적인 출처 접근권이 있을 때에만 의미가 있다.

효과적인 검토에는 출처 텍스트와 생성 텍스트 사이의 분명한 경계도 필요하다. 인용된 녹취록 구절에는 페이지 참조가 남아 있어야 한다. 요약은 이를 뒷받침하는 범위를 명시해야 한다. 근거 없는 모델의 해설은 사실 진술 밖에 남아 있어야 한다.

중대한 사안에서는 두 번째 검토자가 문서를 독립적으로 점검해야 한다. 검토자는 위험도에 따라 출처를 표본 확인하고, 불일치가 하나라도 나타나면 검토 범위를 확대해야 한다. 날조된 이름은 모든 사실 진술에 대한 검토를 촉발해야 한다.

같은 원칙은 법률 권위에도 적용된다. 검토자는 인용된 각 판결을 열어 인용 문구, 판시, 관할, 관련성을 확인해야 한다. 허위 명제를 위해 인용된 실제 사건 역시 심각한 오류다.

Stephen Aarons ChatGPT 제재는 법원이 어떤 도구가 실수를 만들었는지에 대한 호기심을 넘어가고 있음을 보여준다. 운영상 핵심 질문은 변호사가 생성된 허구가 제출된 사실이 되는 것을 막을 만큼 강력한 통제 장치를 구축했는지다.

제재가 AI가 법률 업무에 설 자리가 없다는 뜻은 아니다

가장 강한 비판의 대상은 변호사의 생성형 AI 사용 전반이 아니라 통제되지 않은 의존이다.

이 사건을 법률 전문가가 ChatGPT를 절대 사용해서는 안 된다는 증거로 보는 일은 쉽다. 그러나 그 결론은 법원의 판단을 넘어가며, “AI 사용”으로 묶이는 다양한 업무를 무시한다.

모델은 쟁점 목록을 만들고, 변호사가 작성한 메모를 재구성하며, 문서 구조를 비교하거나 검색어를 제안하는 데 도움을 줄 수 있다. 이러한 용도 역시 판단을 요구하지만, 살인 사건 녹취록을 요약하는 일과 같은 수준의 위험을 모두 수반하지는 않는다.

위험은 산출물의 목적과 사용처에 달려 있다. 비공개 개요는 잠정적이다. 의뢰인 서신은 세심한 검토가 필요하다. 형사 항소의 사실 진술은 공식 기록을 통한 검증을 요구한다.

도구 역시 서로 다르다. 범용 챗봇은 개방형 텍스트를 생성하는 반면, 일부 법률 시스템은 제한된 데이터베이스에서 자료를 검색하고 뒷받침하는 권위를 제시한다. 인용을 제공하는 시스템도 오인용, 오독, 무관한 자료 선택을 할 수 있다.

New Mexico 법원은 ChatGPT의 신뢰성에 대한 과학적 평가를 수행하지 않았다. 법원은 한 변호사의 행위와 하나의 결함 있는 제출서면을 검토했다. 독자들은 이를 보편적 오류율로 바꾸어 해석해서는 안 된다.

이 사건이 모든 결함을 독립적으로 AI가 초래했다는 점을 입증하는 것도 아니다. Aarons는 자료를 선택하고, 시스템에 프롬프트를 입력하며, 산출물을 사용하고, 결과물에 서명했다. 공개 보도는 전체 프롬프트 이력이나 모든 중간 초안을 제공하지 않는다.

이 불확실성은 중요하다. 전체 상호작용 기록이 없으면 관찰자들은 모델이 어떤 주장을 생성했는지, Aarons가 어떤 구절을 편집했는지, 녹취록의 결함이 영향을 미쳤는지를 재구성할 수 없다. 법원의 명령은 책임을 확정하지만, 완전한 기술적 사후 분석을 제공하지는 않는다.

그렇더라도 이러한 공백이 제출된 부정확성을 면제하지는 않는다. 이는 제품 및 프로세스 관련 질문이 어디에서 여전히 열려 있는지를 분명히 한다. 더 나은 기록 관리라면 법무법인이 뒷받침되지 않는 진술이 문서에 들어온 경위를 파악하는 데 도움이 될 수 있다.

법률 AI 공급업체는 모든 사실 문장에 출처 참조를 첨부해 위험을 줄일 수 있다. 답변에 증거가 없을 때 경고하고, 인용문과 요약을 분리하며, 해결되지 않은 인용이 포함된 내보내기를 차단할 수 있다.

이러한 통제는 도움이 되겠지만, 실질적 검토를 대체할 수는 없다. 출처 링크는 생성된 주장을 뒷받침하지 않는 실제 문서를 가리킬 수 있다. 자동화는 검증을 더 쉽게 만들 수는 있어도 선택 사항으로 만들 수는 없다.

법무법인에도 업무 민감도에 따른 정책이 필요하다. 공개된 배경 자료를 요약하는 일은 특권이 적용되는 증거를 해석하는 일과 같은 결과를 낳지 않는다. 일상적 체크리스트를 작성하는 일은 다투어지는 증언을 묘사하는 일과 다르다.

실용적인 정책은 금지된 입력, 승인된 시스템, 보존 규칙, 검토 기준, 상향 보고 지점을 식별해야 한다. 누가 인용을 확인하고 누가 기록에 비춰 사실 주장을 확인하는지도 명시해야 한다.

교육은 변호사에게 프롬프트 작성법을 보여주는 데 그쳐서는 안 된다. 사용자는 자신감 있게 제시되는 오류, 맥락의 한계, 불완전한 검색, 데이터 노출, 자동화 편향을 이해해야 한다. 자동화 편향은 시스템이 산출했다는 이유로 사람들이 결과를 과도하게 신뢰할 때 발생한다.

시간 압박에도 주목할 필요가 있다. AI는 더 빠른 초안 작성을 약속하지만, 검증은 그 이득의 일부를 지워버릴 수 있다. 법무법인은 첫 번째 유창한 초안이 거의 완성됐다고 가정하지 말고 검토 시간을 정직하게 예산에 반영해야 한다.

관리자 역시 성공을 속도만으로 평가해서는 안 된다. 그러한 유인은 직원들이 불확실성을 숨기고 출처 확인을 건너뛰도록 부추긴다. 고위험 AI 업무에는 증거와 연결된 정확성 지표가 필요하다.

따라서 회의적인 결론은 더 좁지만 더 강력하다. 생성형 AI는 법률 업무를 보조할 수 있지만, 법무법인이 그 산출물을 검증되지 않은 초안으로 취급할 때에만 그렇다. 문서를 제출하는 사람은 여전히 모든 핵심 주장을 스스로 입증해야 한다.

법원과 법률팀이 다음으로 주목해야 할 사항

다음 시험대는 제재가 법률 실무 전반에서 검증 가능한 업무 흐름 변화를 만들어내는지 여부다.

첫 번째 신호는 Aarons 관련 징계 절차에서 나올 것이다. New Mexico 위원회는 역량, 진실성, 의뢰인 소통, 제출서면을 둘러싼 상황을 검토할 수 있다.

공개 징계 결정은 법원이 이 사건을 고립된 과실로 보는지, 더 광범위한 직업상 위법행위로 보는지를 분명히 할 것이다. 더 강한 처벌은 직접 모욕 명령을 강화할 것이다. 제한적인 구제는 시정과 의도를 강조할 것이다.

이 절차는 뉴스 보도에 없는 정보를 드러낼 수도 있다. 조사관은 초안 작성 과정, Sandoval과의 소통, 녹취록 처리, Aarons가 문제를 발견한 시점을 검토할 수 있다. 이러한 사실은 이 사건이 선례로서 갖는 가치를 규정할 것이다.

두 번째 신호는 Sandoval의 후임 항소다. 앞선 서면이 취소된 뒤 새 변호인은 실제 기록을 토대로 주장을 다시 구축해야 한다. 이 과정은 날조된 자료가 얼마나 큰 실질적 피해를 초래했는지를 보여줄 것이다.

정정된 서면이 진정한 증거를 사용해 유사한 법적 주장을 제기한다면, 이 사건은 회복 가능한 항소를 동반한 심각한 업무 흐름 실패로 보일 것이다. 주장이 크게 바뀐다면 AI 요약이 사건의 법리를 왜곡했을 가능성이 높다.

Sandoval에 대한 법원의 최종 처분도 똑같이 중요하다. 변호사를 제재하는 일은 제도적 무결성을 보호하지만, 시스템은 변호사의 결함 있는 제출서면 때문에 의뢰인을 처벌하는 일을 피해야 한다. 새 대리는 모든 지연을 해결하지는 못해도 그 위험을 완화한다.

세 번째 신호는 증거와 연결된 초안 통제 장치의 도입일 것이다. 법원은 확인서를 요구할 수 있고, 법무법인은 각 사실 진술에 녹취록 인용을 요구할 수 있다. 공급업체는 생성된 모든 문구의 출처를 공개할 수 있다.

가장 유용한 통제 장치는 감사 가능해야 한다. 누군가 초안을 검토했다는 체크박스는 제한적인 보호만 제공한다. 각 주장을 녹취록 페이지와 연결하는 주장 지도는 실제 검증의 증거를 만든다.

법원은 또한 기존의 직업 규칙이 충분한 수단을 제공하는지 결정하게 될 것이다. ABA 체계는 이미 역량, 진실성, 감독, 기밀성을 다룬다. New Mexico 명령은 판사들이 AI 특화 의무를 만들지 않고도 조치할 수 있음을 시사한다.

새 규칙은 절차를 정의할 때 여전히 가치가 있을 수 있다. 특정 용도에 대한 공개, 생성된 초안의 보존, 인용문과 법률 인용에 대한 개인적 확인을 요구할 수 있다. 다만 공개는 검증을 대체하기보다 뒷받침해야 한다.

더 넓은 업계는 형사 사건에서 반복되는 사실 날조를 주시해야 한다. 가짜 판례는 이제 익숙하다. 날조된 증언은 항소 기록의 무결성에 더 직접적인 도전을 제기한다.

지식 노동자에게 필요한 즉각적인 조치는 단순하지만 까다롭다. 생성된 모든 사실 주장에 대해 근거가 되는 원문을 다시 열어보고, 그 주장을 뒷받침하는 부분이 어디에 있는지 기록해야 한다. 텍스트가 고객, 규제기관, 경영진 또는 법원에 전달되기 전에 불일치를 발견하면 즉시 상위 단계로 보고해야 한다.

Stephen Aarons의 ChatGPT 제재는 미흡한 문장력에 대한 경고가 아니다. 이는 AI가 생성한 요약이 문서화되지 않은 증거의 대체물이 될 때 어떤 일이 벌어지는지를 보여준다.

생성된 설명에 의존하기 전에 한 가지를 물어야 한다. 다른 검토자가 중요한 모든 문장을 권위 있는 출처까지 추적할 수 있는가? 답이 아니오라면 초안은 아직 완성되지 않은 것이다. 지금 검증 경로를 구축하고, 원본 기록을 보존하며, 검토자에게 유창한 언어에 이의를 제기할 충분한 시간을 제공해야 한다. 다음 중대한 AI 실패는 거짓으로 보이기 전에 그럴듯해 보일 가능성이 크다.