Stephen Aarons의 ChatGPT 항소이유서는 존재하지 않는 증인을 만들어냈고, 법원은 5,000달러의 벌금을 부과했다

Stephen Aarons는 ChatGPT의 도움을 받아 작성한 살인 사건 항소이유서에 존재하지 않는 증인을 포함했고, 뉴멕시코 대법원은 법정모독과 5,000달러의 제재금으로 대응했다. 법원은 Aarons를 항소 사건에서 배제하고 징계 심사를 의뢰했으며, 이 사건에서 제출된 모든 항소이유서를 무효화했다.

Stephen Aarons의 ChatGPT 항소이유서는 또 하나의 민망한 인용 오류를 넘어선다. 법원에 따르면, 해당 서면은 재판에 한 번도 출석하지 않은 사람들에게 증언을 귀속시켰다. 실제 증인의 진술을 바꾸고, 존재하는 법적 판례도 왜곡했다.

이 차이는 사안의 심각성을 높인다. 이전의 법률 AI 실패 사례는 대개 변호사들이 기본적인 인용 검증만으로도 찾아낼 수 있었던 존재하지 않는 판례와 관련됐다. 이번 서면은 종신형을 복역 중인 의뢰인이 연루된 살인 유죄판결의 사실 기록을 왜곡한 것으로 전해진다.

이 사건은 법률 AI 도입의 분명한 대립 구도를 드러낸다. 자동화된 초안 작성의 속도와 기록을 직접 검증해야 하는 변호사의 의무 사이의 충돌이다. 법원은 소프트웨어의 결과물을 독립적인 참여자로 보지 않는다. 서면에 서명한 변호사에게 모든 문장의 책임을 묻고 있다.

법원은 살인 사건 항소이유서에서 조작된 증인을 발견했다

이번 제재는 변호사의 증거 해석에 대한 견해 차이가 아니라, 인정된 사실 조작에 따른 것이었다.

뉴멕시코 대법원은 2026년 9월 9일 State v. Sandoval 사건에서 처분 명령을 내렸다. 이 사건은 Oscar Renee Sandoval의 살인 유죄판결 항소와 관련되며, 사건 번호는 S-1-SC-40845다.

Aarons는 항소 개시 서면을 준비하면서 ChatGPT를 사용했음을 인정했다. 또한 서명하고 제출하기 전 사실 주장이나 법적 근거를 검증하지 않았다고 시인했다.

법원은 전적으로 조작된 증인 네 명을 특정했다. Officer Michelle Amarillo, Officer Sanchez, Manal Al-Jibury, Teresa Marquez다. 이는 단순한 철자 오류나 불확실한 신원 확인이 아니었다. 명령문은 증인 자체가 허위였다고 밝힌다.

서면은 실제 증인에게도 만들어낸 증언을 귀속시켰다. Danny Stanton이 Sandoval로부터 협박을 받았고 이를 심각하게 받아들였다고 주장했다. Linda Stanton의 남편이 받은 협박에 관해서도 허위 진술을 포함했다.

다른 대목들은 범인의 복장과 외모에 관한 증언을 왜곡한 것으로 전해진다. 명령문은 이 진술들을 Mariah Chavez와 조작된 Teresa Marquez에 연결했다.

오류는 법률 조사에도 미쳤다. 법원은 서면이 State v. Lopez와 State v. Manus의 판례를 왜곡했다고 밝혔다. 두 사건은 실제로 존재하기 때문에, 이는 가공의 판결을 인용한 경우와는 다른 문제다.

조작된 판례는 인용 정보를 검색하면 드러나는 경우가 있다. 반면 왜곡된 실제 판결은 주장과 원문을 더 면밀히 대조해야 한다. 변경된 증언은 녹취록과 증거물에 대한 별도의 검증 절차를 요구한다.

법정모독 명령은 Aarons가 두 가지 검토 모두를 하지 않았다고 인정한 내용을 기록하고 있다. 또한 그는 서면의 사실 및 법률적 왜곡 사실을 의뢰인에게 알리지 않았다고 명시한다.

법원은 Aarons에게 8월 21일 출석해 법정모독 및 징계 의뢰를 받아야 하지 않는 이유를 설명하라고 명령했다. 그는 서면 답변을 제출했고, 대법관 5명 전원 앞에서 구두 변론을 진행했다.

그 청문회 이후 대법관들은 Aarons가 자신의 행동과 의뢰인에 대한 우려가 부족하다고 결론지었다. 최종 명령은 그에게 직접 법정모독을 인정하고, 사안을 뉴멕시코 징계위원회에 회부했다.

Aarons는 30일 이내에 뉴멕시코주 변호사협회 의뢰인 보호 기금에 5,000달러를 납부해야 한다. 납부 후에는 법원에도 통지해야 한다.

실질적인 결과는 벌금을 넘어선다. Aarons는 징계 절차가 진행되는 동안 주 대법원에 출석할 수 없다. 법원은 해당 절차가 끝난 뒤 추가 결정을 내릴 권한을 유보했다.

법원은 Sandoval에게 새 변호인을 제공하기 위해 Law Office of the Public Defender를 선임했다. 기존의 모든 항소이유서는 무효화됐고, 새로운 서면 제출 일정이 뒤따를 예정이다.

법원은 재개된 항소를 2026–2027년 회기에 심리할 예정이다. 따라서 의뢰인은 이전 변호사가 검증되지 않은 AI 결과물을 제출했기 때문에 다시 한번 서면 공방을 거쳐야 한다.

이 절차적 재설정은 이 글의 핵심 긴장을 만든다. ChatGPT는 방대한 기록을 더 빠르게 검토할 수 있다고 약속했지만, 검증되지 않은 결과물은 관련된 모든 사람의 업무량을 늘렸다.

Stephen Aarons의 ChatGPT 항소이유서는 의뢰인을 위험에 빠뜨렸다

환각된 답변은 변호사의 서명이 담긴 법원 기록에 들어가는 순간 실질적으로 전혀 다른 문제가 된다.

생성형 AI는 그럴듯한 단어 순서를 예측해 텍스트를 만든다. 어떤 진술이 재판 녹취록, 인용한 판결문, 또는 증거 기록과 일치하는지를 독립적으로 보장하지는 않는다.

이 한계는 널리 환각으로 설명된다. 이 맥락에서 AI 환각은 이용 가능한 법률 자료의 뒷받침이 없는, 확신에 찬 진술을 의미한다.

이 용어는 기술적 약칭에서 비롯됐기 때문에 무해하게 들릴 수 있다. 그러나 형사 항소에서는 누가 증언했으며 그들이 배심원에게 무엇을 말했는지를 허위로 묘사할 수 있다.

살인 사건 항소는 확정된 기록에 의존한다. 항소법원 판사는 새로운 재판을 열거나 대체 증인을 심문하는 대신, 원심 법원에서 일어난 일을 검토한다.

변호사는 증거 결정, 배심원 지시, 헌법상 쟁점, 또는 증거의 충분성에 이의를 제기할 수 있다. 그러나 논지를 강화하기 위해 기록에 새로운 인물을 추가하거나 증언을 다시 쓸 수는 없다.

Stephen Aarons의 ChatGPT 항소이유서는 반복적으로 그 경계를 넘은 것으로 보인다. 그 오류는 항소법원 판사가 법률 주장을 평가하는 데 사용하는 원자료에 영향을 미쳤다.

의뢰인에게 미친 결과는 챗봇을 둘러싼 소동보다 더 중요하다. Sandoval은 법정모독 명령으로 인해 항소에서 불리한 판단을 받지는 않았다. 하지만 이 서면은 그의 심사 절차를 지연시키고 복잡하게 만들었다.

법원은 Aarons가 부정확성을 Sandoval에게 알리지 않았다고 밝혔다. 또한 그가 소명 절차를 의뢰인에게 알리지 않았고 관련 서면도 제공하지 않았다고 판단했다.

이런 누락은 의뢰인의 변호 활동에 심각한 차질이 발생했다는 정보를 빼앗았다. 법원이 문제를 확인한 뒤 대체 변호인을 마련해야 하는 상황도 초래했다.

국선변호인은 이제 재판 기록을 검토하고, 가능한 쟁점을 평가하며, 새로운 서면을 준비해야 한다. 검찰과 법원 직원 역시 이미 처리를 시작했던 항소를 다시 검토해야 한다.

이것이 겉보기에는 효율적인 도구가 업무를 없애는 대신 다른 곳으로 전가할 수 있는 방식이다. 한 사용자는 처음에는 시간을 절약하지만, 여러 다른 참여자가 근거 없는 결과물을 탐지하고 바로잡는 비용을 떠안는다.

Reuters 보도에 따르면, 이 서면은 가공의 선례에 초점을 맞춘 이전 사례들을 넘어선 것으로 보인다. 형사 항소에 조작된 증언을 삽입했다.

이런 확대는 법원의 강력한 대응을 설명한다. 허위 선례는 법관을 법률에 관해 오도할 수 있다. 허위 증인은 사건 자체에서 무슨 일이 있었는지에 관해 법관을 오도할 수 있다.

두 실패 모두 변호인이 제출 서면을 확인해야 한다는 기대를 위반한다. 그러나 사실 조작은 재판 기록이 방대하고 사건별로 다르며, 일반적인 웹 검색으로는 종종 확인할 수 없기 때문에 더 발견하기 어려울 수 있다.

상대방은 공표된 판결의 부정확한 인용을 빠르게 찾아낼 수 있다. 조작된 증언을 탐지하려면 수천 페이지의 녹취록을 검색하고 여러 증인의 진술을 비교해야 할 수 있다.

이 부담 때문에 추적 가능성이 필수적이다. 초안 작성 시스템은 각 사실 주장 뒤의 출처를 보존하고, 이를 뒷받침하는 문구가 어디에 있는지 보여줘야 한다.

그렇더라도 출처 링크가 법률적 판단을 대체할 수는 없다. 인간 검토자는 인용된 구절이 올바른 증인의 것인지, 그리고 주변 주장을 뒷받침하는지를 확인해야 한다.

같은 원칙은 법률 밖에서도 적용된다. AI를 사용해 기술 문서를 요약하는 팀에는 결론이 원자료와 연결된 검색 가능한 지식 베이스가 필요하다.

법원 제출 서면은 판사가 제재를 부과할 수 있기 때문에 그 의무를 유난히 가시적으로 만든다. 그러나 그 근본적 교훈은 규정 준수 보고서, 의료 요약, 감사 및 기타 증거에 민감한 업무에도 적용된다.

더 빠른 초안 작성은 개인적 책임과 충돌했다

법원은 ChatGPT를 감독 아래 사용되는 도구로 보았고, 책임은 그 결과물을 제출한 변호사에게 전적으로 남아 있다고 판단했다.

Aarons는 재판 녹취록을 요약하고 항소이유서를 준비하는 데 ChatGPT를 사용한 것으로 전해진다. 형사 사건 기록에는 광범위한 증언, 증거물, 신청서, 절차 이력이 포함될 수 있기 때문에 이 사용 사례는 매력적으로 들린다.

요약은 변호사가 주제를 찾고 메모를 정리하는 데 도움이 될 수 있다. 그러나 단서, 모순, 발언자 신원이 사라질 정도로 언어를 과도하게 압축할 수도 있다.

범용 챗봇은 또 다른 위험을 더한다. 요청된 사실을 찾아낼 수 없을 때, 빈틈을 명확히 밝히는 대신 그럴듯한 대체 내용을 생성할 수 있다.

결과물이 법률 문서의 관행에 맞을 때 위험은 더 커진다. 조작된 이름, 인용문, 판례 인용은 제출 준비가 된 것처럼 보이는 매끄러운 문장으로 나타날 수 있다.

전문적인 형식은 사실적 신뢰성의 증거가 아니다. 유창성은 결과물이 얼마나 자연스럽게 들리는지만 보여줄 뿐, 각 주장이 기록상 근거를 갖는지는 말해주지 않는다.

서면 명령이 나오기 전에 보도된 Aarons의 해명은 과도한 의존에 초점이 맞춰져 있었다. 그는 이 도구가 허구의 증인, 증언, 인용문, 법적 근거를 일관된 형태로 만들어낼 것이라고 예상하지 못했다고 말했다.

이 해명은 정확한 실패 양상을 드러낸다. 추출형 요약을 기대하는 사용자는 생성형 모델이 출처에 없는 내용을 만들어낼 수 있다는 점을 인식하지 못할 수 있다.

그러나 전문직 규정은 검증 의무를 변호인에게 부과한다. 모델에는 면허도, 의뢰인과의 관계도, 진실성 의무도, 전문직 징계에 노출될 가능성도 없다.

American Bar Association은 Formal Opinion 512에서 이러한 책임 분담을 다뤘다. 해당 기관의 AI 윤리 지침은 생성형 시스템을 사용하는 변호사에게 기존 의무가 적용된다고 밝힌다.

그 의무에는 능력, 비밀유지, 의사소통, 감독, 진실성, 합리적인 비용 청구가 포함된다. 변호사는 도구를 책임 있게 사용할 수 있을 정도로 그 기능과 한계를 이해해야 한다.

뉴멕시코주 변호사협회도 이 서면이 제출되기 전에 구체적인 지침을 발표했다. 해당 협회의 윤리 의견은 기존의 전문직 의무를 충족하는 조건에서만 변호사의 생성형 AI 사용을 허용한다.

이 의견은 법정에 대한 진실성과 정직성을 강조한다. 또한 비밀유지, 이해충돌, 감독, 수수료와 비용의 처리도 다룬다.

따라서 문제는 ChatGPT를 명시적으로 금지하는 주 전체 규정이 없었다는 데 있지 않았다. 확립된 의무는 이미 정확한 사실 주장과 정직한 법적 근거를 요구하고 있었다.

법원은 이러한 익숙한 책임에 근거해 명령을 내렸다. 법원은 변호사가 규정을 준수하지 않을 경우 법정모욕을 포함한 제재를 허용하는 서면 제출 규칙을 인용했다.

또한 법원은 소송 절차를 규율하고 변호사를 징계할 사법부의 권한을 언급했다. 명시된 목적에는 공공의 보호, 법조계의 명예 보호, 사법 절차의 질서 있는 운영이 포함된다.

이 접근법은 법원이 특정 모델이나 소프트웨어 버전에 의존하지 않도록 한다. 오류가 ChatGPT, 다른 보조 도구, 검색 플랫폼 또는 부주의한 수작업 작성에서 비롯됐는지와 관계없이 변호사는 여전히 책임을 진다.

이 원칙은 법무법인과 법률 기술 공급업체 모두에 압박을 가한다. 법무법인은 각 업무의 위험도에 맞는 검토 절차를 마련해야 한다. 공급업체는 최종 작업물에 근거 없이 복사해 넣는 행위를 억제하는 인터페이스를 제공해야 한다.

위험이 낮은 브레인스토밍 세션에는 살인 사건 항소의 사실 진술과 같은 수준의 안전장치가 필요하지 않다. 오류의 결과가 커질수록 업무 절차는 더 엄격해져야 한다.

공판 기록 작업의 경우, 이는 모든 사실 주장이 페이지 단위의 출처를 가져야 한다는 뜻이다. 모든 인용문은 원본 기록과 대조해야 한다. 언급된 모든 인물은 증인 명단이나 공판 기록을 통해 확인해야 한다.

법적 권위와 관련해서는 검토자가 판결문을 열고 관련 대목을 읽어야 한다. AI가 판결의 취지를 잘못 서술한 경우, 해당 사건이 실제로 존재하는지만 확인해서는 충분하지 않다.

이러한 점검은 생성형 AI가 약속하는 시간 절약의 일부를 줄인다. 그렇다고 기술에 가치가 없다는 뜻은 아니다. 신뢰할 수 있는 도입에는 검증 업무를 고려해야 한다는 의미다.

따라서 핵심적인 상충관계는 측정 가능하다. 자동화는 초안 작성을 가속할 수 있지만, 그 초안의 정확성을 입증하는 비용은 여전히 전문가가 부담한다.

Legal AI Tools Have Not Eliminated Hallucinations

목적 특화 법률 시스템은 근거 없는 답변을 줄일 수 있지만, 어떤 인터페이스도 검토자가 결과를 검증할 의무를 없애주지는 않는다.

Stephen Aarons의 ChatGPT 서면은 범용 AI 서비스를 사용한 사례였다. 이는 모든 법률 AI 제품이 동일하게 작동하거나 같은 위험을 수반한다는 점을 입증하지는 않는다.

일부 법률 리서치 플랫폼은 검색 증강 생성(retrieval-augmented generation)을 사용한다. RAG는 생성된 답변을 선별된 출처 문서 모음과 연결하는 방식이다.

이론적으로 검색은 모델이 활용하는 근거를 좁히고 검토를 위한 인용을 제공한다. 사용자가 생성된 답변 옆에서 인용된 법적 권위를 열어볼 수 있기 때문에 검증을 더 쉽게 만들 수 있다.

그러나 검색 기능이 답변이 출처를 충실하게 반영한다는 보장은 아니다. 모델은 실제 문서를 인용하면서도 그 옆의 명제를 뒷받침하지 않는 문서를 제시할 수 있다.

Stanford의 연구진은 LexisNexis와 Thomson Reuters의 AI 지원 법률 리서치 제품을 평가했다. 이 연구는 해당 시스템들을 범용 GPT 모델과도 비교했다.

연구진은 시험한 특화 제품에서 17%에서 33% 사이의 환각 비율을 보고했다. 이 시스템들은 범용 모델보다 더 나은 성능을 보였지만, 근거가 없거나 잘못 근거 지어진 답변은 여전히 남아 있었다.

legal AI study는 환각 문제가 해결되지 않았다고 주장했다. 또한 공개 벤치마킹과 더 엄격한 평가를 촉구했다.

이러한 결과가 모든 현재 제품이나 모든 법률 업무의 정확성을 예측하는 것은 아니다. 모델, 검색 시스템, 프롬프트, 기반 데이터베이스는 계속 변화하고 있다.

이 벤치마크는 특정 형사 사건의 공판 기록 요약이 아니라 리서치 질문에 초점을 맞췄다. 공개된 판결문에서의 제품 성능이 업로드된 증거에 대한 신뢰성을 입증하지는 않는다.

이 구분은 ChatGPT의 법률 오류를 평가할 때 중요하다. 법률 리서치 데이터베이스에는 일반적으로 인식 가능한 인용이 있는 구조화된 법적 권위가 담겨 있다. 공판 기록에는 불완전한 전사문, 약어, 동명이인, 단편적인 증언이 흔히 포함된다.

시스템은 사건을 정확히 찾아내면서도 기록 속 두 증인을 혼동할 수 있다. 공판 기록을 정확히 인용하면서도 의미를 바꾸는 인접한 문구를 누락할 수도 있다.

올바른 회의론은 양방향으로 적용된다. 한 법원의 실패 사례가 변호사들이 AI를 포기해야 한다는 뜻은 아니다. 공급업체의 보장 역시 생성된 텍스트를 검증된 것으로 취급할 근거가 되지 않는다.

관련된 질문은 업무 절차가 제출 전에 근거 없는 주장을 쉽게 발견하도록 하는지 여부다. 유용한 시스템은 불확실성을 드러내고, 인용을 보존하며, 출처 비교를 단순하게 만들어야 한다.

또한 모델이 빈틈을 조용히 메우는 일을 막아야 한다. 기록에 답이 없을 때는 그럴듯하게 재구성하는 것보다 “찾을 수 없음”이 더 안전하다.

법무법인은 업무 설계를 통해 이러한 통제를 강화할 수 있다. 브레인스토밍과 사실 추출을 분리하고 민감한 문서는 승인된 시스템으로만 제한할 수 있다.

변호사들에게 주장 대장을 유지하도록 요구할 수도 있다. 각 사실 진술은 공판 기록 페이지, 증거물, 사건기록 항목 또는 공개된 법적 권위를 가리켜야 한다.

그러면 감독자는 맥락 없이 생성된 모든 문장을 다시 읽는 대신 고위험 주장을 감사할 수 있다. 이 과정은 검증이 이뤄졌다는 증거를 만들지만, 문서화만으로 신중한 검토를 입증할 수는 없다.

교육은 일반적인 경고가 아니라 행동에 초점을 맞춰야 한다. AI가 때때로 환각을 일으킨다고 변호사에게 알리는 것만으로는 실제 제출 마감 시점에 별다른 지침이 되지 않는다.

실용적인 기준은 다른 검토자가 인용된 출처로부터 각 주장을 재현할 수 있는지 묻는다. 답이 아니오라면 해당 문구는 법원에 제출할 준비가 되지 않은 것이다.

정확성과 별개로 기밀성 문제도 있다. 공판 기록을 제3자 서비스에 업로드하면 제품의 약관과 통제 방식에 따라 보호 대상인 의뢰인 정보가 노출될 수 있다.

New Mexico 명령은 이 문제를 해결하지 않았다. 명령은 사실 및 법률상 허위 진술, 의뢰인과의 소통, 그리고 Aarons의 법원 앞 행위에 초점을 맞췄다.

독자는 대법관들이 내리지 않은 별도의 기밀성 판단이 있었다고 추론해서는 안 된다. 또한 이 명령이 ChatGPT가 사용자 수정 없이 모든 허위 문구를 만들었다고 확정한 것도 아니다.

명령이 확립한 내용은 더 좁지만 여전히 심각하다. Aarons는 도구를 사용했고, 검증되지 않은 결과물을 제출했으며, 그로 인한 문제를 의뢰인에게 알리지 않았다고 인정했다.

AI Hallucinations in Court Now Carry Predictable Consequences

New Mexico 사건은 이미 확립된 제재 패턴에 속하지만, 조작된 공판 사실은 그 패턴을 더 위험한 영역으로 밀어 넣는다.

2023년 Mata v. Avianca 사건에서 변호사들은 ChatGPT가 생성한 존재하지 않는 사법 판결을 제출했다. 연방 판사는 이들의 행위와 이후 대응을 검토한 뒤 5,000달러의 제재를 부과했다.

이 사건은 법정에서의 AI 환각에 관한 초기 경고가 됐다. 아무도 원판결을 열어보지 않으면 그럴듯한 인용이 초안 작성, 내부 검토, 제출 과정을 모두 통과할 수 있음을 보여줬다.

New Mexico 사건은 이 경고가 널리 알려진 뒤에 발생했다. 또한 변호사의 생성형 AI 사용을 다루는 전국 및 주 차원의 윤리 지침이 나온 뒤의 일이기도 했다.

따라서 법원은 변호사들이 기본적인 위험을 이해하고 있다고 기대할 수 있다. 공개 제재, 변호사협회 의견, 직무 교육이 이미 이 문제를 설명하고 있는 상황에서는 놀랐다는 주장의 설득력이 떨어진다.

사실관계의 범위도 달라졌다. Mata 사건은 민사 항공 분쟁에서의 허구적 판례를 다뤘다. Stephen Aarons의 ChatGPT 서면은 살인 사건 기록 안의 참여자와 증언을 지어냈다고 전해진다.

2025년 호주의 한 살인 재판에서도 또 다른 경고가 나왔다. 변호인 제출 서면에 조작된 인용문과 존재하지 않는 판례가 포함돼 법원이 조사하는 동안 절차가 지연됐다.

해당 변호사는 사과하고 책임을 인정했다. 판사는 변호사들이 AI 생성 자료를 사용하기 전에 독립적이고 철저한 검증이 필요하다고 말했다.

Australian filing은 위험이 미국의 한 법원이나 하나의 업무 분야에 국한되지 않음을 보여준다. 출처 확인보다 유창한 결과물이 앞서는 곳에서는 어디서든 유사한 실패가 나타난다.

그럼에도 제출 서면에 오류가 있다고 해서 제재가 자동으로 부과되는 것은 아니다. 법원은 변호사의 행위, 대응, 솔직함, 시정 조치, 적용되는 절차 규칙을 고려한다.

오탈자는 지어낸 증언을 기록의 일부로 제시하는 것과 다르다. 신속한 시정은 문제를 숨기거나 의뢰인에게 알리지 않는 것과 다르다.

New Mexico 대법원은 Aarons의 인정과 절차에 대한 그의 대응을 강조했다. 후회와 의뢰인에 대한 우려에 관한 법원의 판단은 이 사안을 신속히 바로잡힌 우발적 오류와 구분하는 데 도움이 됐다.

이 명령은 비선례적이며, 이는 법원이 후속 사건을 규율하는 정식 의견으로 이를 내린 것이 아니라는 뜻이다. 이러한 지위는 변호사들이 이를 법적 권위로 인용하는 방식에 제한을 둔다.

그 운영상 효과는 여전히 현실적이다. Aarons는 법정모욕, 금전 제재, 항소 절차에서의 배제, 법원 출석 금지, 징계 심사를 받게 된다.

공개 기록은 금전 지급보다 오래갈 수 있는 평판상 결과도 만든다. 변호사의 이름을 검색하면 살인 사건 항소에서 조작된 증인과 연결될 것이다.

법무법인에는 이러한 결과가 도입을 둘러싼 위험 계산을 바꾼다. 부실한 검토의 비용에는 대리인 교체, 중복 업무, 징계 위험, 의뢰인 신뢰 훼손이 포함될 수 있다.

법원에는 반복되는 사건이 확인서나 공개 의무를 요구해야 한다는 압박을 만든다. 일부 판사는 이미 AI 생성 텍스트와 인용이 사람의 검토를 받았다는 확인을 요구하고 있다.

이러한 규칙은 변호사에게 의무를 상기시킬 수 있지만, 검증이 실질적이었는지는 확인할 수 없다. 체크 표시 하나로 누군가 공판 기록을 열어봤는지는 알 수 없다.

기술적 통제도 같은 한계에 직면한다. 시스템이 모든 문장에 인용을 붙일 수는 있지만, 여전히 주장을 무관하거나 모순되는 대목과 연결할 수 있다.

가장 강력한 보호는 제품 제약과 전문가 검토를 결합한다. 소프트웨어는 근거를 눈에 보이게 해야 하고, 변호사는 그 근거를 제출할 주장과 비교해야 한다.

이 조합은 판단을 확률적 모델에 맡기지 않으면서 유용한 자동화를 보존한다. 또한 감독자에게 검사할 수 있는 구체적인 절차를 제공한다.

따라서 이 사건을 “ChatGPT가 무언가를 지어냈다”로 축소해서는 안 된다. 생성형 시스템은 특히 누락된 세부사항을 채우도록 요청받을 때 근거 없는 텍스트를 생성하는 것으로 알려져 있다.

중대한 결정은 검증되지 않은 결과물이 서명된 법원 제출 서면에 들어갔을 때 이뤄졌다. 법원은 그 전환에 책임이 있는 인간 전문가를 제재했다.

What Courts, Firms, and AI Vendors Should Watch Next

세 가지 전개는 이 사건이 지속 가능한 안전장치를 만들어낼지, 아니면 법률 업무 절차가 흡수하지 못하는 또 하나의 경고가 될지를 보여줄 것이다.

첫 번째 신호는 New Mexico의 징계 절차다. 대법원은 Aarons를 징계위원회에 회부했지만, 9월 명령은 최종적인 전문직 제재를 발표하지 않았다.

조사관은 법정모욕 절차를 넘어선 쟁점을 검토하고 징계 규칙에 따른 적절한 대응을 권고할 수 있다. 법원은 절차가 진행될 경우 그 과정 이후 추가 결정을 내릴 것이라고 밝혔다.

상당한 추가 제재는 검증되지 않은 AI 콘텐츠가 전문직 행동 위반에 해당한다는 메시지를 강화할 것이다. 제한적인 대응은 해당 제출 자체에 대해서는 법정모욕과 배제가 충분하다고 판단했음을 시사할 것이다.

두 번째 신호는 재개된 Sandoval 항소다. 새 변호인은 출석 신고를 하고, 서면을 다시 구성하며, 실제 공판 기록이 뒷받침하는 주장을 확인해야 한다.

이 과정은 허위 제출이 초래한 실질적 피해를 드러낼 것이다. 법원은 항소를 2026–2027년 일정에 올릴 계획이지만, 구체적인 심리 날짜는 제시되지 않았다.

질서 있게 신속히 다시 시작한다면 의뢰인에게 돌아갈 피해를 줄일 수 있다. 추가 지연이나 기록을 둘러싼 분쟁은 결함 있는 AI 보조 제출서 하나가 형사 사건에 얼마나 오랫동안 영향을 미칠 수 있는지를 보여줄 것이다.

세 번째 신호는 법원과 법률 기술 제공업체의 대응이다. 법원은 검증 인증을 도입할 수 있으며, 공급업체는 조서와 인용 작업에 출처 수준의 통제 기능을 추가할 수 있다.

가장 의미 있는 제품 변화는 또 하나의 포괄적인 정확성 주장이 아닐 것이다. 근거 없는 사실 완성을 거부하고 각 답변의 증거를 드러내는 워크플로가 될 것이다.

독립적인 테스트도 여전히 중요하다. 어떤 공급업체든 유리한 사례를 제시할 수 있지만, 사용자가 필요로 하는 것은 낯선 기록과 적대적인 질문 전반에서 성능을 측정하는 평가다.

로펌 역시 마감 압박 속에서 자체 검토 절차가 제대로 작동하는지 점검해야 한다. 변호사에게 시간, 교육 또는 출처 접근 권한이 없다면 검증을 요구하는 정책은 큰 의미가 없다.

당장의 교훈은 분명하다. AI는 기록 정리, 논점 개요 작성 또는 가능한 쟁점 탐색을 지원할 수 있다. 그러나 변호사의 성실 고지 의무를 대신할 수는 없다.

법원 제출서에 담긴 모든 사실 진술은 증거능력이 있는 자료로 되돌아가는 경로를 갖춰야 한다. 모든 법률 명제는 제출서가 주장하는 내용을 실제로 뒷받침하는 권위 있는 근거의 지원을 받아야 한다.

항소 업무는 본래부터 까다로웠기에 이 기준도 엄격하다. 생성형 AI는 초안 작성의 인터페이스를 바꾸지만 정확성에 대한 부담을 낮추지는 않는다.

Stephen Aarons의 ChatGPT 제출서는 약속된 지름길을 법정모독, 대리인 교체, 그리고 완전히 새로운 서면 제출 절차로 바꿔 놓았다. 법률 전문가들은 이제 허구의 판례뿐 아니라 허구의 증인까지 관련된 또 하나의 문서화된 경고를 받게 됐다.

다음 질문은 또 다른 의뢰인이 그 결과를 떠안기 전에 조직들이 워크플로를 재설계할 것인지다. AI를 사용하는 변호사는 제출 전 한 가지를 확인해야 한다. 중요한 모든 문장이 원본 기록으로 입증될 수 있는가?