Stephen AaronsのChatGPT利用書面が架空の証人を作り出し、裁判所は5,000ドルの罰金を科した

Stephen Aaronsは、ChatGPTの支援を受けた殺人事件の控訴書面を提出したが、その中には架空の証人が含まれていた。ニューメキシコ州最高裁判所はこれを受け、法廷侮辱と5,000ドルの制裁金を科した。裁判所はさらに、Aaronsをこの控訴から外し、懲戒審査に付託するとともに、この事件で提出されたすべての書面を取り消した。

Stephen AaronsのChatGPT利用書面は、単なる恥ずべき引用ミスの一例にとどまらない。裁判所によると、この書面は公判に一度も出廷していない人物の証言を帰属させていた。また、実在する証人の発言を改変し、既存の法的権威も誤って示していた。

この違いは問題の重大性を高める。これまでのリーガルAIの失敗では、弁護士が通常の引用確認で発見できた、存在しない判例が問題となることが多かった。今回の書面は、依頼人が終身刑に服している殺人有罪判決の根拠となる事実記録を改変したと報じられている。

この事件は、リーガルAI導入における明確な対立を浮き彫りにする。すなわち、自動作成によるスピードと、記録を確認する弁護士個人の義務との対立だ。裁判所はソフトウェアの出力を独立した当事者として扱ってはいない。提出書面に署名する弁護士に、すべての文章の責任を負わせている。

裁判所は殺人事件の控訴書面に架空の証人が含まれていたと認定した

制裁の対象となったのは、弁護士による証拠解釈の相違ではなく、認められた事実の捏造だった。

ニューメキシコ州最高裁判所は、2026年9月9日、State v. Sandovalで最終命令を出した。この事件は、Oscar Renee Sandovalによる殺人有罪判決への控訴に関するもので、事件番号はS-1-SC-40845である。

Aaronsは、控訴開始書面の準備にChatGPTを使用したことを認めた。また、署名して提出する前に、そこに含まれる事実主張や法的権威を確認していなかったことも認めた。

裁判所は、Officer Michelle Amarillo、Officer Sanchez、Manal Al-Jibury、Teresa Marquezという、完全に捏造された4人の証人を特定した。これは些細な綴りの誤りや不確かな人物特定ではない。命令によれば、証人そのものが虚偽だった。

書面はさらに、実在の証人にも作り話の証言を帰属させていた。Danny StantonがSandovalから脅迫を受け、それを深刻に受け止めていたと主張した。また、Linda Stantonの夫が受けた脅迫についても虚偽の記述を含んでいた。

別の箇所では、犯人の服装や外見に関する証言が誤って伝えられていたとされる。命令はこれらの記述をMariah Chavezと、架空のTeresa Marquezに結び付けている。

誤りは法的調査にも及んだ。裁判所は、書面がState v. LopezおよびState v. Manusの法的権威を誤って表現したと述べた。これらの判例は実在するため、単に架空の判決を引用する場合とは問題が異なる。

架空の判例は、引用を検索すれば発覚することがある。一方で、実在する判決を歪めた場合は、主張と原典をより詳しく比較する必要がある。改変された証言については、反訳書や証拠資料との照合という別の検証手続きも必要となる。

法廷侮辱命令には、Aaronsがいずれの確認も行わなかったと認めたことが記録されている。また、提出書面に事実および法律上の虚偽表示があったことを依頼人に伝えなかったとも記されている。

裁判所はAaronsに対し、8月21日に出廷し、なぜ法廷侮辱および懲戒付託の対象とされるべきでないのかを説明するよう命じていた。Aaronsは書面による回答を提出し、5人の判事全員の前で口頭弁論を行った。

この審理後、判事らはAaronsに反省と依頼人への配慮が欠けていると判断した。最終命令はAaronsを直接的な法廷侮辱に当たると認定し、この件をニューメキシコ州のDisciplinary Boardに付託した。

Aaronsは30日以内に、State Bar of New Mexico Client Protection Fundへ5,000ドルを支払わなければならない。支払い後には裁判所への通知も必要となる。

実務上の影響は罰金にとどまらない。懲戒手続きが係属している間、Aaronsは州最高裁判所に出廷できない。裁判所は、その手続き終了後にさらなる判断を下す権利を留保した。

裁判所はSandovalの新たな代理人としてLaw Office of the Public Defenderを選任した。既存の書面はすべて取り消され、新たな書面提出日程が設定される。

裁判所は、再開される控訴審を2026～2027年の期に審理する意向である。したがって、依頼人は前任弁護士が未検証のAI出力を提出したため、あらためて書面提出の手続きを経験することになる。

この手続きのリセットが、本稿の中心的な緊張関係を生み出している。ChatGPTは長大な記録の確認を迅速化すると期待されたが、未検証の出力は関係者全員の作業負担を増やした。

Stephen AaronsのChatGPT利用書面は依頼人を危険にさらした

幻覚による回答は、弁護士の署名を伴って裁判記録に入り込むと、実質的に別種の問題となる。

生成AIは、もっともらしい単語の並びを予測することで文章を作る。ある記述が公判反訳書、引用判例、または証拠記録と一致していることを、独自に保証するものではない。

この制約は広く「ハルシネーション」と呼ばれている。この文脈でのAIハルシネーションとは、利用可能な法的資料による裏付けがないにもかかわらず、自信を持って提示される記述を指す。

この言葉は技術的な略称として生まれたため、無害に聞こえるかもしれない。しかし刑事控訴の中では、誰が証言し、その人物が陪審員に何を述べたのかを虚偽に描写しかねない。

殺人事件の控訴は、確定した記録に依拠する。控訴審の判事は、新たな裁判を行ったり代替の証人を聴取したりするのではなく、第一審で何が起きたかを審査する。

弁護士は証拠採用の判断、陪審員への説示、憲法上の問題、証拠の十分性に異議を唱えられる。しかし、主張を強めるために記録へ新たな人物を加えたり、証言を書き換えたりすることはできない。

Stephen AaronsのChatGPT利用書面は、こうした境界を繰り返し越えたとされる。その誤りは、控訴審判事が法的主張を評価する際に用いる基礎資料に影響を与えた。

依頼人への影響は、チャットボットをめぐる騒動よりも重要だ。Sandovalは法廷侮辱命令によって控訴で不利な判断を受けたわけではない。それでも、この書面は審査に至る道筋を遅らせ、複雑化させた。

裁判所は、AaronsがSandovalに不正確さを知らせなかったと述べた。また、理由提示を求める手続きについても、依頼人に通知せず、関連書面も提供しなかったと認定した。

こうした不作為により、依頼人は自らの代理活動に深刻な支障が生じていたことを知る機会を奪われた。また、問題を特定した後、裁判所が代替の代理人を手配せざるを得ない状況となった。

公選弁護人は現在、公判記録を確認し、有効な争点を評価した上で、新たな書面を準備しなければならない。検察官と裁判所の職員も、すでに処理を開始していた控訴を再検討する必要がある。

これは、一見効率的に見えるツールが、作業をなくすのではなく移し替える仕組みであることを示している。ある利用者は当初時間を節約する一方で、他の複数の関係者が、裏付けのない出力を発見し修復するコストを負担する。

Reutersの報道によると、この書面は架空の先例を中心とした従来の事例を超えるものとみられる。刑事控訴に捏造された証言を挿入していた。

この深刻化が、裁判所の強い対応を説明する。虚偽の先例は、法律について判事を誤導し得る。虚偽の証人は、事件そのものにおいて何が起きたかについて判事を誤導し得る。

いずれの失敗も、代理人が提出書面を確認するという期待に反する。しかし、事実の捏造は、公判記録が長大で事件固有のものであり、通常のウェブ検索では利用できないことも多いため、発見がより難しい可能性がある。

相手方は、公表された判決からの不正確な引用ならすぐに見つけられるかもしれない。捏造された証言を発見するには、数千ページに及ぶ反訳書を検索し、複数の証人証言を比較する必要がある。

この負担ゆえに、追跡可能性が不可欠となる。文章作成システムは、各事実命題の根拠となる資料を保持し、裏付ける文言がどこにあるかを示すべきだ。

それでも、ソースへのリンクは法的判断に代わるものではない。人間のレビュアーが、引用箇所が正しい証人のものであり、周辺の主張を裏付けていることを確認しなければならない。

同じ規律は法律以外でも当てはまる。AIを使って技術文書を要約するチームには、結論を原資料と結び付け続ける検索可能なナレッジベースが必要だ。

裁判所への提出書面では、判事が制裁を科せるため、この義務が特に明確に表れる。この根本的な教訓は、コンプライアンス報告書、医療要約、監査、その他の証拠に敏感な業務にも当てはまる。

迅速な書面作成は個人責任と衝突した

裁判所はChatGPTを監督下のツールとして扱い、その出力を提出した弁護士に責任が全面的に残るとした。

Aaronsは、公判反訳書の要約と控訴書面の準備を補助するためにChatGPTを使用したと報じられている。刑事記録には膨大な証言、証拠資料、申立て、手続きの経緯が含まれ得るため、この用途は魅力的に聞こえる。

要約は、弁護士が論点を見つけ、メモを整理する助けになり得る。一方で、表現を過度に圧縮し、留保、矛盾、発言者の識別を失わせることもある。

汎用チャットボットには別の危険もある。求められた事実を取得できない場合、欠落を明確に示す代わりに、もっともらしい代替情報を生成する可能性がある。

出力が法的文書の慣行に沿っている場合、危険はさらに高まる。捏造された氏名、引用、出典は、提出可能に見える洗練された文章として現れ得る。

専門的な書式は、事実の信頼性を示す証拠ではない。流暢さは出力がどれほど自然に聞こえるかを表すだけであり、各命題が記録に裏付けられているかどうかを示すものではない。

書面による命令が公表される前に報じられたAaronsの説明は、過度な依存に焦点を当てていた。彼は、このツールが架空の証人、証言、引用、法的権威を一貫した形で作り出すとは予想していなかったと述べた。

この説明は、まさにその失敗の形態を示している。抽出的な要約を期待する利用者は、生成モデルが原典にない内容を作り出し得ることを認識しないかもしれない。

しかし、職業上の規則は代理人に検証義務を課している。モデルには免許も、依頼人との関係も、誠実義務も、職業上の懲戒を受ける可能性もない。

American Bar Associationは、この責任分担をFormal Opinion 512で取り上げた。AI倫理ガイダンスは、生成システムを使用する弁護士にも既存の義務が適用されると述べている。

これらの義務には、能力、秘密保持、コミュニケーション、監督、誠実性、合理的な請求が含まれる。弁護士は、ツールを責任を持って使うために、その能力と限界を十分に理解しなければならない。

State Bar of New Mexicoも、この書面が提出される前に具体的なガイダンスを出していた。その倫理意見は、既存の職業上の義務を満たすことを条件に、弁護士が生成AIを利用できるとしている。

この意見は、法廷に対する誠実さと真実性を重視している。また、秘密保持、利益相反、監督、報酬と費用の扱いも対象としている。

したがって、問題はChatGPTを名指しで禁止する州全体の規則がなかったことではない。既存の義務はすでに、正確な事実主張と誠実な法的権威の提示を求めていた。

裁判所は、こうした一般に知られた責務を根拠として命令を下した。弁護士が規則に従わない場合、法廷侮辱を含む制裁を認める準備書面規則を引用した。

また、手続きを統制し、弁護士を懲戒する司法の権限も援用した。その目的には、公衆の保護、法曹界の評判の維持、司法の秩序ある運営が含まれる。

このアプローチでは、裁判所が特定のモデルやソフトウェアのバージョンに依存することを避けられる。誤りがChatGPT、別のアシスタント、検索プラットフォーム、あるいは不注意な手作業による起案のいずれから生じたとしても、弁護士は責任を負い続ける。

この原則は、法律事務所とリーガルテック事業者の双方に圧力をかける。法律事務所には、各業務のリスクに見合ったレビュー手続きが必要となる。事業者には、裏付けのない内容が最終成果物へ安易にコピーされることを防ぐインターフェースが求められる。

低リスクのブレインストーミングは、殺人事件の控訴における事実主張と同じ保護措置を必要としない。誤りの影響が大きくなるほど、ワークフローはより厳格になるべきだ。

法廷記録を扱う場合、すべての事実主張にはページ単位の出典が必要である。すべての引用は原記録と照合しなければならない。実名で挙げられる人物はすべて、証人リストまたは法廷記録によって確認する必要がある。

法的権威については、レビュアーは判決を開き、該当箇所を読む必要がある。AIが判示内容を誤って伝えている場合、判例が存在することだけを確認しても不十分だ。

これらの確認作業は、生成AIが約束する時間短縮の一部を相殺する。これは、その技術に価値がないことを示すものではない。信頼できる導入には、検証作業を織り込む必要があるという意味だ。

したがって、中心的なトレードオフは測定可能である。自動化は初稿作成を加速できるが、その初稿の正確性を証明するコストは、依然として専門家が負担する。

リーガルAIツールはハルシネーションを排除していない

法律向けに設計されたシステムは裏付けのない回答を減らせるが、どのインターフェースも、結果を検証するレビュアーの責務をなくすことはできない。

Stephen AaronsのChatGPTを用いた準備書面は、汎用AIサービスに関するものだった。すべてのリーガルAI製品が同じように動作し、同じリスクを伴うことを示したわけではない。

一部の法律調査プラットフォームは、検索拡張生成を使用している。RAGは、生成された回答を選定されたソース文書のコレクションに結び付ける手法だ。

理論上、検索によってモデルが参照する証拠は絞り込まれ、レビュー用の引用も提供される。ユーザーは生成された回答の横で引用された権威資料を開けるため、検証は容易になる可能性がある。

しかし、検索によって回答がソースを忠実に表現することが保証されるわけではない。モデルは、隣に置かれた命題を裏付けない実在の文書を引用することがある。

Stanfordの研究者らは、LexisNexisとThomson ReutersのAI支援型法律調査製品を評価した。この研究では、それらのシステムを汎用GPTモデルとも比較した。

研究者らは、テストした専門製品におけるハルシネーション率が17％から33％の間だったと報告した。これらのシステムは汎用モデルより良好な成績を示したが、裏付けのない、または根拠付けを誤った回答は残った。

リーガルAI研究は、ハルシネーション問題は解決されていないと論じた。また、公開ベンチマークと、より厳格な評価を求めた。

これらの結果は、現在のすべての製品やすべての法務業務における正確性を予測するものではない。モデル、検索システム、プロンプト、基盤データベースは変化し続けている。

このベンチマークも、特定の刑事事件における法廷記録の要約ではなく、調査上の質問に焦点を当てていた。公表済み判決における製品の性能は、アップロードされた証拠に対する信頼性を立証するものではない。

この違いは、ChatGPTによる法的な誤りを評価する際に重要である。法律調査データベースには通常、認識しやすい引用を備えた構造化された権威資料が含まれる。公判記録には、不完全な法廷記録、略語、同姓の人物、断片的な証言が含まれることが多い。

システムは判例を正確に見つけながら、記録上の2人の証人を取り違える可能性がある。また、法廷記録を正しく引用していても、意味を変える近接した文言を省略することがある。

適切な懐疑は両方向に向けられるべきだ。ある裁判所での失敗が、弁護士はAIを放棄すべきだということを示すわけではない。事業者の保証も、生成テキストを検証済みとして扱うことを正当化しない。

重要なのは、提出前に裏付けのない主張を容易に発見できるワークフローかどうかである。有用なシステムは、不確実性を明示し、引用を保持し、ソースとの比較を簡単にすべきだ。

また、モデルが欠落部分を黙って補完することも防ぐべきである。記録に答えがない場合、「見つからない」と示すほうが、もっともらしい再構成より安全だ。

法律事務所は、タスク設計を通じてこうした統制を強化できる。ブレインストーミングと事実抽出を分離し、機微な文書は承認済みのシステムに限定できる。

弁護士に対し、主張台帳の維持を求めることもできる。各事実主張は、法廷記録のページ、証拠物、事件簿の記載、または公表済みの権威資料を指すことになる。

そうすれば、監督者は文脈なしに生成文を一文ずつ読み直すのではなく、高リスクの主張を監査できる。このプロセスは検証が行われた証拠を生むが、文書化だけでは慎重なレビューを証明できない。

研修は、一般的な警告ではなく行動に焦点を当てる必要がある。AIは時にハルシネーションを起こすと弁護士に伝えるだけでは、実際の提出期限を前にした場面での指針にはほとんどならない。

実務的な基準は、別のレビュアーが引用されたソースから各主張を再現できるかを問うものだ。答えがノーであれば、その箇所は裁判所に提出できる状態ではない。

正確性とは別に、守秘性の問題もある。公判記録を第三者サービスにアップロードすると、製品の利用規約や管理措置によっては、保護されるべき依頼者情報が漏れるおそれがある。

ニューメキシコ州の命令は、この問題を解決していない。同命令は、事実および法律に関する虚偽表示、依頼者とのコミュニケーション、Aaronsの法廷における行為に焦点を当てた。

読者は、判事らが認定していない独立した守秘義務違反の認定を推測すべきではない。また、この命令は、ChatGPTがユーザーによる修正なしにすべての虚偽の記述を生成したことを立証するものでもない。

同命令が確立した内容は、より限定的でありながら依然として深刻だ。Aaronsは、ツールの使用、未検証の出力の提出、そこから生じた問題を依頼者に知らせなかったことを認めた。

法廷におけるAIハルシネーションは、いまや予測可能な結果を伴う

ニューメキシコ州の事件は既存の制裁パターンに属するが、捏造された公判事実が含まれたことで、そのパターンはより危険な領域へと進んだ。

2023年、Mata v. Aviancaの弁護士らは、ChatGPTが生成した存在しない司法判断を提出した。連邦判事は彼らの行為とその後の対応を調査し、5,000ドルの制裁を科した。

この事件は、法廷におけるAIハルシネーションへの早期警告となった。誰も基礎となる判決を開かなければ、もっともらしい引用が起案、内部レビュー、提出を通過し得ることを示した。

ニューメキシコ州の事案は、その警告が広く知られるようになった後に起きた。また、弁護士による生成AIの利用を扱う全国および州レベルの倫理指針が示された後でもあった。

したがって、裁判所は弁護士が基本的なリスクを理解していると期待できる。公的な制裁、弁護士会の意見、職業研修がすでに問題を説明している状況では、驚いたとの主張は説得力を失う。

事実関係の範囲も変わった。Mataは民事航空紛争における架空の先例を扱っていた。Stephen AaronsのChatGPT準備書面は、殺人事件の記録内に登場人物と証言を捏造したと報じられている。

2025年には、オーストラリアの殺人事件手続きでも別の警告が生じた。弁護側の提出書面には捏造された引用と存在しない判例が含まれ、裁判所が調査する間、手続きは遅延した。

その弁護士は謝罪し、責任を認めた。判事は、弁護士がAI生成資料を使用する前には、独立した徹底的な検証が必要だと述べた。

オーストラリアの提出書面は、リスクが米国の一裁判所や一つの業務分野に限られないことを示している。流暢な出力がソース確認を上回る場所では、同様の失敗が現れる。

それでも、提出書面に誤りがあるたびに制裁が自動的に科されるわけではない。裁判所は、弁護士の行為、対応、率直さ、是正措置、適用される手続規則を考慮する。

単なる誤植は、捏造された証言を記録の一部として提示することとは異なる。迅速な訂正は、問題を隠したり依頼者に知らせなかったりすることとは異なる。

ニューメキシコ州最高裁判所は、Aaronsの自認と手続きへの対応を強調した。反省と依頼者への配慮に関する認定は、速やかに修復された偶発的な誤りと本件を区別する一助となった。

この命令は非先例的であり、裁判所は後続事件を規律する正式な判決意見として出したわけではない。この地位は、弁護士が権威として同命令を引用する際の扱いを制限する。

それでも実務上の影響は現実のものだ。Aaronsは法廷侮辱、金銭的制裁、控訴事件からの除外、同裁判所への出廷禁止、懲戒審査に直面している。

公的記録は、支払いより長く残り得る評判上の影響も生む。弁護士名を検索すれば、その人物は殺人控訴における捏造された証人と結び付けられることになる。

法律事務所にとって、この結果は導入に伴うリスク計算を変える。不十分なレビューのコストには、代理人の交代、重複作業、懲戒上のリスク、依頼者の信頼の毀損が含まれ得る。

裁判所にとって、同様の事件の繰り返しは、証明や開示を求める圧力となる。一部の判事はすでに、AI生成の文書と引用が人間のレビューを受けたことを確認する声明を求めている。

こうした規則は弁護士に義務を思い起こさせることはできるが、検証が実質的だったかを試すことはできない。チェックボックスに印があるだけでは、誰かが法廷記録を開いたかは分からない。

技術的統制にも同じ限界がある。システムが各文に引用を付けても、主張を無関係または矛盾する箇所に結び付ける可能性はある。

最も強い保護は、製品上の制約と専門家によるレビューを組み合わせることだ。ソフトウェアは証拠を見えるようにし、弁護士はその証拠と提出する主張を比較しなければならない。

この組み合わせは、判断を確率的モデルに委ねることなく、有用な自動化を維持する。また、監督者にとっても、検査できる具体的なプロセスを提供する。

したがって、この事件を「ChatGPTが何かをでっち上げた」と矮小化すべきではない。生成システムは、特に欠けた詳細を補うよう求められた場合、裏付けのないテキストを生成することが知られている。

重大な判断は、未検証の出力が署名入りの裁判所提出書面に入った時点で下された。裁判所は、その移行に責任を負う人間の専門家を制裁した。

裁判所、法律事務所、AI事業者が今後注視すべき点

この事件が恒久的な保護措置を生むのか、それとも法務ワークフローが吸収できない新たな警告に終わるのかは、3つの展開によって示される。

第一の兆候は、ニューメキシコ州の懲戒手続きである。最高裁判所はAaronsを懲戒委員会に付託したが、9月の命令は最終的な職業上の制裁を発表していない。

調査官は法廷侮辱手続き以外の問題も調べ、懲戒規則に基づく適切な対応を勧告できる。裁判所は、手続きが行われる場合には、そのプロセスの後にさらなる判断を下すと述べた。

大きな追加制裁があれば、未検証のAIコンテンツが職業倫理上の違反に当たるというメッセージは強まる。限定的な対応であれば、法廷侮辱と事件からの除外で、提出書面自体には十分と判断されたことを示唆する。

第二の兆候は、再開されたSandoval控訴である。新たな代理人は出廷届を提出し、準備書面を作り直し、実際の公判記録によって裏付けられる主張を特定しなければならない。

このプロセスは、虚偽の提出書面によって生じた実務上の損害を明らかにする。裁判所は控訴事件を2026年から2027年の審理日程に載せる意向だが、具体的な期日は示されていない。

秩序立った速やかなやり直しは、依頼人への損害を軽減するだろう。さらなる遅延や記録をめぐる争いは、AI支援による一件の欠陥ある提出書類が刑事事件にどれほど長く影響し得るかを示すことになる。

第三の兆候は、裁判所とリーガルテクノロジー提供者の対応である。裁判所は検証証明を採用でき、ベンダーは記録書面や判例引用の作業に対してソースレベルの管理機能を追加できる。

最も意義のある製品上の変更は、また一つの一般的な正確性の主張ではない。裏付けのない事実の補完を拒否し、各回答の根拠となる証拠を明示するワークフローだ。

独立したテストは引き続き重要である。どのベンダーも有利な事例を提示できるが、ユーザーに必要なのは、未知の記録や敵対的な質問にわたる性能を測定する評価だ。

法律事務所は、自らのレビュー手順が締め切りの圧力下でも機能するかを監視すべきである。弁護士に時間、訓練、または情報源へのアクセスがなければ、検証を求める方針はほとんど意味を持たない。

当面の教訓は明快だ。AIは記録の整理、主張の骨子作成、あるいは潜在的な論点の発見を支援できる。しかし、弁護士の誠実義務を代替することはできない。

裁判所に提出する書面のあらゆる事実記述には、証拠能力のある資料へと遡れる経路が必要だ。あらゆる法的命題には、提出書面の主張を裏付ける権威ある根拠が必要である。

この基準が厳格なのは、控訴実務が常に厳格であったからだ。生成AIは起案のインターフェースを変えるが、正確性に対する責任を軽くするものではない。

Stephen AaronsのChatGPTを用いた書面は、約束された近道を法廷侮辱、代理人の交代、そしてまったく新しい書面提出のサイクルへと変えてしまった。法曹関係者は、架空の判例だけでなく、今回は架空の証人も関わる、また一つの記録に残る警告を得た。

次の問いは、別の依頼人がその結果を被る前に、組織がワークフローを再設計するかどうかである。AIを使用する弁護士は、提出前に一つの点を確認すべきだ。重要な一文一文を、原記録から立証できるか。