Stephen AaronsのChatGPT制裁、架空の証人が法的危機へと発展
Stephen Aaronsは、ChatGPTを利用した控訴趣意書に、虚偽の証言と、裁判に一度も出廷していない証人を記載したとして、5,000ドルの制裁金を科された。New Mexico Supreme Courtは、このベテランの刑事弁護人を直接の法廷侮辱にも問うた。Stephen AaronsのChatGPT制裁が露呈させたのは、また一つの架空の判例引用をはるかに超える深刻な問題だ。
Aaronsは、殺人罪で有罪判決を受け、終身刑を言い渡されたOscar Renee Sandovalを代理していた。裁判所によると、控訴趣意書は公判記録と法的根拠の双方を誤って伝えていた。一部には、犯人の服装や外見に関する証言とされる内容を含め、捏造された証人の証言が記されていた。
この違いは事態の重大性を変える。これまでのAI関連の制裁では、存在しない判例や引用が問題となることが多かった。だが今回の提出書面は、依頼人の自由が正確な記録にかかっていた刑事裁判の事実関係を改変したとされる。信頼性のない要約を、あたかも証拠であるかのように扱い、それを州の最高裁に持ち込んだのである。
Stephen AaronsのChatGPT制裁は罰金にとどまらなかった
裁判所はこの提出書面を、単なる恥ずかしい調査ミスではなく、控訴そのものを脅かす行為として扱った。
New Mexico Supreme Courtは2026年9月9日、Aaronsに制裁を科した。判事らはAaronsを直接の法廷侮辱と認定し、State Bar of New Mexico Client Protection Fundへ5,000ドルを支払うよう命じた。
裁判所はこの件を弁護士懲戒のためにも付託した。その手続きが係属している間、Aaronsは州最高裁に出廷できない。この制限により、本件は警告や継続教育で解決された事例とは一線を画す。
既存の控訴趣意書は破棄された。Sandovalの控訴は、New Mexicoの公選弁護制度を通じて弁護士Kim Chavez Cookに再割り当てされた。Reutersが掲載した事件報道によると、元となる控訴は現在も係属中だ。
これらの救済措置は、二つの異なる損害を認識している。一つは、記録と一致しない内容を含む書面を受け取った裁判所への損害だ。もう一つは、直接控訴が遅延し、新たな代理人のもとでやり直しを余儀なくされたSandovalへの損害である。
Sandovalは、自身の子どもたちの母親を殺害した容疑について無罪を主張していた。彼は有罪となり、2025年に終身刑を言い渡された。死刑事件として扱われる彼の控訴では、証拠、証人開示、専門家証言、対質権、第一審弁護人の有効性に関する論点が提起されていた。
New Mexico司法府の期別事件一覧も、こうした控訴上の争点を確認している。これらには、公判記録、保存された異議、支配的な法規範を慎重に照合する必要があった。
ところが裁判所によれば、提出された趣意書には虚偽の警察証言と、実際には発言していない人物に帰された供述が含まれていた。また、法的根拠についても不正確な説明が含まれていた。
証拠と主張の区別は重要だ。捏造された先例は、事件を支配する法的ルールを歪め得る。捏造された証言は、陪審員が何を聞いたか、どの証人が存在したか、なぜ評決が破棄されるべきかを書き換え得る。
誤った事実要約は、その上に組み立てられるすべての主張を汚染し得る。例えば、弁護活動が不十分だったという主張は、弁護人が何を行い、記録に実際に何が含まれていたかに依存する。架空の証人は、実際には存在しなかった不備を作り出す可能性がある。
そのため裁判所の対応は、提出書面、弁護士、そして代理関係に及んだ。趣意書を破棄したことで、汚染された成果物は取り除かれた。新たな代理人を選任したことで、被告人にはクリーンな前進の道筋が与えられた。懲戒付託により、職業上の問題は控訴の範囲を超えて扱われることになった。
この構造こそ、Stephen AaronsのChatGPT制裁がNew Mexico州外でも注目に値する理由である。裁判所は、弁護士が生成AIを避けなければならないとは宣言しなかった。弁護士は提出するあらゆる主張について責任を負い続ける、という従来からの原則を執行したのである。
この一件は、AIの誤りに対するおなじみの弁明も試している。Aaronsはこれを正直な誤りと呼び、ChatGPTがどれほど広範に事実を捏造し得るかを理解していなかったと述べた。裁判所が焦点を当てたのは、彼の署名が付された未検証の文書だった。
署名入りの趣意書は、ブレインストーミング用のメモではない。裁判官、相手方弁護士、依頼人に対する正式な表明である。生成された文章がその文書に入った時点で、その出所によって弁護士の責任が軽くなることはない。
AI要約が裁判の虚偽の版になった
中心的な失敗は、生成された文章を一行ずつ検証せず、忠実な記録として扱った点にある。
8月21日の審理で、AaronsはChatGPTにコンピューター生成の法廷記録とその他の事件資料を与えたと説明した。彼はシステムが、自ら「完全無欠の要約」と呼ぶものを作成すると期待していた。
その期待は、適切な立証責任を逆転させた。生成モデルはパターンと文脈からもっともらしい文章を生成する。それぞれの文がアップロードされた記録に存在することを保証するものではない。
AIハルシネーションとは、関連する証拠や情報源による裏付けを欠くにもかかわらず、自信をもって出力される内容を指す。この言葉は無害に聞こえるかもしれないが、その結果は出力がどこで使われるかに左右される。私的なメモ内の誤った要約は混乱を生む。だが同じ要約が控訴趣意書に入れば、裁判所に対する表明となる。
報道によると、趣意書はDanny StantonとLinda Stantonに、裁判所が虚偽と認定した発言を帰していた。また、犯人の服装と外見に関する説明でMariah ChavezとTeresa Marquezにも言及していた。裁判所はMarquezを架空の証人と認定した。
ある箇所では、犯人が濃い色のパンツと白いシャツを着ていたと述べられていたようだ。この記述はありふれた事実の詳細に聞こえるため、より大きな物語に取り込みやすかった。しかし裁判所は、これを裏付ける有効な記録上の根拠はないと認定した。
これは、明らかに不合理な回答を見抜くことより難しい問題である。生成された法的文章は、正しい文体、期待される語彙、馴染みのある論証構造を用いることが多い。こうした特性により、裏付けのない詳細も確定事項のように見える。
弁護士が急いで読めば、全体のストーリーを把握する一方で、捏造されたつなぎの部分を見落とす可能性がある。氏名、服装の説明、脅迫、証人の観察は、周囲の内容と整合しているように見え得る。流暢さが、出所情報の欠如を覆い隠す。
このワークフローは、二つの異なる文書も曖昧にした。記録は証言と法廷での出来事を記す。モデル生成の要約は、その情報源から作られた新たな文章である。重要な主張がすべて遡って確認されるまでは、解釈として扱わなければならない。
ソース資料をアップロードしても、ハルシネーションはなくならない。長大な記録はシステムの実効的な注意範囲を超えることがあり、文字起こしの誤りを含むことも、裏付けのない統合を促すこともある。モデルは近接する詳細を組み合わせ、どの証人もしていない発言を作り出す可能性もある。
このリスクは、決定的な物語を求める指示によって高まる。「完全」「完全無欠」「包括的」といった語は、明示的な不確実性よりも、見かけ上の網羅性を優先させかねない。出力は、空白を示す代わりに埋めてしまう可能性がある。
信頼できる法務ワークフローには、主張レベルの出所情報が必要だ。すべての事実の文は、記録のページ、証拠物、ドケット記録、または司法判断を指し示すべきである。すべての引用は情報源と正確に一致しなければならない。すべての引用判例は実在し、述べられた命題を裏付けなければならない。
このプロセスは、同じチャットボットに自らの要約が正確かを尋ねるだけでは終えられない。生成器は、さらに捏造した説明によって、裏付けのない自らの出力を擁護し得る。検証には、独立したソース資料へ戻ることが必要だ。
この教訓は法の領域を超えて当てはまる。研究者、アナリスト、コンサルタント、経営幹部は、長い記録を圧縮するためにAIをますます利用している。要約が、その後のレビュー担当者が目にする唯一の版になったとき、危険は高まる。
チームは、生成された統合の横に元の証拠を保存する必要がある。構造化された知識ブレンディングのワークフローは、メモとソース文書の接続に役立つ可能性がある。ただし、検索だけでは、生成されたすべての主張が正しいことを立証できない。
決定的な安全策は、権威ある記録に照らした人間によるレビューであり続ける。AIは、箇所の発見、論点の整理、作業用メモの作成には役立つ。しかし、未検証の推論を事実の主張に変えてはならない。
ChatGPTではなく弁護士の署名が責任を負う
主たる対立は、委任された起案作業と、委任できない職業上の責任との間にある。
AaronsはReutersに対し、40年以上にわたり刑事弁護に携わってきたと語った。2025年にSandovalの控訴を引き受けた時点では、AIハルシネーションがどの程度まで及ぶかを知らなかったという。
「私は反省しているが、懲戒委員会がこれが正直な間違いだったことを考慮してくれることを願っている」と彼は述べた。この出来事を、不安定な技術を使う専門家への教訓だと位置づけた。
裁判所の評価はより厳しかった。その命令によると、Aaronsは趣意書に署名し提出する前に、事実上の主張や法的根拠を検証しなかったことを認めた。また、こうした不備を依頼人に伝えなかったともされた。
判事らは、彼がSandovalに対する反省と懸念を十分に示していないと認定した。Justice C. Shannon Baconは、弁護士が広く報じられてきたAIの失敗を知らないままでいられるという主張に疑問を呈した。彼女の問いは、ハルシネーションによる法的資料がすでに繰り返し公に問題となっていたことを強調した。
この緊張関係は、ChatGPTを無責任ではないものとして扱う必要があるという意味ではない。Aaronsと裁判所によれば、同システムは裏付けのない内容を含む文章を生成した。OpenAIはReutersからの制裁に関する問い合わせに、直ちには回答しなかった。
しかし、チャットボットは出廷届を提出することも、趣意書に署名することも、依頼人に助言することも、法廷侮辱命令に応答することもできない。これらの責務は資格を持つ弁護士に属する。法制度は、行為を認められた人物に説明責任を課している。
American Bar Associationは、本件以前から同じ基本的結論に達していた。同協会のAI倫理意見書は、弁護士が生成AIツールの利益とリスクを理解しなければならないとしている。
Formal Opinion 512は、AIの利用を、能力、秘密保持、依頼人とのコミュニケーション、監督、誠実性、正当な請求、合理的な報酬に関する既存の義務と結び付けている。これらの義務に対するAI例外を新設するものではない。
この指針は、生成テキストシステムを予測ツールとしても説明している。それらはデータ内のパターンから、統計的にもっともらしい出力を生み出す。この設計は、認証済みの裁判所文書を返すデータベースとは異なる。
弁護士は、調査や起案をアソシエイト、パラリーガル、請負業者、ソフトウェアに委任できる。委任によって最初の作業を行う者は変わる。しかし、作業を監督し提出書面を検証すべき者は変わらない。
本件は、開示だけでは問題を解決できない理由を示している。「AI支援」と表示すれば裁判所に注意を促せるかもしれないが、捏造された証言が正確になるわけではない。裁判官が、ソフトウェアによって作成されたすべての提出書面のファクトチェッカーになることはできない。
ツールの禁止にも同様の限界がある。弁護士は、誤った記憶、不注意な口述、訓練不足のスタッフ、あるいは通常のコピー＆ペーストのミスを通じても虚偽の情報を持ち込む可能性がある。裁判所が重視するのは、どの制作方法を用いたかにかかわらず、署名された提出書面の正確性である。
より適切な境界線は、検証に関するものだ。重要な主張を一つひとつ記録と照合する限り、AI支援は有用であり得る。その照合を流暢な文章が代替するようになると、危険になる。
依頼者とのコミュニケーションは、さらに別の論点を加える。刑事控訴の申立人は、不備のある準備書面によって控訴が危険にさらされている場合、その事実を理解すべきだ。裁判所によれば、AaronsはSandovalに対し、準備書面に含まれていた事実上および法的な虚偽の記載を伝えなかった。
この不作為は重要である。実務上の結果を負うのは依頼者だからだ。弁護人は制裁や懲戒を受けるが、控訴人は遅延、不確実性、そして弁護士との関係の断絶を経験する。
したがって、専門職としての説明責任はワークフロー全体を対象としなければならない。適切なツールの選定と秘密情報の保護から始まり、情報源の検証、実体的なレビュー、依頼者とのコミュニケーション、最終的な認証へと続く。
ChatGPTが作り出した架空の証人は、より危険な一線を越えた
捏造された証言は、AIのハルシネーションを不正確な調査の域から証拠記録の汚染へと移している。
初期の制裁事例として最も広く知られるのは、Mata v. Aviancaだ。連邦の人身傷害訴訟で、弁護士らはChatGPTが生成した実在しない判例を提出した。裁判官は2023年に5,000ドルの制裁金を科した。
この事件は、長く通用する警告を打ち立てた。チャットボットは判例名、引用、事件番号、法的推論を捏造し得る。裁判所は弁護士に対し、こうした法的権威を認知された調査システムで確認するよう求めている。
ニューメキシコ州の事案は、この問題を拡大した。報道によれば、Aaronsの提出書面には架空の証人や、証言に関する虚偽の説明が含まれていた。これらの誤りは、他の裁判所の判断内容を誤って記述しただけではない。依頼者自身の事件の中に事実を作り出したのである。
控訴裁判所は一般に、既存の記録を審査する。新たな審理を行うことも、弁護士による事実の追加を証拠として受け入れることもない。準備書面の叙述は、反訳書、証拠物、判断、保存された異議に基づかなければならない。
捏造された事実の細部は、裁判官による不利益の理解に影響し得る。排除された証拠を実際以上に重要に見せ、識別に関する主張を強め、反対尋問の見かけ上の価値を変えることもある。こうした影響は、訂正後も残り得る。
この問題は相手方代理人にも負担をかける。検察官は準備書面を記録と比較し、相違点を特定しなければならない。裁判官や書記官は、奇妙な記述が実際の反訳書の一節なのか、生成された虚構なのかを判断しなければならない。
この検証コストはシステム全体に広がる。ある弁護士が起案時間を節約する一方で、レビュー作業を裁判所、相手方、後任弁護人、依頼者へと移転させることがある。制裁は、そのコストを責任ある専門職へ戻そうとする試みだ。
2026年のジョージア州における殺人控訴は、汚染に至る別の経路を示した。Payne v. Stateでは、架空または誤った帰属の引用が、検察側の提出書面と第一審裁判所が署名した提案命令に現れた。
Payne判決は第一審裁判所の命令を破棄し、新たな命令のために差し戻した。この事案は、生成された誤りが代理人の草案から司法文書へと移行し得ることを示した。
この移行リスクが、来歴の把握を不可欠にする。法的文書は、申立書、提案命令、内部メモ、控訴準備書面の間で頻繁に再利用される。裏付けのない一節が連鎖に入り込むと、後の作成者は誰かがすでに検証したものと考えるかもしれない。
ニューメキシコ州の提出書面も、同様の信頼の近道をたどったように見える。AaronsはChatGPTを用いて手続の要約表現を作成し、その後、反訳書に十分立ち戻ることなく、その表現に依拠した。
結果として生まれた文書は、控訴弁論としての表面的な形式を備えていた。証人を特定し、証言を説明し、先例を援用し、事実を法的主張に結び付けていた。その形式によって、内容は専門的なレビューを経たように見えた。
これが、「human in the loop」だけではほとんど保証にならない理由だ。人間は草案に目を通し、文法を直しても、事実の捏造を見逃し得る。この言葉が意味を持つのは、レビュー担当者に時間、専門性、そして一次資料への直接アクセスがある場合に限られる。
効果的なレビューには、原文と生成テキストの間に見える境界も必要だ。引用した反訳書の一節にはページ参照を残すべきである。要約は、その裏付けとなる範囲を示すべきだ。根拠のないモデルの解説は、事実の記述の外に置かなければならない。
重大な案件では、第二のレビュー担当者が文書を独立して検証すべきだ。その担当者はリスクに応じて情報源を抽出検査し、相違が一つでも見つかれば検証を拡大するべきである。架空の氏名が見つかった場合には、すべての事実表示をレビューする契機とすべきだ。
同じ原則は法的権威にも適用される。レビュー担当者は引用された各判決を開き、引用文言、判示、管轄、関連性を確認しなければならない。誤った命題を裏付けるために実在の判例を引用することも、重大な誤りである。
Stephen Aaronsに対するChatGPT制裁は、裁判所が、どのツールが誤りを生んだかという好奇心の段階を越えつつあることを示している。実務上の問いは、生成された虚構が提出済みの事実になることを防ぐほど強固な統制を弁護士が構築していたかどうかだ。
この制裁は、AIに法務の場がないことを証明するものではない
最も強い批判の対象は、制御されていない依拠であり、弁護士による生成AIのあらゆる利用ではない。
この事件を、法曹専門職がChatGPTを決して使うべきではない証拠として扱うのは容易だろう。しかし、その結論は裁判所の認定を超えており、「AI利用」にひとまとめにされる作業の幅を無視している。
モデルは、論点リストの作成、弁護士が作成したメモの再構成、文書構造の比較、検索語の提案に役立つ場合がある。これらの利用にも判断は必要だが、殺人事件の反訳書を要約することと同じリスクをすべて伴うわけではない。
リスクは、出力の目的と行き先に左右される。私的なアウトラインは暫定的なものだ。依頼者宛ての書簡には慎重なレビューが必要となる。刑事控訴における事実の記述には、公式記録との照合が求められる。
ツールにも違いがある。汎用チャットボットは自由形式のテキストを生成する一方、一部の法務システムは範囲が限定されたデータベースから情報を取得し、裏付けとなる法的権威を示す。引用を備えたシステムでも、誤引用、誤読、無関係な資料の選択は起こり得る。
ニューメキシコ州の裁判所は、ChatGPTの信頼性について科学的評価を行ったわけではない。ある弁護士の行為と、一件の不備ある提出書面を審査したのである。読者はこの認定を普遍的な誤り率へと置き換えるべきではない。
この事件はまた、AIがあらゆる不備を独立して引き起こしたことを証明するものでもない。Aaronsは資料を選び、システムに指示を与え、その出力を利用し、結果に署名した。公開報道は、完全なプロンプト履歴やすべての中間草案を示してはいない。
この不確実性は重要だ。完全なやり取りの記録がなければ、観察者は、モデルがどの主張を生成したのか、Aaronsがどの箇所を編集したのか、反訳書の不備が寄与したのかを再構成できない。裁判所命令が確立するのは責任であり、完全な技術的事後検証ではない。
それでも、こうした空白は提出書面の不正確さを免責しない。むしろ、製品およびプロセスに関する問いがどこに残されているかを明確にする。より良いログ記録は、裏付けのない記述がどのように文書へ入り込んだかを法律事務所が判断する助けになり得る。
法務AIベンダーは、すべての事実文に情報源への参照を付けることでリスクを減らせる。回答に根拠がない場合に警告し、引用と要約を分離し、未解決の引用を含むエクスポートを阻止することもできる。
こうした統制は役立つが、実体的なレビューを代替することはできない。情報源リンクが、生成された主張を裏付けない実在文書を指す場合もある。自動化は検証を容易にできるが、任意のものにはできない。
法律事務所にも、作業の機微に基づく方針が必要だ。公開された背景資料の要約は、秘匿特権のある証拠の解釈と同じ結果を伴わない。定型的なチェックリストの起案は、争いのある証言を説明することとは異なる。
実践的な方針は、禁止される入力、承認されたシステム、保存ルール、レビュー基準、エスカレーションの時点を特定すべきだ。誰が引用を確認し、誰が記録に照らして事実の主張を確認するのかを明記すべきである。
研修は、弁護士にプロンプトの書き方を示すだけでは足りない。利用者は、自信に満ちた誤り、文脈上の限界、不完全な検索、データ露出、自動化バイアスを理解する必要がある。自動化バイアスとは、システムが出力したという理由で人々がそれを過度に信頼することだ。
時間的な圧力にも注意が必要である。AIはより迅速な起案を約束するが、検証作業によってその利得の一部は失われ得る。法律事務所は、最初の流暢な草案がほぼ完成していると想定するのではなく、レビュー時間を正直に見積もらなければならない。
監督者もまた、速度だけで成功を測るべきではない。そのインセンティブは、スタッフが不確実性を隠し、情報源の確認を省略することを促す。高リスクのAI業務には、証拠に結び付いた正確性の指標が必要だ。
したがって、懐疑的な結論はより限定的で、かつ強い。生成AIは法務を支援できるが、それは法律事務所がその出力を未検証の草案として扱う場合に限られる。文書を提出する者は、なおもすべての重要な主張を自ら検証しなければならない。
裁判所と法務チームが次に注視すべきこと
次の試金石は、制裁が法実務全体で検証可能なワークフローの変化を生むかどうかだ。
最初の兆候は、Aaronsに関する懲戒手続から得られる。ニューメキシコ州の委員会は、能力、誠実性、依頼者とのコミュニケーション、提出書面をめぐる状況を審査できる。
公開される懲戒判断は、裁判所がこの事案を孤立した過失とみるのか、より広範な職業上の非行とみるのかを明らかにするだろう。より重い処分であれば、直接侮辱に関する命令を補強する。限定的な救済であれば、是正と意図を重視することになる。
この手続は、報道にはない情報も明らかにする可能性がある。調査担当者は、起案プロセス、Sandovalとの連絡、反訳書の取扱い、Aaronsが問題を発見した時期を検討できる。これらの事実が、先例としてのこの事件の価値を定める。
二つ目の兆候は、Sandovalの後任弁護士による控訴だ。先行する準備書面が却下された後、新たな弁護人は実際の記録に基づいて主張を再構築しなければならない。そのプロセスは、捏造された資料がどの程度の実体的損害を生んだかを示すだろう。
訂正後の準備書面が真正な証拠を用いて同様の法的主張を提起するなら、この事案は回復可能な控訴を伴う重大なワークフロー上の失敗として映るだろう。主張が大幅に変わるなら、AIによる要約はおそらく事件理論を歪めていた。
Sandovalに対する裁判所の最終的な扱いも同様に重要だ。弁護人への制裁は制度的な健全性を守るが、制度は弁護士の不備ある提出書面について依頼者を罰することを避けなければならない。新たな代理は、すべての遅延を解消することなく、このリスクに対処する。
三つ目の兆候は、証拠に結び付いた起案統制の導入だ。裁判所は認証を求めることができ、法律事務所は各事実記述について反訳書の引用を要求できる。ベンダーは、生成された各一節の背後にある情報源を表示できる。
最も有用な統制は、監査可能なものとなる。誰かが草案をレビューしたとするチェックボックスは、限定的な保護しか提供しない。各主張を反訳書のページに結び付けるクレームマップは、実際の検証が行われた証拠を作り出す。
裁判所はまた、既存の専門職規則が十分な手段を提供するかどうかを判断する。ABAの枠組みはすでに、能力、誠実性、監督、秘密保持を対象としている。ニューメキシコ州の命令は、裁判官がAI固有の義務を新設せずに行動できることを示している。
新たな規則にも、手続を定める場合には価値がある。特定の利用に関する開示、生成草案の保存、引用および出典に関する本人認証を要求できる。ただし、開示は検証を置き換えるのではなく、検証を支えるべきだ。
業界全体は、刑事事件で事実の捏造が繰り返されるかを注視すべきである。架空の先例はすでに身近な問題になっている。捏造された証言は、控訴記録の健全性に対する、より直接的な挑戦を示している。
ナレッジワーカーにとって、直ちに取るべき行動は単純ですが、要求水準は高いものです。生成されたすべての事実に関する主張を特定し、根拠となる情報源を再確認したうえで、その裏付けがどこにあるかを記録してください。文章が顧客、規制当局、経営幹部、または裁判所に届く前に、少しでも不一致があればエスカレーションします。
Stephen AaronsをめぐるChatGPTの制裁は、不完全な文章表現への警告ではありません。AIが生成した要約が、証拠を裏付ける文書のない代替物となったときに何が起きるかを示しています。
生成された説明に依拠する前に、次の問いを投げかけてください。別のレビュー担当者が、重要な意味を持つすべての文を権威ある情報源までたどれるでしょうか。答えが「いいえ」なら、その草稿は未完成です。今すぐ検証の追跡経路を構築し、原記録を保存し、流暢な表現に異議を唱えるための十分な時間をレビュー担当者に与えてください。次に起きる重大なAIの失敗は、誤りに見える前にもっともらしく見える可能性が高いのです。
