ChatGPTが架空の証人・証言を生成、弁護士を裁判所が処分

導入

生成AIは大量の文書を整理する際に役立つ一方、元資料にない内容を自然な文章として作り出すことがある。今回のニューメキシコ州の事例では、そのような出力が検証されないまま裁判所へ提出され、単なるツールのミスではなく、弁護士の職業上の責任が問われる結果になった。

何が起きたのか

刑事弁護人のStephen Aaronsは、殺人事件で有罪判決を受けた被告の控訴を担当した。準備の過程で、まずRev.comを使って公判音声のAI文字起こしを作成し、その後、文字起こし、事件記録、争点に関する資料、一部の証拠開示資料をChatGPTへ入力した。

その結果作成された控訴書面には、実際には出廷していない人物の証言が記載されていた。裁判所の命令によれば、架空の警察官や関係者が証人として登場したほか、脅迫に関する発言、犯人の服装や外見に関する説明なども、存在しない証言または不正確な内容として盛り込まれていた。また、実在する判例についても、内容が誤って説明されていた。

本件は、架空の判例を引用したケースとは異なる。しかし、実在する判例を誤って説明し、裁判記録にない事実を証言として記載した点で、裁判所に対する正確性と誠実性の義務に関わる問題となった。Aaronsは、提出前に事実や法的根拠を確認していなかったこと、そして依頼人にその事実を伝えていなかったことを認めた。

Aaronsは、ChatGPTが事実を「幻覚」のように生成する可能性を当時知らなかったと説明した。元の文字起こしが問題だったのではなく、複数の資料をChatGPTに読み込ませた段階で誤りが生じたと述べている。

裁判所の判断

ニューメキシコ州最高裁はAaronsを直接法廷侮辱と認定し、5000ドルの罰金を州弁護士会の依頼人保護基金に支払うよう命じた。さらに、懲戒機関へ付託し、手続きが進む間は同裁判所での代理を禁じた。既に提出されていた書面は記録から外され、被告には公選弁護人側から新しい弁護士が付けられることになった。

裁判官が強調したのは、情報の出所がAIであれ、若手弁護士であれ、補助者であれ、書面に署名する弁護士が内容を確認する義務を負うという点だ。AIに詳しくなかったという説明だけでは、検証を怠ったことの免責にはならない。

意義と影響

この事例は、法務分野のAI運用で重要なのは、利用の可否だけではなく、検証手順と責任の所在だと示している。AIは記録の整理や下書き作成には使えるが、証言の存在を証明したり、判例の意味を保証したりするものではない。

法律事務所がAIを使うなら、入力資料と生成過程を保存し、すべての事実を原記録へ戻って確認し、判例を個別に検証し、提出前に人間が全面的に再確認する必要がある。「AIは誤る可能性がある」という注意書きだけでは、管理策の代わりにならない。

生成することと、裏付けがあることは別である。裁判所へ提出する文書に署名した瞬間、説明責任を負うのはモデルではなく弁護士だ。今回の事件は、その原則を見落とした場合、影響が弁護士本人だけでなく、依頼人の控訴手続きにも及ぶことを示している。

出典：Ars Technica AI