ChatGPT придумал свидетелей по делу об убийстве. Адвокат даже не заметил
Верховный суд штата Нью-Мексико признал адвоката Стивена Ааронса виновным в неуважении к суду и оштрафовал на $5000 после того, как в апелляцию по делу об убийстве попали вымышленные ChatGPT свидетели и показания. Случай оказался заметно серьёзнее привычных историй с придуманными искусственным интеллектом (ИИ) судебными прецедентами. Нейросеть фактически переписала материалы уголовного дела, а адвокат отправил результат в суд без проверки.
Согласно постановлению от 9 сентября, Ааронс представлял Оскара Рене Сандовала, приговорённого к пожизненному заключению за убийство матери своих детей. При подготовке основной апелляционной жалобы адвокат использовал ChatGPT, после чего документ получил сведения, которых в материалах процесса не существовало.
Суд перечислил четыре полностью вымышленных персонажа, включая двух якобы полицейских, Officer Michelle Amarillo и Officer Sanchez, а также Manal Al-Jibury и Teresa Marquez. ChatGPT приписал ложные показания и реальным участникам процесса. В документе появились несуществующие угрозы в адрес Danny Stanton и Linda Stanton, а также выдуманные рассказы Mariah Chavez и несуществующей Teresa Marquez о внешности и одежде стрелка. Адвокат вдобавок неверно изложил содержание двух реальных судебных прецедентов. Ааронс признал, что не проверил ни фактические утверждения, ни юридические ссылки перед подписанием и отправкой документа. Клиент также не знал, что в апелляции содержатся ложные сведения. Позднее адвокат не сообщил Сандовалу и о начавшемся разбирательстве вокруг самого документа.
На слушании 21 августа Ааронс рассказал, что получил компьютерную расшифровку процесса, добавил материалы дела, перечень спорных вопросов и часть доказательств, а затем загрузил набор документов в ChatGPT. От модели адвокат ожидал получить «непробиваемую выжимку» судебного процесса. По словам Ааронса, исходную расшифровку он проверил и проблема возникла уже после обработки материалов нейросетью.
Ааронс также заявил, что в тот момент не представлял, насколько генеративный ИИ способен галлюцинировать и создавать правдоподобные факты, которых никогда не существовало. Судью Шеннон Бэкон объяснение не убедило. Во время слушания она спросила адвоката, читает ли тот вообще новости, поскольку проблемы юристов с галлюцинациями ИИ регулярно становятся заметными публичными историями.
Бэкон сравнила ChatGPT с неопытным сотрудником юридической фирмы. Если бы начинающий юрист просто выдумал факты, а руководитель подписал подготовленный документ, ответственность всё равно лежала бы на подписавшем его адвокате. Судьи поэтому отвергли аргумент о том, что суд заранее не обязал участников процесса отдельно подтверждать проверку материалов, созданных ИИ.
Последствия не ограничились штрафом. Верховный суд запретил Ааронсу выступать перед ним до окончания дисциплинарного разбирательства, направил материалы в дисциплинарную комиссию адвокатуры и исключил из дела все ранее поданные процессуальные документы. Защиту Сандовала передали государственной службе общественных защитников, после чего апелляцию фактически придётся готовить заново. Суд рассчитывает рассмотреть дело в течение срока 2026–2027 годов. Сам Ааронс после решения назвал случившееся честной ошибкой и заявил, что раскаивается. Суд пришёл к противоположной оценке и прямо указал в постановлении на «отсутствие раскаяния» и недостаточную заботу адвоката об интересах клиента. Дальнейшие санкции теперь может определить дисциплинарная комиссия.
Истории с вымышленными материалами от генеративного ИИ преследуют юридическую отрасль уже несколько лет. В 2023 году два нью-йоркских адвоката получили штрафы по $5000 после подачи документов с шестью судебными решениями, которых никогда не существовало. Позже аналогичные случаи появились в судах разных стран, причём юристы регулярно объясняли ошибки тем, что не знали о способности языковых моделей придумывать источники.
Случай в Нью-Мексико показывает другой уровень риска. Проверка одних только ссылок на судебные решения уже не спасает, когда модель получает реальные материалы дела, а затем начинает придумывать содержание внутри самого процесса. Несуществующего свидетеля нельзя обнаружить простым поиском неверной ссылки. При работе с уголовным делом каждое утверждение приходится сверять с исходной стенограммой и материалами суда, независимо от того, насколько убедительно выглядит текст, подготовленный ИИ.