«ChatGPT, ты уверен?» — как нейросеть выдумывает судебные дела
Судья листает заявление адвоката и не может найти ни одного дела. Ни первого, ни второго, ни шестого. В документе шесть ссылок на прецеденты — с номерами, цитатами, именами судей. Судья идёт в базы, где лежат все решения американских судов, и не находит там ничего. Дел не существует. Их выдумал ChatGPT, а адвокат отнёс выдумку в федеральный суд как настоящую.
Это не байка. Это дело Mata v. Avianca, Нью-Йорк, 2023 год.
Как адвокат сдал в суд шесть призраков
Стивен Шварц вёл иск против авиакомпании Avianca. Работал он в юриспруденции больше тридцати лет, но с базами вроде того же поиска прецедентов был на «вы». И решил ускориться — попросил ChatGPT найти подходящие дела. Тот выдал шесть штук: с названиями, номерами томов, цитатами из решений. Красиво, убедительно, по форме не отличить от настоящего.
Шварц вставил всё это в заявление и отнёс в суд. Дальше вышло вот что: юристы Avianca полезли проверять ссылки и не нашли ни одной. Судья Кевин Кастель тоже полез — и тоже не нашёл. Шесть дел, на которые ссылался адвокат, не существовали в природе.
Самое смешное — и самое страшное — как Шварц пытался спастись. Он вернулся к ChatGPT и спросил: а эти дела точно настоящие? Нейросеть ответила: да, настоящие, можете проверить в базах. Он поверил машине во второй раз. Спросил у того же вруна, врёт ли тот, и принял «нет» за истину.
Судья Кастель припечатал это формулировкой, которую теперь цитируют в учебниках: «bogus judicial decisions with bogus quotes and bogus internal citations». Липовые решения с липовыми цитатами и липовыми ссылками. Штраф — пять тысяч долларов на Шварца, его партнёра и фирму. По деньгам немного. По репутации — Шварц теперь навсегда тот адвокат, который сдал в суд шесть выдуманных дел.
Один Шварц превратился в эпидемию
Можно было бы списать всё на одного немолодого юриста, который не разобрался в модном инструменте. Но нет.
К 2025 году исследователи насчитали 486 задокументированных случаев, когда ИИ нагаллюцинировал в судебных материалах. 324 из них — в американских судах. И это только те, что поймали и записали: реальное число больше, потому что находят такое обычно случайно — когда противная сторона или судья решает проверить ссылки руками.
Важнее самого числа — темп. Ещё недавно подобное всплывало пару раз в неделю. Теперь — два-три раза в день. Кривая идёт вверх, потому что нейросетями пользуются всё больше юристов, а проверять за ними ленятся ровно так же, как ленился Шварц.
Масштаб растёт вместе со ставками. В Чикаго адвокаты в апелляции на несколько миллионов долларов сослались на дело Mack v. Anderson — якобы решение Верховного суда Иллинойса. Дела нет. Верховный суд Иллинойса такого не рассматривал. Миллионы долларов повисли на прецеденте, которого не существует.
Почему машина врёт так уверенно
ChatGPT не знает фактов. Он предсказывает, какое слово идёт следующим — на основе того, что видел в обучении. Языковая модель — это гигантский автозаполнитель, который научился складывать правдоподобные фразы. Правдоподобные, а не правдивые. Это разные вещи.
Когда вы просите прецедент, модель не лезет в базу решений. Её там нет. Она генерирует текст, который выглядит как ссылка на дело: имя истца, имя ответчика, номер тома, год. Всё по форме юридической ссылки, потому что таких она видела тысячи. Только за формой не стоит ни одного реального дела. Это называется галлюцинация, и это не баг, а прямое следствие того, как машина работает.
Числа тут отрезвляют. Stanford RegLab прогнал юридические запросы через популярные модели: каждый третий ответ содержал галлюцинацию. NIH проверил медицинские ссылки от ChatGPT — до 47% оказались неточными или выдуманными. Почти половина. И всё это выдаётся тем же ровным, уверенным тоном, что и правда. Машина не мнётся, не говорит «наверное». Она врёт с той же интонацией, с какой сообщает верное. Именно уверенность и подводит — человек читает гладкий текст и верит.
Что с этим делать
Штрафы уже пошли. В Калифорнии в 2025 году суд наказал адвоката за то, что тот притащил в дело материалы от ChatGPT без проверки. Судьи перестают верить на слово и всё чаще сами лезут в базы за ссылками из заявлений. Так что «меня нейросеть подвела» — больше не оправдание.
Правило простое, и годится оно кому угодно, не только юристам. Всё, что ChatGPT выдаёт как факт — имя, число, ссылку, цитату, прецедент, — надо проверять по первоисточнику. Не у самой нейросети, как сделал Шварц. У первоисточника: в базе решений, в реестре, в оригинальной статье.
Нейросеть — быстрый черновик и тупой помощник, не эксперт и не свидетель. Она складывает красивые фразы, и часть из них — правда. Ваша работа — отделить одно от другого. ChatGPT этого за вас не сделает. Он даже не поймёт, что соврал.
