Фейковые прецеденты суда
В 2023 году американский адвокат представил суду меморандум с вымышленными судебными решениями, сгенерированными ChatGPT. ИИ создал убедительные цитаты и прецеденты, которые юрист не проверил. Изучив документ, судья отклонил иск и оштрафовал адвоката за введение суда в заблуждение.
Вскоре история повторилась. Майкл Коэн, бывший адвокат Дональда Трампа, подготовил сгенерированные чат-ботом Google Bard ссылки на судебные решения. Представлявший интересы Коэна адвокат Дэвид Шварц включил эту информацию в текст ходатайства, не убедившись в ее достоверности. Только в ходе судебного процесса выяснилось, что эти дела вымышленные.
После таких случаев суды США, Канады и Великобритании ввели правила, требующие проверять все документы, созданные с помощью ИИ, а в некоторых юрисдикциях юристов обязали прилагать сертификаты достоверности.
Ошибки в распознавании лиц
В США система распознавания лиц ошибочно идентифицировала Роберта Уильямса как вора. Этот случай заставил правоохранительные органы пересмотреть подходы. Теперь для ордера на арест подозреваемого, помимо выявленного алгоритмом совпадения, требуется независимое доказательство. Дело Уильямса спровоцировало волну исков против полиции и аудит систем распознавания лиц.
Похожий случай произошел два года назад в России. Гидролога Александра Цветкова обвинили в совершении серии убийств двадцатилетней давности. ИИ сгенерировал фоторобот предполагаемого преступника, который на 55% совпал с изображением Цветкова. В итоге мужчину арестовали, он провел в заключении десять месяцев. В поддержку ученого поднялась информационная кампания, поскольку в момент преступления он был в экспедициях с коллегами за много километров до мест преступлений. Лишь в феврале 2024 года прокуратура признала ошибку. Дело против Цветкова закрыли, отпустив его на свободу.
Расистский алгоритм для визовых заявок и робот-адвокат
С 2015 года МВД Великобритании использовало алгоритм Streaming Tool для ранжирования заявок на визы. Спустя пять лет выяснилось, что ИИ автоматически отправлял заявителей из Африки и Азии в медленную очередь, а граждане западных стран получали приоритет. Алгоритм воспроизводил системные предубеждения, что привело к обвинениям в расизме. После публикации расследования проект закрыли, а власти начали требовать прозрачности и этической оценки государственных ИИ-систем. Этот прецедент стал поворотным для Великобритании: теперь алгоритмы в госсекторе проходят аудит на дискриминацию, а их решения должны быть объяснимыми.
А стартап из США DoNotPay обещал революцию в юриспруденции, заявив, что его ИИ сможет представлять клиентов в суде в делах об оспаривании штрафов за парковку. Но система не справилась с непредсказуемостью судебных процессов, а Федеральная торговая комиссия США признала рекламу сервиса вводящей в заблуждение.
Оказалось, что ИИ не только нарушал правила (поскольку незарегистрированные лица не могут выступать в суде), но и давал рискованные советы, которые могли навредить клиентам.
Компания согласилась заплатить штраф и изменить маркетинговую политику, а регуляторы усилили контроль за стартапами, требуя подтверждать заявления тестами. Эта история показала, что ИИ неспособен заменить профессиональное суждение, особенно когда на кону свобода или репутация.
Автоматизация дискриминации
В 2014 году Нидерланды внедрили систему SyRI для выявления мошенничеств с социальными пособиями. Алгоритм анализировал реестры земельных участков, сведения о трудоустройстве лиц и регистрации авто, доходы людей, их адреса и семейный статус, помечая подозрительные случаи.
Постепенно от пользователей стали поступать обвинения в непрозрачности критериев оценки, дискриминации и нарушении приватности. Люди не понимали, почему их отметили как мошенников, при этом жители бедных районов чаще попадали под подозрение.
Пять лет назад суд Гааги запретил SyRI, назвав ее угрозой социальному равенству. Решение создало прецедент в Евросоюзе: теперь алгоритмы обязаны соответствовать принципам прозрачности и справедливости.
Оценка рецидива и лишение родительских прав
Программное обеспечение Compas использовали в США с 1998 года. Оно предсказывало риск совершения преступления в течение двух лет после освобождения виновного лица. В расчете Compas учитывает 137 параметров, таких как тяжесть прошлых преступлений и поведение заключенного.
В 2016 году по результатам исследования ProPublica выяснилось, что Compas чаще помечал темнокожих подсудимых как высокорисковых, даже если они не совершали новых преступлений. Например, темнокожий обвиняемый получал вдвое более строгий прогноз, чем белокожий с аналогичным профилем. В итоге некоторые штаты отказались от программы Compas, а другие, например Висконсин, частично ограничили ее применение.
В штате Пенсильвания использовали алгоритм Allegheny для оценки риска жестокого обращения с детьми. Система анализировала данные соцслужб и ставила семьям баллы риска. Правда, расследование обнаружило потенциальную предвзятость алгоритма и проблемы с прозрачностью: ИИ дискриминировал мигрантов, семьи с низким доходом, ограниченными возможностями и проблемами психического здоровья. В итоге суд постановил, что система нарушает право на справедливое рассмотрение дела, так как семьи не могли оспорить логику ее решений. Тогда власти Пенсильвании отказались от использования алгоритма и перешли к ручной оценке случаев с обязательным участием соцработников.
Как интегрировать ИИ-решения в продукты для юристов
Перечисленные случаи демонстрируют, что алгоритмы еще неспособны учесть моральные нюансы и социальный контекст — они не в состоянии отвечать за свои ошибки. Потому законодатели по всему миру реагируют на новые вызовы обязательными аудитами ИИ, четкими регламентами использования и даже полным запретом в ряде сфер. Правовая отрасль очень чувствительна к ошибкам, поэтому многие представители юрсообщества скептически относятся к применению новых технологий в прикладных задачах.
Решение больших задач с помощью ИИ в один подход действительно дает менее качественный результат.
По мнению Андрея Котляра, руководителя продукта ПравоТех, риски «галлюцинирования» ИИ все еще очень высоки, что недопустимо в юриспруденции. Поэтому в своих продуктах они с коллегами используют несколько важных подходов.
Первый из них — RAG-системы (англ. retrieval augmented generation — поиск расширенной генерации). К большим языковым моделям на программном уровне подключают базу знаний, чтобы давать более точный и полный ответ. Второй — декомпозиция, когда большие задачи разделяют на точечные. «В основу наших ИИ-агентов легли именно эти принципы», — подчеркивает Котляр.
Для небольшой задачи собирают ИИ-бота, который качественно выполняет свою работу, рассказывает он. По его словам, еще один инструмент, позволяющий повысить точность ответов и избежать ошибок, — методика Human-in-the-Loop («человек в цикле»), когда ответы ИИ, перед тем как их увидит конечный пользователь, проверяет юридический специалист. Эти подходы позволяют интегрировать ИИ-решения в продукты для юристов, но минимизировать риски.
