«Они навсегда прославились как адвокаты, которых обманул ChatGPT», — сказал профессор юридического факультета Нью-Йоркского университета Стивен Гиллерс, комментируя дело двух юристов фирмы Levidow, Levidow & Oberman Стивена Шварца и Питера Лодука. Их оштрафовали на $5000 за использование в суде выдуманных сведений, сгенерированных ИИ. Это дело вызвало резонанс, став примером того, почему не стоит слепо полагаться на нейросети. При этом исследования показывают, что все больше юрфирм применяют программное обеспечение с использованием ИИ и инвестируют в эту сферу. Как подружить юрбизнес и ИИ и почему нельзя «просто сделать» чат-бота для юристов?
От «удивительно хорошо» до «смешного плохо»
В 2024 году Стэнфордский университет выяснил, что в 69–88% случаев модели ИИ неправильно отвечали на вопросы о судебной практике и кейсах. Так, ChatGPT, основанный на модели GPT-3.5 от OpenAI, давал 69% ошибочных ответов.
Свой эксперимент провел Роман Янковский, эксперт Института образования НИУ ВШЭ и академический директор Moscow Digital School. «Я пытался решать с помощью ИИ свои юридические задачи: что-то получалось удивительно хорошо, что-то — до смешного плохо», — рассказывает российский юрист в своем блоге. По его мнению, пока ни одна из моделей, которыми он пользовался, неспособна самостоятельно давать надежные юридические консультации пользователям без юридического образования.
«Проблем с ИИ несколько. Во-первых, актуализация информации в модели: даже небольшие изменения в законодательстве делают бессмысленными массу судебных решений и литературы. Во-вторых, проблема предвзятости — языковая модель вбирает зависимости, которые есть в первоначальных данных», — комментирует Янковский. Так, он предложил ИИ две точки зрения по правовому вопросу: одну, описанную юридическим языком, другую — бытовым. «ИИ скорее выберет первый вариант, даже если он будет неправильным», — заключает он. Еще Янковский выделил проблему «галлюцинирования» нейросетей, когда модель придумывает ответ (по сути, врет), в том числе в случаях, если не знает правильного ответа.

Главная проблема искусственного интеллекта в том, что модель только делает вид, будто рассуждает логически. Но на самом деле ИИ лишь воспроизводит паттерны, заложенные при обучении. Там, где человек даже без юридических знаний из контекста уловит суть, модель может посыпаться.
Алексей Пелевин, CEO ПравоТех, объясняет, что большие языковые модели создавались для генерации контента, а не как экспертные системы. «Конечно, юристы занимаются и творческой работой, но не настолько креативной. Для юристов критически важна точность и правдивость, а не выразительность или оригинальность», — отмечает он. Большие языковые модели обучались на большом объеме данных, которых включает в себя СМИ, энциклопедии, художественную литературу, Reddit и так далее. Договорная практика и комментарии к законам в этих корпусах присутствуют, но их объем незначителен. «Поэтому на юридические вопросы модель отвечает, но явно „фонят“ общечеловеческие массивы информации», — предупреждает Пелевин. Из-за этого у многих юристов может возникать разочарование от использования ИИ «в лоб», считает он.
Проблемы ИИ: и юридическая этика, и закон
Использование продуктов OpenAI в России осложняется не только ограничениями, установленными самой компанией в отношении региона, но и из-за особенностей законодательного регулирования. Отправлять корпоративные данные в чат небезопасно, а персональные — незаконно. Кроме того, в прошлом году в России значительно ужесточились штрафы за утечку персональных данных.
В 2023 году в мире было зарегистрировано 1024 крупные утечки данных, каждая из которых включала не менее 1 млн записей персональных данных, а в целом число таких происшествий по итогам позапрошлого года увеличилось на 60%, следует из отчета InfoWatch. Так, у Samsung через ChatGPT утекли в открытый доступ корпоративные сведения: несколько сотрудников вставили программный код в чат, потенциально сделав его видимым всем пользователям.
OpenAI имеет закрытый исходный код, поэтому неизвестно, как именно для обучения используются входящие данные. В России использовать OpenAI для работы с персональными данными нельзя — организация не имеет необходимой для этого лицензии ФСТЭК. Тем не менее, многие российские вендоры используют ChatGPT напрямую, что делает работу с чувствительными данными в них небезопасной.
С точки зрения соблюдения требований «Общего регламента по защите данных» (GDPR) тоже есть сомнения. «Методология OpenAI, которая подразумевает сбор значительного количества онлайн-контента для обучения ИИ, может представлять значительные трудности в выполнении требований GDPR. Основная проблема в отношении соответствия GDPR — потенциальное использование персональных данных без явного согласия», — отмечают эксперты. Так, в начале 2023 года Итальянское управление по защите данных заподозрило OpenAI в нарушении требований о защите данных ЕС.
В этом году OpenAI представила ChatGPT Gov специально для правительства США, его можно будет развернуть в собственном коммерческом облаке, но для остальных пользователей этот вариант остается недоступным.
Под каждую задачу нужен свой ИИ
В российском Legal Tech первые интеллектуальные системы появились шесть лет назад. Речь идет о модели предсказания исхода дела, которая реализована в продуктах ПравоТех. Сейчас точность предсказания составляет 82%, и это считается очень высоким показателем.
Всего в компании несколько десятков отдельных интеллектуальных систем, одни работают как фичи в продуктах, а другие — как отдельные инструменты. Например, есть ИИ-фильтр — умный поиск, который раскладывает запрос на нормы права, суммаризация документов, выделение доводов в деле, возможность поговорить с делом или отдельным судебным актом. «Пользователь открывает карточку арбитражного дела, в которой много документов и процессуальных событий. Он просто пишет в чат вопрос, а система выделяет ему нужные знания из контекста», — объясняет Пелевин.
Генеративный ИИ тоже используется, но в связке с технологией автоматизации human-in-the-loop — это чат-бот юридических консультаций для неюристов. Сервис работает на базе YandexGPT, при этом ответ не сразу отдают пользователю, а сначала вручную проверяет юрист. «По нашей статистике, примерно 20% ответов больших языковых моделей ошибочны. Там содержится недостоверная информация, которая может принести какой-то вред. Наши юристы проверяют и переписывают консультацию и делают ее достоверной. Но за счет связки работы с ИИ мы значительно экономим время», — рассказывает CEO ПравоТех.
В ПравоТех не стоит задача натренировать одну модель на больших юридических данных, важнее искать ИИ-решения для конкретных задач. Одна из них — научиться определять доводы из судебного акта. «Сначала мы выделяли эти доводы с помощью внешней большой языковой модели, а потом собственную тренировали на полученных данных. В итоге наша система очень качественно работает только с юридическими доводами, при этом никакую другую задачу решать не может», — говорит Пелевин.

Многие компании думали, что можно «просто» зайти на юридический рынок и предложить чат-бота на основе ИИ, с которым можно будет работать. Но, к сожалению, это не сработало. Юристам нужна большая экспертная платформа, которая использует ИИ-функции.
Сейчас в компании используется метрика feature adoption rate (уровень внедрения фич), согласно которой более 30% пользователей продуктов ПравоТех используют ИИ-функции в каждой сессии. Этот показатель планируют довести до 100%.
Но в мировой повестке тема ИИ — это не про специализированные фичи, а про гонку больших языковых моделей, которая давно вышла на межгосударственный уровень. Так, в январе рынки обрушил запуск языковой модели R1 от китайской компании DeepSeek, ее называют главным конкурентом OpenAI. Правда, для юридического сообщества такие гиганты имеют ограниченную пользу, поэтому вендоры индустрии правотеха концентрируются на нишевых решениях и продолжают движение в эту сторону.