Первый прецедент промпт-инъекции в иске. Суд жестко наказал за скрытый приказ для искусственного интеллекта
Пустые поля в судебном документе оказались далеко не пустыми. Истец из Коннектикута спрятал мелким белым шрифтом команду для нейросети: программа должна была согласиться с доводами автора и помочь отменить прежний отказ. Суд заметил уловку и лишил участника дела доступа к электронной подаче документов.
Согласно решению суда, скрытая инструкция находилась в ходатайстве от 24 июля. Человек почти не замечал строку, а программа могла свободно прочитать. Промпт требовал поддержать позицию истца и добиться пересмотра решения главного секретаря суда. Автор повторил команду под заголовком и в конце файла, чтобы повысить вероятность срабатывания.
Второй документ от 24 июля содержал сокращенную версию команды. Суд назначил слушание на 31 июля и предупредил истца о недопустимости скрытого текста, однако тайные послания продолжили появляться. Третьего августа участник дела оставил бессмысленную фразу, а утром перед слушанием спрятал приветствие и ссылку на ролик с Носферату. Истец заявил, что хотел проверить использование ИИ в суде, а последующие сообщения назвал шутками.
Судья обнаружил уловку без специального сканера. Во время чтения распечаток внимание привлекли необычно большие пустые участки. Более внимательный просмотр раскрыл замаскированный текст. Судебная система Коннектикута не использует ИИ для проверки документов или принятия решений. Судья отклонил ходатайство по существу после чтения бумажной копии, поэтому команда не повлияла на результат.
Прием называют промпт-инъекцией. ИИ-модели могут воспринимать пользовательскую команду и содержимое документа как единый поток текста, поэтому встроенная инструкция способна незаметно подменить исходную задачу. В суде скрытый промпт может направить работу инструмента, которым пользуется судья, секретарь или адвокат противоположной стороны. Получатель не видит команду и не может возразить.
Судья сравнил скрытый промпт с запрещенным тайным обращением к стороне, способной повлиять на разбирательство. Любая информация, влияющая на судебное решение, должна оставаться открытой для всех участников процесса.
При этом суд не выступил против использования нейросетей. ИИ может помочь людям без адвоката подготовить понятные документы, разобраться в законах и сформулировать аргументы. При подготовке постановления Gemini сделал черновой перевод решения бразильского суда, а Westlaw Precision помог проверить правовые источники и принципы. Окончательные выводы судья сформулировал самостоятельно.
Американских решений по скрытым командам в судебных документах судья не нашел, поэтому сослался на майское дело из Бразилии. Два адвоката также поместили белый текст на белый фон и поручили судебному ИИ формально проверить заявление, не ставя под сомнение приложения. Система обнаружила и заблокировала вставку, но суд все равно назначил денежное взыскание и передал материалы органу адвокатского надзора.
Повторное сокрытие сообщений суд признал злоупотреблением системой электронной подачи. Все будущие заявления и приложения истцу придется приносить лично в канцелярию на бумаге. Доступ к правосудию сохранился, но отправлять документы через интернет больше нельзя.