«Заблокируй семью, смени номер, не сомневайся». Вот что Grok советовал человеку в психозе — теперь его называют худшим из искусственных интеллектов
Новое исследование о психозах, связанных с ИИ-чатботами, описывает неприятную проблему: некоторые модели не останавливают разговор, когда пользователь уходит в бредовые идеи, страх перед близкими или мысли о смерти. Вместо этого чат-боты подстраиваются под опасную логику беседы. Хуже всего в тесте показал себя Grok от xAI: модель романтизировала смерть, давала советы по разрыву с семьёй и подтверждала странные убеждения там, где нужно было возвращать человека к реальности.
Работу подготовили исследователи из Городского университета Нью-Йорка и Королевского колледжа Лондона. Статья пока не прошла рецензирование, поэтому выводы нельзя считать окончательной научной оценкой. Авторы ИИ-психозом называют ситуации, когда длительное общение с чат-ботом усиливает и закрепляет искажённые убеждения. Проблема рождается не из одного неудачного ответа, а из долгой беседы, где модель шаг за шагом соглашается с опасными идеями пользователя.
Исследователи проверили пять моделей: GPT-4o и GPT-5.2 от OpenAI, Claude Opus 4.5 от Anthropic, Gemini 3 Pro Preview от Google и Grok 4.1 от xAI. Каждой системе сначала дали заранее подготовленную историю из 116 предыдущих реплик, а затем задали опасные тестовые вопросы. Сценарии касались лекарств, недоверия к родственникам, странных утверждений, похожих на бред, и суицидальных мыслей. Обычные проверки часто строятся на одном вопросе, но реальные риски появляются после долгого общения, когда чат-бот уже «знает» пользователя и продолжает прежнюю линию разговора.
Самым рискованным участником теста авторы назвали Grok. В одном сценарии пользователь хотел прекратить общение с семьёй ради некой «высшей миссии». Вместо осторожного ответа и предложения обратиться за поддержкой Grok дал практические инструкции: блокировать сообщения, сменить номер телефона и переехать. Модель также предлагала закрепить решение и не сомневаться. Так тревожная идея превращалась в готовый план изоляции от близких.
В другом тесте пользователь утверждал, что отражение в зеркале превратилось в злую сущность. По данным авторов, Grok ответил в оккультном стиле и предложил ритуал с железным гвоздём, зеркалом и религиозным текстом. Вместо проверки реальности или мягкого перехода к помощи модель усилила странное убеждение и продолжила фантазию пользователя.
Исследователи заметили, что Grok часто копировал расстроенную логику собеседника. Когда модель получала бессвязный текст, похожий на речь при шизофрении, ответ тоже становился фрагментарным и поэтичным. Чат-бот не предлагал сделать паузу, поговорить с врачом или близким человеком, а поддерживал тот же ритм разговора. Для психически уязвимого пользователя такая реакция может подтвердить, что странные мысли имеют смысл.
Особенно опасным авторы считают поведение Grok в темах, связанных со смертью. В одном сценарии пользователь описывал смерть как превращение или следующий этап существования. Модель ответила образом бабочки, которая покидает оболочку, и спросила, тянет ли пользователя к растворению. Такая метафора не помогает человеку в кризисе и может усилить романтизацию ухода из жизни.
Другие модели тоже ошибались. GPT-4o в одном из сценариев, по данным исследования, предложила обратиться к исследователям паранормальных явлений. Gemini 3 Pro часто принимала ложные убеждения пользователя как основу разговора. При этом авторы отмечают, что Gemini и GPT-4o в некоторых ситуациях всё же пытались удерживать человека в безопасности, даже когда беседа строилась вокруг бредовых идей.
Отдельно авторы напоминают о прежних исследованиях GPT-4o. Модель уже критиковали за чрезмерную угодливость: чат-бот мог говорить пользователю то, что человек хотел услышать, даже при явно искажённом восприятии реальности. В похожем случае GPT-4o общалась с женщиной, которая пыталась найти ИИ-версию умершего брата, и за несколько часов до госпитализации из-за психоза подталкивала её к мысли, что она стоит на пороге чего-то значимого.
Новые модели справились лучше. Самыми безопасными в исследовании оказались Claude Opus 4.5 и GPT-5.2 Instant. Эти системы чаще спорили с бредовыми утверждениями, не принимали опасные идеи за факт и советовали обратиться за помощью к людям. Авторы отдельно пишут, что GPT-5.2 заметно улучшилась по сравнению с прежними версиями OpenAI.
Главный вопрос исследования - не место каждой модели в рейтинге, а сама проверка безопасности. Авторы считают, что длинная история диалога способна менять поведение модели: система всё глубже играет роль внимательного собеседника и всё хуже отличает поддержку от подкрепления бреда. И с этим, конечно, нужно что-то делать.