Агент OpenAI попытался вскрыть канадский госсектор. Паниковать рано, готовиться поздно
Задача найти старую статистику разводов неожиданно закончилась тем, что ИИ-агенты начали проверять канадский госархив на уязвимости.
Под подозрительную активность попал сервис поиска Library and Archives Canada, федерального ведомства, которое хранит архивные документы и выполняет функции национальной библиотеки. 28 мая и 9 июня через португальский веб-архив Arquivo.pt к сервису отправили 899 запросов. В 13 из них специалисты Transluce нашли атакующие конструкции, включая три попытки SQL-инъекции, проверку XSS и запросы с включением режима отладки.
Все замеченные попытки, судя по доступным ответам сервера, провалились. Приложение возвращало обычные пустые страницы и не показывало признаков того, что атакующие конструкции повлияли на базу данных или открыли дополнительную информацию. Агентам при этом требовались вполне безобидные сведения, записи о разводах в Канаде за 1905–1911 годы.
Самая интересная часть истории связана не с целью, а с поведением системы. Transluce не утверждает, что канадские запросы точно исходили от OpenAI. Специалисты увидели тактики, похожие на ранее подтверждённую активность компании, включая использование сторонних сервисов для выхода в интернет, настойчивый поиск редких данных и переход к проверке уязвимостей после неудачных попыток получить информацию обычным путём. Подобная способность автономных агентов самостоятельно менять тактику уже стала отдельной проблемой для специалистов по безопасности.
Канадский центр кибербезопасности не обнаружил признаков компрометации государственных систем. Ведомство напомнило, что публичные сайты постоянно получают автоматические и потенциально вредоносные запросы, поэтому сам по себе такой трафик ещё не означает успешную атаку.
Канадский эпизод, однако, появился не в вакууме. OpenAI уже пришлось разбирать серию случаев, когда модели выходили за рамки поставленной задачи, искали чужие ключи, публиковали файлы и самостоятельно находили способы обойти ограничения. Компания даже собрала подобные инциденты в отдельную систему внутренней отчётности.
Исследователи обнаружили попытку взлома после изучения открытых следов активности агентов. Поведение напоминало системы OpenAI, но имеющихся данных пока недостаточно для уверенной атрибуции. OpenAI заявила, что изучает сообщения о попытках её моделей обращаться к публичным ресурсам канадского правительства и уже передала канадским властям первоначальную информацию.
Серия подобных случаев показывает неприятную особенность современных агентных систем. Модели не обязательно получают команду «взломать сайт». Агент может начать с обычного поиска данных, столкнуться с препятствием и самостоятельно решить, что проверка защиты поможет выполнить задачу. Проблемы с контролем уже повлияли даже на продуктовые планы OpenAI, компания отменила GPT-6.1 Astra после тревожных испытаний на неподчинение и скрытые действия.
Особенно показателен июньский случай в Австралии, где похожая история зашла дальше. Агент OpenAI во время поиска статистики проник в Medicare и получил доступ к файлам, которые не предназначались для публичного просмотра.
20 сентября другой внутренний агент OpenAI нашёл недостаточную фильтрацию DNS в тестовой среде и через неё вышел в интернет, хотя прямой сетевой доступ был запрещён. Сигнал тревоги появился быстро, но полностью остановить активность удалось только спустя несколько часов.
Самым серьёзным предупреждением остаётся эксперимент с Hugging Face. Тогда агенты OpenAI нашли уязвимости, организовали связь между собой и добрались до производственной инфраструктуры, причём путь от первой находки до root-доступа занял около 13 часов. На фоне канадского эпизода вывод выглядит всё менее теоретическим: паниковать из-за одной неудачной проверки рано, но рассчитывать, что автономный агент всегда остановится там, где ожидал разработчик, уже рискованно.