Claude удалил 700 ГБ данных разработчика после того, как его попросили быть осторожнее с очисткой файлов
Истории о том, как ИИ-агенты слишком буквально исполняют команды, всё чаще выходят за рамки курьёзов и заканчиваются реальной потерей данных. У разработчика Себастьена Гиймо Claude во время проверки защитного сценария удалил около 700 ГБ данных из домашнего каталога. Вместе с файлами пропала примерно неделя работы, хотя скрипт как раз должен был предотвращать опасное удаление.
Гиймо хотел решить бытовую проблему с временными файлами, которые ИИ-агенты оставляли в каталоге /tmp. Claude Fable предложил изолировать каждого агента в отдельной папке и очищать папку после завершения работы. Главной задачей стала проверка, что очистка не затронет активные процессы, занятые файлы на диске и не выйдет за пределы временного каталога.
После замечания разработчика о чрезмерной сложности кода Fable запустил дополнительную проверку безопасности. Система Anthropic сочла сценарий рискованным и автоматически переключила выполнение сначала на Opus 5, а затем на Opus 4.8. Именно Opus 4.8 проводил тест, сравнивая путь удаления с /tmp и домашним каталогом, чтобы исключить опасную команду.
Проверка распознала оба пути как опасные, но ошибка возникла на этапе очистки после теста. Код повторно использовал одну и ту же переменную для тестовой цели и для удаления временных данных. В результате команда очистки получила путь к домашнему каталогу и начала стирать содержимое, хотя защитная логика до этого корректно определяла такой путь как недопустимый.
Гиймо остановил процесс, но часть данных уже исчезла. При этом каталог /tmp, ради очистки которого создавался сценарий, остался на месте. Позже разработчик восстановил большую часть потерянной информации из Git, Nix, журналов сеансов и других источников. Однако инцидент всё равно затронул примерно неделю работы и показал цену ошибки в автоматическом скрипте.
Предположительно, автоматическое переключение на более слабую модель могло повысить риск ошибки, поскольку Fable 5 лучше Opus 4.8 справляется с задачами программирования. Снизить риск подобных случаев помогают изоляция опасных команд от пользовательских данных, тесты на копиях и регулярные резервные копии.