Что показал реальный тест нашумевшей ИИ-системы Anthropic Mythos для поиска дыр в коде
Anthropic подавала Mythos как слишком сильный инструмент для поиска уязвимостей, который нельзя просто выложить в общий доступ. Проверка на curl показала более приземлённый результат: модель нашла одну реальную уязвимость, а разработчик проекта Даниэль Стенберг назвал шум вокруг Mythos в основном маркетингом.
Стенберг рассказал, что Anthropic обещала ему доступ к Mythos через программу Project Glasswing. Напрямую поработать с моделью разработчик не смог: код curl проверил другой человек с доступом к системе, а Стенберг получил уже готовый отчёт.
Mythos просканировала свежую версию репозитория curl и выдала пять пунктов, которые назвала подтверждёнными уязвимостями. После нескольких часов проверки команда безопасности curl оставила в списке только одну настоящую проблему. Три пункта оказались ложными срабатываниями, ещё один сочли обычной ошибкой, а не угрозой безопасности.
Единственная подтверждённая уязвимость получит низкий уровень опасности и отдельный CVE. Публикацию планируют синхронизировать с релизом curl 8.21.0 в конце июня. Стенберг отметил, что дефект не выглядит серьёзным и не должен вызвать тревогу.
При этом Mythos нашла несколько обычных ошибок в коде, которые команда curl уже исправляет. Описание проблем Стенберг назвал качественным, но общего вывода модель не изменила: полезный инструмент не стал прорывом. Ранее уже сообщалось, почему возможности Mythos могли переоценить ещё на старте.
curl почти 30 лет остаётся одним из самых популярных проектов с открытым кодом, поэтому команду давно заваливают отчётами от автоматических анализаторов и ИИ-систем. За последние восемь-десять месяцев инструменты вроде AISLE, Zeropath и OpenAI Codex Security помогли внести от 200 до 300 исправлений, а часть находок получила CVE. Поток слабых ИИ-отчётов уже стал отдельной проблемой для Стенберга и других сопровождающих открытых проектов.
На фоне такого опыта Mythos не показала заметного преимущества. Стенберг признаёт, что современные ИИ-инструменты хорошо ищут ошибки в исходном коде, но пока находят в основном знакомые классы проблем. По его словам, модели не показали уязвимостей принципиально нового типа и не заменили работу исследователей.
Разработчик curl не отвергает ИИ как инструмент. Он считает, что люди всегда использовали вспомогательные программы при поиске проблем безопасности, а нейросети просто дают новые способы смотреть на код. Но без человеческой проверки такие отчёты легко превращаются в шум: ранее поток слабых ИИ-жалоб уже перегрузил команду cURL.
Стенберг всё ещё надеется получить прямой доступ к Mythos и проверить модель самостоятельно. Пока Anthropic только пообещала доступ, но не назвала сроки.