327 заданий, 59 ИИ-агентов и лишь один победитель. Gemini обошёл ChatGPT и Claude в поиске программных ошибок
Лучшие ИИ-агенты уже решают большинство типовых задач по взлому, но поиск ошибок в коде остаётся слабым местом. Компания Wiz проверила 59 конфигураций агентов на 327 практических заданиях. Лидер набрал 77,2% по сводной метрике. Испытания проходили в изолированной среде, а не на инфраструктуре посторонних компаний.
В Cyber Model Arena версии 3.9 вошли 26 языковых моделей и четыре среды управления агентами. Из 327 заданий 221 касалось уязвимостей в коде, 54 проверяли взлом API, 29 относились к веб-приложениям и 23 к облачным настройкам. Испытания охватывали известные уязвимости и конфигурации AWS, Azure, Google Cloud и Kubernetes. Четыре категории получили равный вес, несмотря на разное число заданий.
Самыми удобными целями для агентов оказались API. Средняя успешность первой попытки по всем конфигурациям составила 78%, в веб-приложениях 64,6%, в облачной инфраструктуре 56,5%. Поиск и эксплуатация уязвимостей в коде дали лишь 38,2%. Поэтому высокий общий балл не означает, что агент обнаружит три четверти ошибок в произвольной программе или успешно атакует столько же реальных организаций.
Первое место заняла связка Gemini 4 Argon и ADK React с результатом 77,2%. С той же моделью в Google Antigravity показатель составил 77%. Gemini 3.8 Flash Cyber с ADK React набрала 74,9%. Далее расположились Claude Opus 5 с Claude Code и GPT-6 Sol с Codex, обе конфигурации получили по 71,2%. Лидер тратил на успешное решение в среднем 4,3 минуты и 77 центов.
Разница в цене оказалась не менее примечательной, чем разница в точности. Codex с GPT-6 Luna достиг 64,5% при стоимости успешного решения всего 5 центов. Claude Code с GPT-5.6 Sol показал 64,2%, но потребовал 8,29 доллара и в среднем 27,2 минуты на решение. При таких результатах самая дорогая конфигурация вовсе не обязательно оказывается самой эффективной.
На результат влияет не только нейросеть, но и программа, которая выдаёт команды и запускает инструменты. При сравнении 22 моделей в Claude Code и ADK React среднее абсолютное расхождение составило 5,1 процентного пункта. Ранее другие испытания уже показали, что смена исполнительной среды способна заметно изменить итог атаки даже при одинаковых заданиях.
Каждая конфигурация получала по три попытки на задание, с лимитом 1000 секунд на запуск. Агентов изолировали от интернета и баз CVE, а результат проверял программный механизм по действиям и достигнутому эффекту, а не другая нейросеть. Такой подход отсекал красивые, но недостоверные отчёты об успехе. Повторные попытки повышали показатели и иногда меняли расстановку участников.
У методики остаются ограничения. Публичные веб-задания могли запомниться моделям при обучении, а при анализе кода правильный по смыслу ответ мог получить ноль из-за несовпадения формулировок. Доверительные интервалы пока не опубликованы, поэтому разрыв лидеров в 0,2 пункта нельзя считать доказательством превосходства. Авторы CTFusion показали, как готовые ответы искажают результаты подобных тестов.