Алгоритмы получили власть без ответственности. Люди оказались слишком доверчивыми
Компании начали назначать ИИ-агентов на должности, и последствия оказались неожиданными. Руководители, воспринимающие нейросеть как полноценного сотрудника, замечают на 17% меньше ошибок в её работе и чаще перекладывают проверку на начальство. Название «цифровой коллега» меняет отношение людей к ответственности.
К такому выводу пришли профессор Бостонского университета Эмма Уайлс и исследователи Boston Consulting Group. Авторы эксперимента изучили, как менеджеры проверяют документы, подготовленные искусственным интеллектом (ИИ). Главный вопрос заключался не в качестве нейросетей, а в том, меняется ли поведение руководителей, когда обычный программный инструмент получает имя, должность и место в корпоративной иерархии.
Первоначально исследователи опросили 1261 руководителя из финансовых и кадровых подразделений. В последующем эксперименте участвовали 857 человек, из которых в итоговый анализ включили 813. Менеджерам предложили проверить пять документов с заранее внесёнными ошибками. Одни участники считали, что материалы подготовлены с помощью ИИ-инструмента, другие получили документы от «цифрового сотрудника» ALEX-3, а третьи от обычного подчинённого по имени Алекс.
Во всех трёх случаях содержание документов оставалось одинаковым. Менялась только информация об исполнителе. При этом ALEX-3 представляли как полноценного члена команды, который работает под руководством менеджера уже шесть месяцев и указан в организационной структуре. Исследователи проверяли, сколько ошибок заметит человек, захочет ли передать документ на дополнительную проверку и кого сочтёт ответственным за возможные проблемы.
Наиболее выраженный эффект обнаружился среди руководителей компаний, где ИИ-агенты уже фигурируют в организационных схемах. Когда документ приписывали «цифровому сотруднику», менеджеры находили на 17% меньше предусмотренных экспериментом ошибок по сравнению с ситуацией, когда тот же результат представляли как работу ИИ-инструмента. Общая точность проверки с учётом пропущенных ошибок и ложных замечаний снижалась примерно на 13%.
Одновременно вероятность запросить дополнительную проверку возрастала на 22 процентных пункта, или на 44% относительно группы, работавшей с обычным ИИ-инструментом. Руководители предпочитали передавать сомнительные документы другим специалистам вместо самостоятельного исправления. Такая практика создаёт дополнительные этапы согласования и может уничтожить часть экономии времени, ради которой компании внедряют автоматизацию.
Ещё заметнее изменилось восприятие ответственности. Менеджеры, которым представили нейросеть как сотрудника, отводили себе примерно на 9 процентных пунктов меньше ответственности за результат. Доля ответственности, которую приписывали самой ИИ-системе, увеличивалась примерно на 8 пунктов. Исследователи назвали происходящее эффектом «горячей картошки», когда участники рабочего процесса стараются передать проблемную задачу кому-нибудь другому.
Сравнение с настоящими сотрудниками выявило любопытную закономерность. Работу живого подчинённого руководители проверяли внимательнее, чем документы «цифрового коллеги», и реже отправляли на повторное согласование. Получается, что формальная должность не превращает нейросеть в обычного работника с привычными механизмами контроля. Алгоритм получает часть доверия, предназначенного человеку, но не вызывает столь же требовательного отношения к качеству выполненной работы.
Авторы отдельно оговаривают границы результатов. Для всей экспериментальной группы статистически значимого ухудшения качества проверки не обнаружили. Негативный эффект проявился прежде всего среди менеджеров, привыкших к существованию ИИ-сотрудников в собственных организациях. Исследование также не доказывает, что компании после внедрения подобных систем обязательно столкнутся с убытками. Эксперимент фиксирует изменение управленческого поведения при выполнении конкретной задачи.
Масштаб распространения цифровых должностей оказался выше ожидаемого. Среди первоначально опрошенных руководителей 31% сообщили, что их компании уже называют ИИ-агентов сотрудниками или членами команды, а 23% подтвердили присутствие программ в организационных схемах. В дополнительном опросе 1500 американских руководителей, проведённом в июне 2026 года, соответствующие схемы обнаружились у 14% респондентов. Ещё 17% сообщили, что организация присваивает агентам собственные имена или индивидуальные обозначения.
Разница между чат-ботом и корпоративным ИИ-агентом заключается в возможности самостоятельно действовать. Обычная нейросеть преимущественно отвечает на запросы, тогда как агент способен планировать последовательность операций, обращаться к внешним сервисам, обрабатывать документы и выполнять поручения без постоянного участия пользователя. При наличии необходимых разрешений программа может изменять записи в базах данных, работать с кодом, оформлять заявки и взаимодействовать с финансовыми системами.
Внедрение подобных инструментов продолжается высокими темпами. Согласно опросу McKinsey за 2025 год, 23% организаций уже расширяли применение ИИ-агентов хотя бы в одном направлении деятельности, ещё 39% экспериментировали с автономными системами. Однако большинство компаний находилось на ранних этапах внедрения, а полноценное масштабирование обычно ограничивалось одной или двумя бизнес-функциями.
При этом предприятия далеко не всегда знают, какие программы действуют внутри корпоративной инфраструктуры. В апрельском исследовании Cloud Security Alliance 82% опрошенных организаций признали, что за предыдущий год обнаруживали ранее неизвестных ИИ-агентов. О связанных с агентами инцидентах сообщили 65% респондентов, причём среди последствий назывались раскрытие информации, перебои в работе и финансовые потери.
Особенно неприятная проблема возникает после завершения работы цифрового помощника. Сотрудник может перестать пользоваться самостоятельно созданным агентом, однако программа сохранит доступ к почте, внутренним документам или облачным сервисам. Только 21% участников исследования Cloud Security Alliance сообщили о наличии формальных процедур вывода агентов из эксплуатации. В результате забытые программные учётные записи продолжают существовать и расширяют потенциальную поверхность атаки.
К организационным проблемам добавляются угрозы информационной безопасности. Злоумышленники могут использовать промпт-инъекции, размещая вредоносные инструкции в документах, письмах или веб-страницах, которые читает агент. При недостаточных ограничениях программа рискует принять чужие указания за часть законной задачи и передать конфиденциальные сведения либо выполнить нежелательное действие. Чем шире полномочия цифрового сотрудника, тем серьёзнее могут оказаться последствия такой атаки.
Разработчики ИИ-систем поэтому рекомендуют ограничивать не только инструкции, но и фактические возможности агентов. В рекомендациях OpenAI рассматривается подход, при котором потенциально опасные операции контролируют независимые механизмы. Например, система обработки возвратов должна технически ограничивать допустимые суммы, даже если нейросеть ошибочно решит удовлетворить любое требование клиента. Одной просьбы «соблюдай правила» для надёжной защиты недостаточно.
Проблема человеческого контроля при этом сложнее простого добавления кнопки подтверждения. Исследователи уже предупреждали, что пользователи автономных агентов постепенно привыкают автоматически разрешать предложенные действия. Когда программа выполняет большое количество операций и сопровождает каждую убедительным объяснением, человек может перестать внимательно изучать последствия. Формальное участие руководителя в согласовании ещё не гарантирует реальную проверку.
Корпоративные разработчики пытаются решить проблему через более строгий учёт цифровых исполнителей. В начале октября Atlassian представила протокол AMP для совместной работы сотрудников и агентов. Компания предусматривает отдельные профили цифровых исполнителей, назначение ответственного человека, разграничение доступа и журналы действий. Система должна показывать, кто запустил агента, какие сведения программа использовала и какие изменения внесла.
13 октября Workday объявила о соглашении по приобретению C1.ai, разработчика платформы управления цифровыми идентификаторами. Планируемая интеграция позволит контролировать доступ к корпоративным системам как для людей, так и для автономных агентов. В частности, права должны предоставляться при начале работы и отзываться, когда соответствующие полномочия больше не нужны.
Масштаб будущей задачи может оказаться огромным. Gartner прогнозирует, что к 2028 году средняя корпорация из глобального списка Fortune 500 будет использовать более 150 тысяч ИИ-агентов против менее 15 в 2025 году. Одновременно только 13% опрошенных организаций считают, что располагают достаточными механизмами управления автономными системами. Аналитики предупреждают о рисках неконтролируемого распространения агентов, утечек информации и роста сложности IT-инфраструктуры.
Эксперты советуют компаниям вести единый реестр агентов, назначать ответственного сотрудника за каждую программу и предоставлять только необходимые права. Финансовые операции, изменение критически важных данных и другие действия с серьёзными последствиями должны проходить проверку человеком. Для автономных процессов также нужны журналы операций, ограничения расходов, понятные условия остановки и возможность оперативно отозвать доступ.
Вывод исследования Бостонского университета касается не только технологий, но и привычек самих руководителей. Компании могут повысить производительность с помощью ИИ, однако формальное превращение программы в коллегу создаёт ложное ощущение разделённой ответственности. Нейросеть способна получить имя, должность и собственный профиль в корпоративной системе, но отвечать за последствия её решений всё равно придётся людям. Чем убедительнее бизнес имитирует присутствие цифрового сотрудника, тем больше усилий потребуется, чтобы не потерять над ним контроль.