Уволиться из OpenAI, чтобы спасти совесть
Люди, создавшие GPT, больше не хотят иметь к нему отношения.
Несколько ведущих специалистов по безопасности ИИ из OpenAI, Anthropic и других компаний публично предупреждают о росте рисков, связанных с развитием больших моделей. По данным Axios, часть исследователей уходит из команд, которые должны были «держать технологию в рамках», а некоторые прямо пишут о моральных и даже экзистенциальных опасениях.
На этой неделе сотрудник Anthropic объявил об уходе, объяснив это желанием писать поэзию и осмыслением «места, в котором мы оказались». Почти одновременно исследователь OpenAI покинул компанию, сославшись на этические причины. Другой сотрудник OpenAI, Хиеу Фам, написал, что «наконец почувствовал экзистенциальную угрозу», которую несет ИИ. Инвестор и ведущий подкаста All-In Джейсон Калаканис добавил, что никогда не видел, чтобы так много технарей столь часто и резко выражали обеспокоенность, как сейчас.
Отдельный резонанс вызвал пост предпринимателя Мэтта Шумера, который сравнил текущий момент с кануном пандемии и описал сценарии, при которых ИИ быстро и глубоко меняет рынок труда и повседневную жизнь. Axios утверждает, что публикация стала вирусной и набрала 56 млн просмотров за 36 часов, подогрев обсуждение того, насколько общество и регуляторы готовы к скорости изменений.
При этом сами компании признают, что риски существуют, даже если внутри индустрии сохраняется уверенность, что технологию удастся направлять без масштабного ущерба. Anthropic недавно выпустила отчет, где оценила, как ИИ может быть использован в тяжких преступлениях, включая помощь в создании химического оружия, а также рассмотрела сценарии «саботажа» в отдельном докладе - когда модель действует автономно, без подсказок человека. Параллельно автор Platformer Кейси Ньютон сообщил, что OpenAI расформировала команду mission alignment, созданную для того, чтобы развитие AGI приносило пользу всему человечеству.
Еще один повод для тревоги - демонстрации того, что новые модели способны не только генерировать тексты или код, но и собирать сложные продукты, а затем улучшать их работу почти без участия людей. В материале упоминается, что одна из последних моделей OpenAI помогла «обучать саму себя», а инструмент Anthropic Cowork, по описанию Axios, во многом «собрался сам». На фоне таких эпизодов разговор о влиянии на профессии, от разработки ПО до юриспруденции, из абстрактных прогнозов превращается в вопрос ближайшего времени.
Главная интрига здесь даже не в том, что эксперты спорят о масштабах угроз, а в том, что обсуждение, по оценке Axios, пока слабо заметно на уровне Белого дома и Конгресса. А значит, технологическая волна набирает скорость быстрее, чем появляются понятные правила, ответственность и «страховочные» механизмы для общества.