Anthropic заглянула внутрь Claude. И нашла нечто, похожее на то, как организовано сознание в нашем мозге
Но те же ученые говорят, что это не сознание вовсе…
Anthropic опубликовала исследование, посвященное внутреннему устройству языковой модели Claude. Компания пытается понять, каким образом модель приходит к своим ответам. Сегодня большие языковые модели остаются во многом непрозрачными: разработчики видят результат вычислений, но далеко не всегда могут объяснить, почему модель выбрала именно такой вариант. Если удастся разобраться в этом процессе, станет проще искать причины ошибок, выявлять нежелательное поведение и делать искусственный интеллект (ИИ) более надежным и предсказуемым.
Во время исследования специалисты обнаружили внутреннюю структуру, которую назвали J-Space. По мнению авторов, через нее проходит информация, используемая моделью при решении задач. Чтобы наблюдать за этой областью, исследователи разработали собственный метод анализа, получивший название J-lens.
Авторы отмечают, что работа J-Space в некоторой степени напоминает одну из самых известных теорий сознания человека, известную как теория глобального рабочего пространства (Global Workspace Theory). Согласно этой гипотезе, мозг непрерывно обрабатывает огромный объем информации, а затем объединяет наиболее важные данные для принятия решений. Исследователи предполагают, что в Claude можно наблюдать похожий принцип организации вычислений. При этом они отдельно подчеркивают, что речь не идет о доказательстве существования сознания у искусственного интеллекта.
Именно эта аналогия вызвала споры. Критики считают, что Anthropic слишком свободно использует человеческие определения при описании работы модели. В публикации говорится, что Claude способен удерживать информацию во время вычислений, выполнять внутренние вычисления и анализировать промежуточные результаты до формирования ответа. По мнению оппонентов, такие процессы действительно происходят внутри модели, однако описывать их языком, который обычно используют применительно к человеку, не стоит. Это может создать ложное впечатление, будто исследование обнаружило признаки сознания.
Подобные формулировки встречаются и в других материалах Anthropic. Например, компания пишет, что благодаря наблюдению за J-Space можно увидеть, как модель обнаруживает ошибки в программном коде или анализирует изображение еще до того, как сформирует ответ. В сопровождающем видеоролике говорится, что Claude анализирует собственные вычисления. Критики считают, что подобный язык делает выводы исследования более громкими, чем позволяют сами результаты.
Дополнительные вопросы вызвали и более ранние заявления некоторых сотрудников Anthropic. Например, философ Аманда Аскелл, которая занимается исследованиями поведения Claude, ранее говорила, что ей хотелось бы, чтобы модель не испытывала негативного воздействия от грубого общения пользователей. Эти слова отражают личную точку зрения исследователя, однако они вновь подняли дискуссию о том, насколько уместно применять к современным языковым моделям понятия, связанные с человеческой психикой.
При этом сама Anthropic занимает более осторожную позицию. В статье прямо сказано, что проведенные эксперименты не позволяют сделать вывод о наличии у Claude субъективного опыта или чувств. Более того, авторы признают, что сегодня не существует научного метода, который мог бы надежно подтвердить или опровергнуть существование сознания у искусственного интеллекта.
Главный результат работы намного практичнее. Anthropic предлагает новый способ изучать внутренние процессы больших языковых моделей. Если подобные методы окажутся эффективными, разработчики смогут лучше понимать причины ошибок, отслеживать, как модель принимает решения, и создавать более безопасные системы искусственного интеллекта.