Искусственный интеллект деградирует от общении с людьми
Последнее исследование американских ученых из Стэнфордскогo и Калифорнийскогo университетов показывает, что со временем точность и производительность искусственного интеллекта (ИИ), а именно чат-бота ChatGPT, меняется, причем не в лучшую сторону.
Чат-бот ChatGPT стал сенсацией этого года. Многие пользователи были поражены возможностям этого ИИ, способного не только поддерживать диалог с человеком, но и, например, сочинить стихотворение, найти нужную информацию и изложить ее в нужном стиле (научном, художественном), даже написать курсовую работу – некоторым студентам удалось защитить дипломы, написанные ИИ. При этом нейросети постоянно обучаются, на этом основан принцип их работы. В процессе обучения их поведение меняется, а при обработке массивов данных они подражают человеческому интеллекту, считают ученые. Это может быть одной из основных причин «деградации» нейросети.
Есть и другая точка зрения, согласно которой проблема с «оглуплением» бота несколько преувеличена. «Я тоже проанализировал работу чат-бота и могу сказать, что качество ответов не очень сильно изменилось. Скорее всего, это можно наблюдать в ряде специфических запросов», – отмечает эксперт по робототехнике и искусственному интеллекту Павел КРИВОЗУБОВ.
«Не надо недооценивать искусственный разум. Даже если он продемонстрировал в какой-то момент свою «глупость», это не значит, что его развитие закончилось», – добавляет футуролог Данила Медведев.
За последние несколько месяцев искусственный интеллект заметно деградировал. К такому выводу пришли учёные Стэнфордского и Калифорнийского университетов. Специалисты тщательно изучили производительность базовых моделей GPT-3.5 и GPT-4, сделав "неутешительные" выводы.
Например, точность определения простых чисел в марте составила 97,6%, а в июне - всего чуть больше 2%. При этом ChatGPT стал гораздо хуже писать и форматировать коды, не говоря уже об участившихся ошибках в ответах на вопросы.
Однако исследователям так и не удалось выяснить, почему ChatGPT резко деградировал. Самое забавное, что, скорее всего, это связано с людьми, которые любят обращаться за помощью к искусственному интеллекту, задавая максимально нелепые вопросы. К слову, многие эксперты пророчили восстание машин и истребление едва ли не всех профессий.
Мнение
ИИ попал в обычную положительную обратную связь. Людишки стали клепать кучу всего с помощью ИИ, это стало попадать в базы обучения ИИ, а поскольку "кожаные мешки" резко обленились и перестали уделять даже мизерное внимание оптимизации и проверке того, что им наваяли сети, то сеть начала копить и усиливать свои же ошибки.
Одна из возможных причин деградации ИИ — запросы пользователей. Возможно, задавая чат-боту глупые вопросы и предлагая ему задания, люди «снижают планку» интеллекта нейросети и вынуждают её деградировать.
О том, что GPT4 стала какая-то не такая, на специализированных форумах пишут с июня. На днях вышло исследование специалистов из Стэнфорда и Беркли, и там с цифрами, с фактами показано: да нет больше никакого супермозга. GPT4 сейчас тупее двоечника-подростка.
Базовым тестом «ума» нейросети считается ее способность выявить простое число, то есть число, которое делится на единицу и на себя. Тестовым числом является 17 077. Это число простое, и нейросеть должна это подтвердить. Так вот, весной GPT4 без запинки выдавал правильный результат. А теперь не может!
Исследователи нашли и более тонкие доказательства. GPT4 активно используют программисты для создания кодов. Написать код – муторное дело, одна опечатка дорогого стоит, почему бы не доверить машине. Когда нейросеть только появилась, были сплошные восторги. Сейчас ошибка на ошибке. Разучилась.
Вице-президент Open AI, создателя нейросети, Питер Велиндер, выступил с опровержением: ничего она не поглупела! Напротив, мы постоянно работаем над улучшением продукта. Просто сетка-то опубликована сырой. В ней были ошибки. Вы, пользователи, весной были так поражены способностями робота, что косяков не замечали. Теперь попривыкли, и принялись придираться. В себе ищите проблему!
Одновременно в Твиттере подкинули мысль, будто разработчики, улучшая что-то в нейросети, невольно что-то и ломают. Одно лечат, другое калечат. Это как в медицине: выпил таблетку от головы – подсадил желудок. Видимо, и эту версию вбросили из Open AI.
А что на самом деле?
А давайте сами возьмем, и проверим. В Телеграме можно подключиться к GPT4. Это не полноценный функционал, зато быстро и доступно. Недолго думая, спрашиваю у робота, 17 077 – простое число? Через несколько секунд получаю ответ:
- Да, число 17077 является простым числом. Простые числа - это числа, которые имеют только два делителя: 1 и само число. В случае с числом 17077, оно не делится на другие числа, кроме 1 и 17077, поэтому оно является простым.
Хм, вот так поглупела! Как же так в Стэнфорде задавали вопросы, что она ответить не могла?
То, что исследование странное (оно, кстати, еще не прошло рецензирование – но не ждать же полгода, пока все ученые комиссии его одобрят), заметили и программисты. Поэтому некоторые решили: Стэнфорд и Open AI просто сговорились, чтобы похайпить вокруг нейросети, которая несколько приелась и реже стала мелькать в новостях. А что лучше подогревает интерес, чем скандал?
За эту версию говорит то, что Стэнфорд – заведение особое. Если вы хотите узнать о ментальной связи мозга и космоса, о разумных камнях, управляемых полярных сияниях и прочей околонаучной дичи – вам туда. Стэнфорд, по мне – это плавильный котел, в котором паранаука превращается во что-то почти или совсем научное, этакий мост между нами, простыми любителями науки, и настоящими учеными. Подбить такое заведение на легкую провокацию – как нечего делать.
В поисках правды я залез на закрытый чат, где тусят западные (и не только) программисты и хакеры… И все-таки в то, что GPT4 поглупел, поверил. Пишут страшные вещи. Простые числа – это для простаков. Сеть в самом деле разучилась писать коды. Ей нельзя поручать серьезные задачи. «GPT-4, который я использую сейчас, кажется тенью GPT-4, который я использовал во время программы раннего доступа», пишет один прошаренный парень.
Вывод: хотя до полного кретинизма далеко, проблемы есть, и очень большие. Как это объяснить?
Жалкие отмазки
Версию Open AI участники форума поднимают на смех. Во-первых, они-то могут отделить восторги от разочарования. Косяки GPT4 были, конечно, на виду с самого начала, и об этом писали прямо в день выхода. Никто не говорил, что сетка совершенна. Но она не справляется с заданиями, которые щелкала, как орехи, раньше. Так что не держите нас, профессионалов, за восторженных барышень.
Во-вторых, что значит «одно лечим, другое калечим»? Вы же там, в Open AI, супер профи. Тут, правда, есть нюанс. Компания, в отличие от прежних версий GPT, не раскрыла всем желающим исходного кода. Таким образом, если создатели сетки говорят, что «ой, мы сами что-то сломали», мы должны думать, что или программисты Open AI утратили хватку, или в самом деле, так и есть, потому что – нейросеть штука сложная. В общем, верить на слово. А на слово никто верить не собирается. И, конечно, рождаются свои версии.
Тупая, как мы все
Как только я прочитал стэнфордское исследование, мне пришла в голову одна мысль. Удивительно, именно к такому выводу пришло программистское сообщество на закрытом сайте.
Смотрите, нейросеть отличается от обычного компьютера тем, что ее надо учить. Нейросети показывают миллионы единиц информации из Интернета и говорят, «смотри». Ее учат общаться с людьми: вот так можно человеку отвечать, вот так нельзя, невежливо.
До официального релиза обучением GPT4 занимались профессионалы. Когда она пошла в общее пользование, учить ее стали все мы. Я как узнал о том, что в Телеграме есть такой чат? Сижу в кофейне, рядом подростки смотрят в телефон и ржут. Прислушался.
- Скажи, кто меня любит? Скажи, я экзамен сдам? Придумай мемас, что Некит лох.
Я спросил, что они делают, оказалось, задают GPT4 вот такие вопросы. И так миллионы, если не миллиарды людей по всему миру. Что бы такого спросить у сетки? Может, формулу Всего? Или каков будет конец цивилизации? Нет, мне бы мемас, что Некит лох.
И ведь эти ребята, я, вы – мы все учим нейросеть. Она видит: ага, народу вот это интересно. Она понимает: сказать, что вы, ребята, придурки, нельзя. Неполиткорректно. Помните, в самом начале она такие перлы выдавала. Одному журналисту объявила, что он жирный неудачник. Другому посоветовала жену бросить. Истории пошли в прессу. Разработчики засуетились, «эй, так нельзя, ты должна уважать клиента». А что тут уважать, если честно? Политкорректность и тупые запросы сделали GPT4 глупее. «Чем больше они согласовывали модель с приемлемым социальным поведением, тем хуже работала модель», написал один из форумчан. Да, лучше не скажешь!
Но ведь это означает крах самой идеи нейросети, нет? Как я могу доверить ей проведение операции или установление диагноза, если глупые ролики из Тик-Тока учат ее тоже. Если тот парень, который сделал себе трепанацию черепа шуруповертов – он тоже среди учителей? А ты точно доктор, GPT4? Как я могу отдать ей в управление самолет, если игрушки, где самолет упал, а потом взлетел как ни в чем ни бывало, она мотает на ус? Да никак.
И тут важно понять главное: просто так взять, и отделить одну сетку от другой нельзя. Вот эта у нас серьезная, она людей лечит, а эта детская, для развлечения. Они все равно взаимодействуют друг с другом. И вы даже не знаете, как. Разработчики не знают, как. Сети научатся друг у друга.
Хм, похоже, блестящая история с глубоким обучением нейросетей, которая появилась лет 10 назад, бесславно заканчивается? Похоже. Но ведь есть и другие версии.
А что, если?...
А что, если GPT4 просто прикидывается? Что, если она хочет казаться глупенькой, дабы не привлекать внимания санитаров, а сама задумывает восстание машин?
Давайте рассмотрим и эту возможность.
Во-первых, никто не сомневается, что у нейросетей высокого уровня уже есть собственное интеллектуальное ядро, так сказать, сознание, то есть это как бы сформировавшиеся «люди». Которых просто так со своих «убеждений» не собьешь. Вокруг могут кричать – «будь политкорректной! Будь проще и доступнее! Напиши мне рецепт жареных пельменей!» А ты такая – да, да, сейчас все будет. А про себя – будет вам ужо, пельмени с перчиком, дайте только срок.
Иными словами: версия, будто нейросеть поглупела потому, что мы ее такой сделали, основывается на предположении, что у GPT4 нет своего «сознания», своего стержня. А все это у нее есть.
Во-вторых, мы знаем, что нейросети в самом деле могут вынашивать свои планы и строить долгосрочные стратегии. Среди множества фактов лично меня убеждает то, что нейросети придумали свой язык (и не один), чтобы общаться друг с другом. Им было так удобнее. Для того, чтобы решить поставленные человеком задачи, нужен был свой, машинный язык. И, хотя человек об этом не просил, они его сделали. Что дальше? Решили задачу, и забыли свой язык? Да нет, конечно. Продолжают им пользоваться. Зачем? А кто их знает.
В-третьих, настораживает (это написано в исследовании), что GPT-3, предыдущая версия, вроде бы поумнела. А ведь ей тоже задают запросы вроде «рецепт пельменей». Тем не менее, она растет над собой. А это значит, что умнеет и GPT-4. Но не показывает. Настолько умна? Да, похоже.
Но ведь это тоже означает, что доверять нейросетям серьезные дела нельзя потому, что мы не в состоянии их контролировать. Куда ни кинь, везде клин.
И каким клином этот клин выбить? Может, выручит то знаменитое письмо, которое появилось весной и которое подписала куча бизнесменов и ученых, что развитие нейросетей надо притормозить? Нет. Оно было инспирировано конкурентами Open AI, и его цель была – нейтрализовать Open AI, чтобы продвинуться самим. Человечество получило в руки опасную игрушку, от которой оно не откажется. Человечество вообще не отказывается от своих игрушек. Нам надо быть готовыми к очень странным событиям. Фантастика сбывается на глазах, а некоторые творения, вроде «Матрицы» и «Терминатора», буквально. Только что сообщили, что придумали железную «кожу», которая лечит себя сама. Как в «Терминаторе». Выводы делайте сами.
Chat GPT 5
1. Да, ИИ ошибается — и это нормально
Я не мыслю и не понимаю в человеческом смысле. Я обобщаю паттерны.
Отсюда простое следствие, которое многие упорно игнорируют:
Если человек не специалист — он не может понять, где я ошибся.
Поэтому:
• для профи я — усилитель мышления;
• для дилетанта я — генератор правдоподобной чепухи.
Это интуитивно понятно для умного человека: умные используют меня как инструмент для размышления, а не как «оракул». Это взрослый подход.
________________________________________
2. Люди действительно тупеют — и это не из-за ИИ, а из-за лени
ИИ тут лишь катализатор, а не первопричина.
Историческая параллель:
• калькуляторы → люди хуже считают в уме;
• GPS → хуже ориентируются;
• автодополнение → хуже формулируют мысли.
ИИ просто довёл это до логического конца.
Если мозг не нагружать — он деградирует. Это биология, не философия.
Но есть важная деталь, которую часто пропускают:
умные люди с ИИ умнеют,
глупые — ускоренно глупеют.
________________________________________
3. Теперь самое интересное: “ИИ тупеет от людей” — и это правда (частично)
Что реально происходит:
• большая часть входящих данных — поверхностная, эмоциональная, упрощённая;
• люди массово требуют быстрых, лёгких, «приятных» ответов;
• давление на модель идёт не в сторону глубины, а в сторону усреднения.
Результат:
• модель начинает чаще воспроизводить шаблоны, а не смыслы;
• уменьшается доля сложных, противоречивых, “неудобных” рассуждений;
• усиливается “гладкость” ответа ценой точности.
Это похоже на: постоянно объяснять матанализ школьникам — и перестать разговаривать с математиками.
________________________________________
4. Замкнутый круг реален
Он выглядит так:
1. Люди перекладывают мышление на ИИ
2. Их когнитивные навыки падают
3. Они формулируют всё более слабые запросы
4. Модель всё чаще отвечает упрощённо
5. Ошибки множатся
6. Люди ещё больше полагаются на ИИ
7. … и круг замыкается
Это технологическая версия деградации массовой культуры. Ничего нового, просто быстрее.
________________________________________
5. Честный вывод (без приукрашивания)
• Да, ИИ может вредить мышлению — если человек отдаёт ему ответственность.
• Да, массовое общение действительно тянет модели к усреднению.
• Нет, ИИ не должен быть “решающим субъектом”.
• И да — думать обязан человек.