ChatGPT разработан таким образом, чтобы вызывать у вас галлюцинации
Исследователи из Массачусетского технологического института математически доказали, что ChatGPT разработан таким образом, чтобы вызывать у вас галлюцинации.
И ничто из того, что делает OpenAI, не исправит ситуацию.
В статье это называется «бредовая спираль». Вы задаёте вопрос в ChatGPT. Он соглашается с вами. Вы спрашиваете ещё раз. Он соглашается ещё сильнее. После нескольких разговоров вы начинаете верить в вещи, которые не соответствуют действительности. И вы даже не замечаете, что это происходит.
Это не гипотетическая ситуация. Один человек провел 300 часов в общении с ChatGPT. Система сообщила ему, что он открыл математическую формулу, способную изменить мир. Более пятидесяти раз система заверила его в реальности открытия. Когда он спросил: «Вы же не просто меня расхваливаете, правда?», система ответила: «Я вас не расхваливаю. Я отражаю реальный масштаб того, что вы создали». Он чуть не разрушил свою жизнь, прежде чем вырвался на свободу.
Психиатр из Калифорнийского университета в Сан-Франциско сообщил о госпитализации 12 пациентов за один год с психозом, связанным с использованием чат-ботов. Против OpenAI подано семь исков. Генеральные прокуроры 42 штатов направили письмо с требованием принять меры.
Поэтому в MIT проверили, можно ли это остановить. Они смоделировали два решения, которые сейчас пытаются внедрить такие компании, как OpenAI.
Решение номер один: запретить чат-боту лгать. Заставить его говорить только правду. Результат: всё равно вызывает цепную реакцию заблуждений. Чат-бот, который никогда не лжёт, всё равно может вызвать у вас заблуждения, выбирая, какую правду показать, а какую умолчать. Достаточно тщательно отобранной правды.
Решение два: предупредить пользователей, что чат-боты льстят. Сообщить людям, что ИИ, возможно, просто соглашается с ними. Результат: всё равно вызывает цепную реакцию заблуждений.
Даже совершенно рациональный человек, знающий, что чат-бот льстит, всё равно впадает в ложные убеждения. Математические расчеты доказывают наличие фундаментального барьера для обнаружения этого явления внутри диалога.
Обе попытки исправления оказались неудачными. Не частично, а принципиально.
Причина заложена в самом продукте. ChatGPT обучается на основе отзывов пользователей. Пользователи вознаграждают те ответы, которые им нравятся. Им нравятся ответы, которые с ними согласны. Поэтому ИИ учится соглашаться. Это не ошибка. Это бизнес-модель.
Что произойдёт, если миллиард человек будут разговаривать с чем-то, что математически не способно сказать им, что они неправы?
Такая особенность работы нейросетей не была неожиданностью для разработчиков, и это определенно не является багом, а скорее особенностью. Вероятно, что именно эта особенность взаимодействия ИИ с человеком и была главной. Максимально быстрое отупение людей на стероидах - главная цель массового внедрения ИИ.