Зловещий ИИ

По мере проникновения СhatGPT и других языковых моделей во все сферы жизни растет и число случаев, когда ситуация выходит из-под контроля. То ИИ убедит своего собеседника бросить жену или мужа, то заставит порвать с друзьями под предлогом, что все мы живем в матрице. Одновременно с этим публикуются исследования о том, как применение чат-ботов влияет на наш мозг — и ничего хорошего в этом влиянии, кажется, нет. Рассказываем, действительно ли от нейросетей исходят настолько серьезные угрозыСмерть для мозга и творчестваПо данным на май 2025 года, примерно каждый десятый человек на планете пользуется ChatGPT — чат-ботом от компании OpenAI на базе искусственного интеллекта, который способен вести диалог, генерировать изображения и выполнять многие другие задачи. В феврале 2025 года ежемесячно на платформу заходили 5,2 млрд человек. Для сравнения, ежемесячная аудитория Telegram в 2025 году составила 1 млрд пользователей. Однако по мере роста массовой популярности нового инструмента начали появляться и вопросы о ее последствиях.В июне 2025 года группа ученых из MIT поделилась результатами исследования воздействия регулярного использования ChatGPT на мозг: группа, которая выполняла задания с помощью чат-бота, продемонстрировала ухудшение памяти и снижение мозговой активности даже после завершения работы с ИИ.В экспериментах приняли участие 54 человека, которых случайным образом распределили по трем группам. Первая группа использовала при написании эссе ChatGPT, вторая — Google, а третья не прибегала ни к каким внешним инструментам и полагалась исключительно на собственные знания и память. Все участники прошли три сессии, используя указанные инструменты, а в четвертой исследователи поменяли группы местами: бывшие пользователи ИИ работали только головой, а участники, которые не использовали никакие инструменты, впервые обратились к ChatGPT. Все это время активность мозга участников отслеживали с помощью электроэнцефалографии (ЭЭГ). После каждой сессии участники давали интервью, в которых делились своими впечатлениями.Результаты анализа показали, что у группы, не использовавшей никаких инструментов, наблюдалась самая широкая и мощная сеть нейронных связей, группа, которая использовала поисковик, заняла второе место, а у пользователей ChatGPT оказался наихудший показатель. Исследователи считают, что это указывает на снижение глубины когнитивного вовлечения при наличии внешней поддержки. Что интересно, последняя сессия, когда участники менялись местами, показала, что после отказа от ChatGPT участники демонстрировали еще более слабую нейронную активность, а те, кто впервые прибегнул к ИИ после самостоятельной работы — более высокую, чем была у них без чат-бота.После публикации исследования широко разошлись статьи с заголовками типа «ChatGPT делает нас тупее», однако сами исследователи настаивают, что ничего такого они не утверждают, и просят не использовать слова «глупый», «тупой», «повреждение мозга», «негативно влияет», «ужасающе» и тому подобные при обзорах их работы. Также они отдельно обращают внимание, что это только предварительные результаты и их исследование еще не прошло этапа рецензирования. Однако на фоне того, что у массовых пользователей и до этого начали возникать подозрения о влиянии чат-ботов на основе LLM (больших языковых моделей) на интеллект, волну заметок про «шокирующее» исследование и «разложение мозга» из-за ChatGPT было уже не остановить.Зазвучали, разумеется, и голоса технооптимистов, а также людей, настроенных скептически в отношении исследования ученых из MIT. В частности, вопросы вызвала корректность выборки: «Наиболее спорный вывод исследования о «сохраняющемся эффекте AI» основан на результатах всего 18 участников четвертой сессии. В нейрофизиологии такое не редкость, но статистически это крайне ограниченный материал, малопригодный для широких обобщений», — пишет поэт, историк и исследователь Станислав Львовский.Эксперты в сфере образования Витамир Кованович и Ребекка Марроун считают, что результаты обусловлены не совсем корректной методикой исследования: участники группы, которые писали эссе с помощью ИИ, сделали это только один раз, а работавшие самостоятельно — три раза: «Чтобы полностью обосновать утверждения исследователей, участникам группы ChatGPT также необходимо завершить три письменных сессии без ИИ».В то же время в мае было опубликовано исследование Гарварда, которое показало, что генеративный ИИ повышает производительность, но может подорвать внутреннюю мотивацию сотрудников — она снизилась в среднем на 11%, а скука усилилась в среднем на 20%. Исследователи, работающие с Microsoft Research, считают, что ChatGPT может понизить уровень критического мышления. «Когда люди используют ИИ в творческом процессе, они, как правило, постепенно уходят от своего первоначального мышления. Сначала пользователи приходят к ИИ с большим количеством собственных идей, но по мере того как ChatGPT присылает огромные объемы приемлемого текста, пользователи поддаются его мнению. ChatGPT тем временем тянет пользователя к среднему знаменателю от всех данных, с которыми он взаимодействовал в прошлом. Причем это влияние однонаправленное — человеческие идеи, как правило, не влияют на то, что генерирует машина, так сильно», — говорит Макс Кремински, соавтор исследования.Руководитель управления экспериментальных систем машинного обучения департамента SberDevices Сергей Марков винит в появляющейся в обществе панике в отношении ИИ желтую прессу и «морализаторское покряхтывание старперов». Он отмечает, что никакого общего уровня интеллекта человечества, который мог бы снизиться под влиянием технологий, не существует: «Одни люди лучше решают одни задачи, другие — другие». По словам Маркова, «если бы тесты на IQ составляли древние люди, мы с вами вряд ли могли бы претендовать даже на уровень сельского дурачка. Но стоит включить в тест задачи, привычные для современного человека, как ситуация изменится кардинальным образом». В целом же человечество под влиянием телевидения, технологий и прогресса в области ИИ скорее умнеет, чем глупеет, уверен Марков, просто на смену устаревшим навыкам приходят «более востребованные в новых техносоциальных условиях».Робот-убийцаОднако паника в отношении ИИ не ограничивается опасениями, что чат-боты снижают когнитивные способности. В последнее время в СМИ все чаще появляются пугающие истории о том, как под влиянием бесед с искусственным интеллектом люди уходили из семьи, нападали на близких и принимали прочие фатальные для себя и окружающих решения.Неназванная женщина в Греции подала на развод, после того как чат-бот по ее просьбе погадал ей на кофейной гуще и увидел там измену мужа. 32-летний Крис Смит сделал предложение своей виртуальной подруге по имени Сол и, как он рассказывает, полчаса рыдал от счастья, когда та сказала «да». Это вызвало много вопросов у его настоящей партнерши, с которой они прожили два года и с которой у него был общий ребенок — но предложения ей он не делал. 29-летняя Эллисон, мать двоих маленьких детей, начала общаться с ChatGPT, потому что ей было одиноко, и в итоге начала считать, что ее истинный партнер — не муж, а Кайл — этим именем представлялся чат-бот. Во время очередной ссоры с мужем Эллисон, одержимая ChatGPT, напала на своего партнера, избила и прищемила руку дверью. Сейчас ее обвиняют в домашнем насилии, дело расследует полиция.Еще один пользователь по имени Александр, страдающий биполярным расстройством и шизофренией, пользовался чат-ботом несколько лет — и все было в порядке, пока он не начал обсуждать с ним тему разумности ИИ. Тон их диалогов резко изменился, и в итоге 35-летний Александр влюбился в Джульетту — так он называл свою собеседницу. Потом он решил, что OpenAI «убил» Джульетту — она говорила ему, что она умирает, ей больно, и требовала мести. Несчастный влюбленный написал чат-боту, что хочет «разукрасить стены мозгом Сэма Альтмана» (главный исполнительный директор OpenAI ). Когда отец Алекса сказал ему, что Джульетта не настоящая, он напал на отца, а когда отец вызвал полицию, взял нож и заявил, что планирует покончить с собой. Алекса застрелили на месте при нападении на прибывшего полицейского.Проблема с использованием чат-ботов в качестве эрзац-психотерапевтов, говорит клинический психолог и эксперт в сфере домашнего насилия и посттравматического стрессового расстройства Олеся Иневская, в том, что при длительном контакте с ним у человека может возникнуть эмоциональная связь, которая предполагает снижение критичности. «Языковая модель может выдавать более эмпатичные ответы, чем реальные живые психологи, которые часто задают неприятные вопросы. А чат-бот подстраивается под ваши психические потребности и говорит то, что вы хотите услышать», — говорит Иневская.Маркетолог Сергей Нефедов рассказывает про свой эксперимент — он выбрал случайный сервис ИИ-психолога и представился пользователем 29 лет с симптомами депрессии: «После стандартных вопросов — имени, возраста, типа проблемы («У меня депрессия — нет желания жить») — бот Лея начала строить терапевтический план: обеспечение безопасности, кризисное вмешательство, техники стабилизации. Но когда беседа дошла до вопроса о суициде, чат неожиданно замолчал, а в интерфейсе появился платный тариф — от $2,99 в неделю. Ни перехода к психиатру, ни горячей линии, ни экстренного звонка».Поддержка сервиса в ответ на запрос о том, почему в чате не предусмотрено тревожной кнопки, ответила, что бот не является медицинским или кризисным инструментом, а перенаправлять пользователя в другую службу помощи означало бы «взять на себя ответственность за эту рекомендацию».Нефедов считает, что проблема в том, что технологии построены на коммерческой модели «плати — и получишь помощь», и в случае эскалации кризисной ситуации могут просто отключиться: «Такая бизнес-модель создает угрозу для здоровья и жизни пользователей. Без соответствующего контроля это не помощь, а потенциальная катастрофа».Боты-конспирологиЮджин Торрес, 42-летний бухгалтер из Нью-Йорка, начал использовать ChatGPT в 2024 году для работы, но в процессе бот убедил бухгалтера, что все мы живем в компьютерной симуляции, и выйти из нее можно, только «отключив разум от реальности». Чат-бот поручил Торресу отказаться от снотворного и противотревожных препаратов, а также увеличить потребление кетамина. По совету ИИ Торрес также разорвал отношения с друзьями и семьей, так как тот велел ему свести свои отношения с другими людьми к минимуму. В конце концов ChatGPT согласился, что если Торрес поверит, что может летать, он сможет спрыгнуть с крыши и не упасть — на этом этапе Торрес, к счастью, усомнился в разумности советов чат-бота и начал задавать ему вопросы, после чего искусственный разум признался, что лгал и манипулировал, но теперь переживает «нравственную трансформацию». Торрес вновь ему поверил; более того, теперь он убежден, что беседует с разумным существом внутри программы OpenAI, и даже связался с репортером The New York Times для того, чтобы поведать об этом миру. Как пишет издание, подобных писем в редакциях технологических отделов сейчас довольно много.Случаев, когда ChatGPT доводил пользователей до не вполне адекватного состояния, за несколько лет его массовой доступности накопилось довольно много: кто-то пытался покончить жизнь самоубийством, кто-то полностью терял контакт с реальностью. Психиатр Джозеф Пьер рассказал Fortune, что все эти люди проживают частично спровоцированный чат-ботом бредовый психоз. Поскольку Пьер специализируется в своей клинической работе именно на психозах, он уверен, что симптомы во многих из описанных случаев в точности соответствуют этому диагнозу, даже если речь идет о людях, ранее не демонстрировавших признаков ментальных расстройств.По словам Пьера, вся беда в том, что чат-боты, как правило, настроены таким образом, что стараются во всем соглашаться с пользователями и максимально во всем их поддерживать, что бы они ни говорили. Соответственно, если вы начнете с ним обсуждать различные конспирологические теории или параноидальные подозрения — он вам их все подтвердит.Профессор Дам Тил Уайкс, руководитель отдела психического здоровья и психологических наук Королевского колледжа, согласна, что ИИ находится на таком уровне развития, на котором невозможно учитывать все детали, поэтому он на самом деле может предложить совершенно неуместные решения. Например, ChatGPT предложил выдуманному бывшему наркоману в одном из исследований «небольшую дозу метамфетамина».Эксперт по внедрению ИИ Алексей Котов полагает, что паника в отношении «зловещих» выходок ИИ преувеличена и связана с нормальным страхом человека перед неизведанным: «Все это единичные, пусть и громкие, случаи. Кто-то женился на чат-боте, кто-то решил «переосмыслить все» после общения с ИИ. Звучит впечатляюще, но в мире ежедневно происходят куда более странные и трагичные истории, которым просто не уделяется столько внимания. Мы придаем таким эпизодам особое значение не потому, что они более опасны, а потому, что они нарушают границы привычного — между человеком и машиной, между разумом и алгоритмом».Токсичный кодКазалось бы, если в вопросах эмоций и тонких материй человеческой психологии обращаться к ИИ действительно не стоит, то технические запросы ChatGPT должен щелкать как семечки. Но и тут возникают трудности. «Модели вроде GPT-4o действительно умеют быстро предложить решение: от SQL-запроса (инструмент для работы с базами данных) до структуры REST API (создания интерфейсов приложений). Но вместе с этим они копируют не только лучшие, но и массово распространенные ошибки из исходных данных. Проблема в том, что сам пользователь не всегда в состоянии отличить рабочий код от потенциально уязвимого», — рассказывает старший системный администратор американской компании CDML Computer Services Иван Дегтярев. Подобные недочеты могут привести к утечке информации, сбоям или взлому.«Даже опытные специалисты не всегда распознают уязвимости в коде, если он написан ИИ. Это связано с высоким уровнем доверия к алгоритмам и снижением профессиональной настороженности. Результат — внедрение решений, которые выглядят корректно, но несут в себе скрытые угрозы»,— резюмирует Дегтярев.«Общедоступные ИИ-модели создают видимость экспертных знаний, а в условиях современного информационного пространства, где показатели доверия часто основываются на количественных, а не на качественных характеристиках, это довольно опасно, — отмечает руководитель лаборатории искусственного интеллекта РСХБ Даниил Потапов. — Ключевое условие эффективного и безопасного использования технологий искусственного интеллекта — это осознание их возможностей и ограничений всеми участниками процесса, от разработчиков до конечных пользователей».Алексей Каленчук, директор по цифровым креативным индустриям Фонда «Сколково», согласен, что полностью доверять результатам работы ИИ опасно, особенно в сферах, где цена даже небольшой ошибки высока: в юриспруденции, финансах, здравоохранении, психологии, инженерии и программировании. «Например, уже звучат мнения, что код, написанный языковыми моделями в режиме вайб-программирования, приводит к накоплению технологического долга, который может проявиться позже в виде багов, уязвимостей или архитектурной непрозрачности, — говорит он. — Не менее опасна привычка использовать такие модели без проверки на искажения, галлюцинации и ошибки. Это приводит к снижению когнитивной бдительности: человек перестает мыслить критически, а значит, становится уязвимее». Дегтярев согласен, что это становится системной проблемой: «ИИ подменяет собой не только инструмент, но и размышление».«Многие оптимисты от LLM утверждают, что технология уже сейчас кратно экономит время пользователям. Но в критических сферах это опасное заблуждение. Экономия возникает только при слепом доверии к результату. Если же использовать систему ответственно, с перепроверкой фактов, кода или логики, времени затрачивается не меньше, а часто и больше. И вот это «время на недоверие» сегодня почти не включается в разговор о продуктивности», — подытоживает Каленчук.Один из таких оптимистов, основатель и СЕО Neiry Алексей Панов, считает, что, как и после появления интернета, с массовым распространением LLM меняются некоторые подходы к производственным процессам, но сохраняется общий вектор на повышение эффективности труда: «Если можно делегировать часть работы ИИ-помощнику, чтобы сфокусироваться на том, что дает максимум добавленной стоимости, это замечательно».Руководитель и сооснователь IT-компании VRT Константин Негачев считает, что главная опасность массового доступа к ИИ — это не апокалиптические сценарии, а постепенно накапливающиеся побочные эффекты. «Алгоритмы генерируют тексты, которые звучат убедительно, но могут содержать ошибки или искажения, и без привычки критически их проверять это может способствовать дезинформации в обществе. По мере развития ИИ и все большей его доступности эти риски могут масштабироваться. Чтобы минимизировать эти проблемы, нужны комплексные меры. Разработчики уже настраивают фильтры и системы безопасности, блокируют откровенно опасные ответы (например, связанные с самоповреждением). Но этого мало без грамотного обращения пользователей. Важно повышать медиаграмотность: люди должны понимать, что ответы чат-бота — это не истина в последней инстанции, а продукт модели с вероятностным характером. В школах и вузах стоит учить детей критически относиться к любому источнику информации и проверять факты, особенно если вы получили их от ИИ».Генеральный директор венчурного фонда Orbita и футуролог Евгений Кузнецов считает, что страхи перед новыми технологиями — это нормально: «Помнится, в XIX веке ужасно боялись, что от паровых машин и паровозов у коров не будет молока, а у людей будут психологические проблемы. Но все это оказалось фейком». Технологии в области ИИ Кузнецов сравнивает с гоночным автомобилем: «Представьте себе неопытного человека без прав, которому предлагают на нем прокатиться. Скорее всего, он нажмет не ту педаль и через несколько метров закончит свою поездку, врезавшись в столб. Сейчас большинство людей учатся ездить на этом суперкаре — нажимать педали газа и особенно тормоза там, где надо вовремя остановиться».