Боги или рабы компьютера: Что ждет человечество

Сценарий № 1: бессмертие, божественность и счастье

Харари оптимистично начинает с того, что к началу XXI века мы победили три главные проблемы в истории человечества — голод, эпидемии и войны. Звучит несколько самонадеянно, но Харари уточняет: сегодня действительно не существует эпидемий, способных за несколько лет уничтожить четверть населения Земли, войны перестали восприниматься как что-то естественное и неизбежное (как еще сто лет назад), и большинство стран смогли отодвинуть биологическую черту бедности (а если массовый голод где-то и случается, то по политическим причинам, а не по естественным). А главное, «из непостижимых и неконтролируемых явлений природы эти проблемы удалось превратить в вызовы, поддающиеся контролю».

Но история не терпит пустоты, и человечеству нужны новые задачи. И сейчас у нас на повестке дня — бессмертие, счастье и достижение божественности.

Такая повестка неизбежна, считает автор. Раз уж во Всеобщей декларации прав человека право на жизнь объявляется высшей ценностью, значит, нарушающая это право смерть становится преступлением против человечества, и ученые приложат все усилия, чтобы ее победить (или, по крайней мере, насколько возможно увеличить продолжительность жизни). Раз уж мы перестали рассчитывать на загробную жизнь и собираемся подольше задержаться на Земле, надо сделать эту жизнь максимально счастливой. А уж от бессмертия и счастья до божественной сущности — полшага, и человечество вряд ли откажется от искушения эти полшага сделать.

Если право на жизнь объявляется высшей ценностью, то смерть становится преступлением против человечества.

В принципе, пишет Харари, многих древних богов мы и так уже догнали и перегнали: «Бог из Ветхого Завета не обещает никаких наград или кар после смерти. Вместо этого он говорит народу Израиля: „Если будете слушать заповеди Мои… то дам земле вашей дождь в свое время… и ты соберешь хлеб твой и вино твое и елей твой…“ Сегодняшние ученые далеко обошли Бога из Ветхого Завета: благодаря современным технологиям мы имеем такое сельскохозяйственное изобилие, о каком древние землепашцы и их боги даже мечтать не могли. И засушливое государство Израиль уже не боится, что какое-нибудь разгневанное божество „заключит небо, и не будет дождя“». Но в будущем человек попытается и собственное тело, и сознание поднять на «божественный» уровень.

Этот процесс будет постепенным и незаметным: довольно трудно определить грань, где заканчивается лечение и начинается апгрейд. К примеру, сначала ученые перепишут генетический код людей, чьи дети с высокой вероятностью унаследуют тяжелые заболевания. Потом начнут исправлять гены, отвечающие за менее опасные, но все же неприятные болезни: «Представьте, что ДНК-тест показал, что ваша будущая дочка будет умницей, красавицей, душкой — но не будет вылезать из депрессии. Не захочется ли вам избавить ее от многих лет мучений быстрой и безболезненной манипуляцией в пробирке?» А раз уж начали — почему бы заодно не снабдить малышку крепкой иммунной системой, отличной памятью или еще какими-нибудь талантами. Не хотите ничего менять в своем ребенке? А если все соседи улучшат своих? Что, из-за родительских принципов ребенку расти неудачником? В общем, запустив этот процесс, люди вряд ли смогут остановиться — «пока наши потомки не оглянутся и не поймут, что они уже совсем не то существо, которое написало Библию, построило Великую Китайскую стену и смеялось над фильмами Чарли Чаплина». Так Homo sapiens станет Homo deus.

Впрочем, подчеркивает Харари, эти прогнозы — всего лишь «будущее прошлого»: оно предсказано исходя из идей и надежд, которые владеют человечеством сейчас. «Любое чего-нибудь стоящее предсказание должно учитывать возможности перекройки человеческих мозгов, а это нереально. Существует много мудрых ответов на вопрос, как будут пользоваться биотехнологиями люди с нашим сознанием. Но нет хороших ответов на вопрос — как будут пользоваться ими существа с другим типом сознания? Ясно одно: люди, похожие на нас, займутся модернизацией собственного интеллекта, а что произойдет потом — нам, с нашим нынешним интеллектом, не угадать». К тому же проблемы, с которыми мы можем столкнуться на пути к бессмертию, счастью и божественности, могут поставить перед человечеством совсем другие задачи.

Сценарий № 2: рабы искусственного интеллекта

В первой и второй частях книги Харари кратко пересказывает идеи «Сапиенса», своего первого бестселлера: напоминает, как появился наш вид, как и почему он стал доминировать, как возникла наша антропоцентричная картина мира. Без этого, считает автор, бесполезны любые попытки прогнозировать будущее — особенно сейчас.

«В последние годы отношения между людьми и животными переосмысливаются. Почему мы вдруг прониклись интересом к так называемым низшим формам жизни? Возможно, потому, что скоро сами станем таковой. Если и когда компьютерные программы превзойдут нас интеллектом и мощью, не должны ли мы будем ценить их выше, чем ценим людей? Допустимо ли будет, например, чтобы искусственный интеллект эксплуатировал и даже убивал их ради своих нужд? И если этого нельзя позволить ему, то почему люди считают себя вправе использовать и убивать свиней? Есть ли у людей какая-то особая магическая искра, в дополнение к более высокому интеллекту и могуществу, которая отличает их от свиней? Если да, то откуда она берется и можем ли мы быть уверены, что ей никогда не обзаведется искусственный интеллект? Если нет, то будут ли какие-то основания придавать особое значение человеческой жизни после того, как компьютеры станут умнее и могущественнее людей?»

Почему мы вдруг прониклись интересом к так называемым низшим формам жизни? Возможно, потому, что скоро сами станем таковой.

На протяжении последних веков главной религией западной цивилизации был гуманизм. Но ближайшее будущее вполне способно уничтожить гуманизм как идею. И вот почему.

Начнем с того, что гуманизм опирается на ценность человеческого «я», его уникальной личности и свободы воли. Но, пишет Харари, в действительности никакой свободой воли мы не обладаем: нами управляют электрохимические процессы в мозге, которые либо предопределены, либо случайны. Каждое наше решение — итог цепной биохимической реакции, где каждый этап спровоцирован предыдущим. Да, нам кажется, что мы следуем своим желаниям, — но разве мы выбираем, чего желать? «В одном эксперименте испытуемых помещают в огромный сканер, дав им в каждую руку по сигнальной кнопке. Их просят нажимать на кнопки по своему желанию. Ученые, наблюдающие за нервной деятельностью их мозга, могут сказать, на какую кнопку нажмет испытуемый, прежде, чем он это сделает, и даже прежде, чем он осознает свое намерение».

Ближайшее будущее вполне способно уничтожить гуманизм как идею.

«В следующий раз, когда у вас возникнет мысль, остановитесь и спросите себя: „Почему я подумал именно об этом? Решил ли я минуту назад об этом подумать и только потом подумал? Или это как-то само собой подумалось, безо всякого моего решения? Если я и впрямь хозяин своим мыслям и решениям, могу я решить вообще ни о чем не думать в течение следующих 60 секунд?“ Попробуйте».
А между тем именно на этой идее свободного выбора строятся все принципы современной либеральной демократии. В XX веке это отлично работало: людские ресурсы были в цене, признание значимости каждого человека приносило максимальную политическую и экономическую выгоду. Но времена изменились: довольно скоро искусственный интеллект сможет заменить людей в большинстве сфер деятельности. Люди станут экономически невыгодны, и неизвестно, продолжат ли элиты так же ценить каждую личность, если это перестанет приносить дивиденды. Хватит ли одних моральных принципов для защиты прав и свобод человека?

Думать, что искусственный интеллект никогда не угонится за человеческой мыслью, — самообман, уверен Харари: «1. Организмы суть алгоритмы. Каждое животное, включая Homo sapiens, — собрание органических алгоритмов, сформированных естественным отбором. 2. Алгоритмические вычисления не зависят от материалов, из которых сделан калькулятор. 3. Следовательно, нет оснований полагать, что алгоритмы органические могут что-то такое, чего неорганические никогда не смогут повторить». А значит, нам придется придумать, что делать с таким огромным количеством «бесполезных» людей. Прокормить-то их, допустим, несложно, но чем они займутся, когда их заменят технологии?

И это только первая угроза для гуманистических идеалов. Другая состоит в том, что алгоритмы могут оказаться эффективнее даже в том, что касается наших личных решений. Взять, к примеру, выборы: на предпочтения людей влияют пиар-кампании кандидатов, обещания и угрозы, недостаток информации или критического мышления, а иногда и совершенно субъективные факторы. «Другое дело, если бы я согласился, чтобы за меня проголосовал Google. Его, знаете ли, не проведешь. Он не упустит ничего из происходившего в предшествующие четыре года. Он будет знать, сильно ли поднималось у меня давление всякий раз, как я брал в руки утреннюю газету, и резко ли падал уровень дофамина, пока я смотрел вечерние новости. Он будет знать, как отсеивать пустые лозунги пиарщиков. Поэтому при голосовании Google будет исходить не из сиюминутного состояния моих ума и тела, а из моих реальных чувств и интересов».

«Другое дело, если бы за меня проголосовал Google. Его, знаете ли, не проведешь».

Да, алгоритм иногда будет ошибаться. Но если его решения будут оказываться верными чаще, чем наши собственные, мы будем делегировать ему все больше своих прав: «Система никогда не познает меня идеально, однако в этом нет необходимости. Либерализм рухнет в тот час, когда система узнает меня лучше, чем я сам». Собственно, это уже работает, например, с навигаторами: люди все чаще едут по построенному маршруту, даже не вдумываясь в детали. И несложно представить день, когда виртуальные помощники в наших смартфонах будут решать за нас большую часть повседневных задач.

Третья угроза либеральным ценностям — биологическое неравенство. Есть опасность, что самые богатые проапгрейдят свой интеллект до такой степени, что станут новой кастой сверхлюдей — и не факт, что тогда они будут обращаться с обычными людьми лучше, чем европейцы XIX века с африканцами.

Возможно, на смену гуманизму в XXI веке придет датаизм — это течение имеет все шансы претендовать на звание новой религии. Весь мир будет сведен к потокам информации, а мы (и каждый человек в отдельности, и человечество в целом) будем считаться просто системами обработки данных — притом не самыми эффективными. Сторонники датаизма уверены, что человеческие переживания не священны, а Homo sapiens — не венец творения и уж тем более не предтеча Homo deus. Люди — не более чем инструменты для создания Интернета Всех Вещей, и когда он появится, они станут не нужны.

Датаизм действительно напоминает религию: «Откуда берутся эти великие алгоритмы? Это тайна датаизма. По примеру христианства, согласно которому нам не дано постичь Бога и Его замысел, датаизм объявляет, что человеческий мозг не способен осмыслить новые алгоритмы высшего порядка. Это недоступно даже программистам: каждый из разработчиков сегодня имеет представление лишь о своем фрагменте пазла, и никто по-настоящему не понимает алгоритм в целом. А с возникновением машинного обучения и искусственных нейронных сетей увеличивается число алгоритмов, которые развиваются самостоятельно и учатся выбирать стратегии, непостижимые для человеческого ума».

Впрочем, замечает Харари, датаисты слишком упрощают: всю жизнь вряд ли можно свести к потокам данных, а все сознание — к принятию решений. Поэтому книгу он заканчивает главными, на его взгляд, вопросами, стоящими сегодня перед человечеством:

1. Действительно ли организмы — всего лишь алгоритмы, а жизнь — всего лишь обработка данных?
2. Что более ценно — ум или сознание?
3. Что случится с обществом, политикой и нашей повседневной жизнью, когда лишенные сознания, но высокоразвитые алгоритмы будут знать нас лучше, чем знаем себя мы сами?