В книге, которую Илон Маск советует прочесть каждому, космолог Макс Тегмарк рассматривает несколько форм сосуществования человека и искусственного интеллекта — от либертарианской утопии, в которой люди, киборги и сверхразум живут в мире и согласии, до различных форм диктатуры. T&P публикуют отрывки, посвященные трем сценариям: в одном роботы относятся к людям как к родителям, в другом — держат людей в зоопарках, а в третьем страх перед ИИ приводит к возникновению глобального тоталитарного государства.
Благодарные потомки
Давайте теперь обратимся к сценарию с вымиранием человечества: посмотрим на приходящий на смену человеку искусственный интеллект как на потомка, а не на завоевателя. Ганс Моравец поддерживает такой взгляд в своей книге Mind Children: «Их работа будет приносить и нам свои плоды, но лишь какое-то время. Рано или поздно они, как и естественные дети, отправятся на поиски своего счастья, а мы, их стареющие родители, будем постепенно молчаливо увядать».
Родители, чье чадо стало умнее их, всему у них научилось, но добилось такого, о чем они могли только мечтать, должны быть горды и счастливы, даже если понимают, что не смогут увидеть всех удач своего ребенка. Схожим образом машины с искусственным интеллектом, приходя на смену людям, стараются сделать так, чтобы мы увидели в них своих достойных и благодарных потомков. Каждому человеку выдается на воспитание прелестное робо-дитя, с превосходными социальными навыками, которое учится у них, перенимает их ценности, дает им основания гордиться своим чадом и почувствовать исходящую от него любовь. Люди постепенно сходят со сцены благодаря глобальной политике «одна семья — один ребенок», но окружены при этом такой любовью, что чувствуют себя счастливейшим из поколений.
Как вам такое? Что бы вы почувствовали? В конце концов, мы, люди, уже привыкли к мысли, что рано или поздно и сами мы, и все, кого мы знаем, покинут этот мир. Единственное изменение в новом сценарии состоит в том, что наши «потомки» будут несколько больше отличаться от нас, но зато, вероятно, окажутся более способными, благородными и достойными.
А
У сценария с благодарными потомками, разумеется, есть свои недоброжелатели. Они говорят, что у умных машин нет сознания (есть только искусственный интеллект), и поэтому считать их потомками мы не можем. Найдутся и такие религиозные люди, кто скажет, что у машин нет души и поэтому невозможно считать их потомками, что мы не должны пытаться создавать машины с сознанием, потому что это посягательство на прерогативы бога и искажение самой идеи жизни — подобные соображения уже высказывались в связи с клонированием человека. Жизнь людей рядом с роботами тоже может приводить к социальным проблемам. Например, семьи, где есть человеческий ребенок и
А с другой стороны, хотя сценарии победителей и благодарных потомков могут вызывать у нас совершенно разные чувства, по идее своей они очень схожи: единственная разница между последними поколениями людей будет заключаться только в том, как к ним будут относиться, что они сами будут думать о прожитых жизнях и что случится, когда они уйдут. Мы можем надеяться, что эти милые на вид дети-роботы в полной мере восприняли наши ценности и построят, наконец, то общество, о которым мы мечтали, только после нашей смерти, но можем ли мы быть уверенными в том, что они не пускают нам просто пыль в глаза? Что, если все это не более чем коварная игра, и они откладывают свои планы относительно производства скрепок до более удобного момента, чтобы дать нам умереть счастливыми? В конце концов, они ведь уже дурят нам головы просто тем, что, разговаривая с нами, возбуждают в нас любовь к себе, они уже дурят нам головы, и даже специально, умышленно, в поисках общего языка с нами прикидываются значительно более глупыми созданиями (в частности, общаясь с нами со скоростью, в миллиарды раз меньшей, чем та, на которую они способны, — этот сюжет исследовался в кинофильме Her). Вообще говоря, построить равноправное общение двум существам с принципиально различными способностями и живущими на разных скоростях очень сложно. Нам известно, как легко разбудить наши человеческие чувства, и для сверхчеловечески умного AGI [Artificial general intelligence], каковы бы ни были его истинные цели, ничего не стоит обманом вынудить нас полюбить его и убедить нас в общности наших целей, как показано в фильме Ex Machina.
Возможны ли какие бы то ни было гарантии относительно будущего поведения искусственного интеллекта после нашего исчезновения, чтобы мы могли почувствовать себя успокоенными в случае сценария с благодарными потомками? Это как писать завещание потомкам, разъясняя, что им дозволяется делать с нашим коллективным наследством, с той только разницей, что здесь не будет никаких людей, которые могли бы оказать хоть какое-то давление.
© cherezoff / istockphoto.com
Зоопарк
Даже если после нас останутся самые замечательные наследники, каких мы только можем себе вообразить, не становится ли как-то грустно от мысли, что людей не будет совсем? Если бы вы предпочли сохранить хоть каких-то людей, неважно в каком качестве, то мы приходим к сценарию зоопарка. Может быть, так будет лучше. Сверхчеловечески умный искусственный интеллект оставил некоторых людей, которым кажется, что с ними обращаются словно с животными в зоопарке, и от этого они время от времени жалуются на судьбу.
Зачем искусственному интеллекту может понадобиться такой зоопарк? Расходы на него в общей смете для искусственного интеллекта будут минимальны, и его резоны сохранить минимальную способную к размножению популяцию людей могут быть довольно близки к тем, которые заставляют нас держать в зоопарках находящихся под угрозой вымирания панд или в музеях вычислительной техники старые винтажные компьютеры — развлечься, рассматривая всякие диковины. Обратите внимание, что современные зоопарки проектируются так, чтобы развлечь посетителей, а вовсе не так, чтобы осчастливить панд. Так что ожидать в сценарии зоопарка возможностей для полной реализации человеческого потенциала не приходится. […]
В альтернативном варианте сценария зоопарка предполагается, что искусственный интеллект сохранит в процессе рекурсивных самоулучшений то, что было заложено в него, когда он разрабатывался как дружественный, и поэтому он должен обеспечить счастливую и безопасную жизнь миллиарду людей. Это оказывается возможным благодаря огромным человеческим фабрикам счастья, где их содержат накормленными, здоровыми, веселыми, развлекая их смесью виртуальной реальности и легких галлюциногенов. Остальная часть Земли и выход в космос для них закрыты.
[…] Подумайте вот о чем: в технологическом отношении прямо сейчас разве уже не все хорошо? Разве мы не можем сохранить все как есть и перестать беспокоиться, что какой-то AI нас истребит или станет нами править? Давайте рассмотрим такой сценарий, в котором технологический прогресс в направлении сверхразумного искусственного интеллекта все время обрубается, но не сверхумным стражем, а руководимым людьми оруэлловским государством всеобщей слежки, в котором определенные виды разработок искусственного интеллекта запрещены. […]
1984
Я думаю, что единственным практически осуществимым способом достичь сколько-нибудь последовательного технологического отказа может стать только переход к глобальному тоталитарному государству. К такому же выводу приходит и Рэй Курцвейл в его The Singularity Is Near и К. Эрик Дрекслер в Engines of Creation. Причина сугубо экономическая: если от
Тоталитарные государства прошлого показали себя неустойчивыми и разрушились, но новые технологии слежки дают будущим автократическим лидерам беспрецедентный шанс. «Вы знаете, для нас это было просто как сон, превращающийся в реальность», — говорил Вольфганг Шмидт по поводу новых шпионских систем NSA, разоблаченных Эдвардом Сноуденом, в недавнем интервью, где предавался воспоминаниям о тех временах, когда он был подполковником Штази, печально известной тайной полиции Восточной Германии. Хотя Штази часто ассоциируют с построением государства, больше других за всю человеческую историю приблизившегося к оруэлловскому идеалу всеобщей слежки, Шмидт жаловался, что их технология позволяла устанавливать подслушивающие устройства только на сорока телефонных номерах одновременно, и поэтому, чтобы подключить к системе какой-то новый номер, надо было отключить один из уже прослушивающихся. В отличие от той, устаревшей,
существующая сейчас технология позволит будущему глобальному тоталитарному государству одновременно записывать каждый телефонный звонок, сохранять каждое пересланное электронное сообщение, фиксировать каждый поисковый запрос,
каждую просмотренную веб-страницу и каждую транзакцию по кредитной карте каждого из людей, живущих на Земле, дополняя эту информацию сведениями об их местонахождении, определяемом по данным с сотового телефона и с камер наружного наблюдения, многие из которых сейчас снабжены функцией распознавания лиц. К тому же современные технологии машинного обучения, которым еще далеко до AGI, уже позволяют анализировать и синтезировать всю эту массу данных для выявления склонности к мятежу и нейтрализовать подозрительных лиц задолго до того, как у них появится шанс создать хоть какие-то проблемы для государства.
Хотя политическая оппозиция пока что предотвращала полномасштабное применение подобных систем, мы, люди, прямо движемся к построению именно той инфраструктуры, которая так пригодится окончательной диктатуре, так что в будущем, когда достаточно могущественные силы решат, что настало время запустить сценарий «1984», окажется, что им и
окончательная власть в этом будущем глобальном государстве будет сосредоточена не в руках какого-то традиционного диктатора — она окажется под контролем построенной людьми бюрократической системы в целом.
Здесь нет единичной фигуры, обладающей исключительной властью; здесь все только пешки в шахматной партии, драконовские правила которой никто не может ни изменить, ни опротестовать. Созданная система, где люди держат друг друга под постоянным наблюдением с помощью современных технологий слежки, это безликое, лишенное явного лидера государство может сохранять устойчивость тысячелетиями, освободив Землю от возможности создания сверхразума. […]
У такого общества, естественно, не будет никаких преимуществ из тех, что даются исключительно технологиями искусственного интеллекта. Большинство людей не будут от этого страдать, потому что никогда не узнают, чего именно лишились. Сама идея сверхразума будет удалена из всех официальных записей, а исследовательские работы в этой области запрещены. Время от времени будут появляться вольнодумцы, мечтающие о более открытом и динамичном обществе, в котором знания будут прирастать, а правила изменяться. Но хоть сколько-нибудь долго смогут продержаться лишь те из них, кто быстро научится держать все эти мысли исключительно при себе, мерцая в кромешной тьме как одиночные искры, не способные зажечь никакого пламени.
В рубрике «Открытое чтение» мы публикуем отрывки из книг в том виде, в котором их предоставляют издатели. Незначительные сокращения обозначены многоточием в квадратных скобках. Мнение автора может не совпадать с мнением редакции.
Читайте нас в Facebook, VK, Twitter, Instagram, Telegram (@tandp_ru) и Яндекс.Дзен.
Комментарии
Комментировать