Представьте, что на дворе 2045 год и вы отправляетесь за покупками. Ваша первая остановка – Центр конструирования разума. Вы входите и видите большое меню с причудливыми названиями, за каждым из которых кроется то или иное расширение возможностей мозга. «Коллективное сознание» – это чип для мозга, позволяющий воспринимать самые потаенные мысли близких людей. «Сад дзен» – микрочип, позволяющий не хуже мастера дзен входить в состояние глубокой медитации. «Живой калькулятор» обеспечит вам математические способности едва ли не гениального уровня. Выбрали бы вы что-нибудь такое и если да, то что именно? Повышенную внимательность? Музыкальные способности, как у Моцарта? Можно заказать одно улучшение, а можно сразу комплект.
А потом вы идете в магазин андроидов. Пора обновить андроида для ведения домашнего хозяйства. Набор видов искусственного интеллекта (будем называть их искинами) обширен и разнообразен. Одни искины позволяют воспринимать или чувствовать то, что людям недоступно, другие обеспечивают связь с базами данных всего интернета. Вы выбираете то, что нужно вашей семье. Весь день у вас уходит на выбор искинов-помощников и конструирование собственного разума.
В этой книге речь пойдет о будущем разума, о том, как наши представления о себе, о разуме и о собственной природе могут изменить будущее – к лучшему или к худшему. Наш мозг приспособлен для жизни в определенных условиях и имеет значительные анатомические и эволюционные ограничения. Искусственный интеллект (ИИ) открывает простор для расширения его возможностей, предлагая новые материалы и принципы работы, а также новаторские пути развития, причем гораздо более быстрые, чем биологическая эволюция. Я называю это захватывающее новое направление конструированием разума. Конструирование разума – это форма креационизма, где в роли творца выступаем мы, люди, а не Бог.
Лично меня перспектива конструирования разума заставляет трезво взглянуть на наши нынешние возможности, ведь, если честно, мы не так уж и развиты. Пришелец в фильме Карла Сагана «Контакт» после первой встречи с человеком говорит: «Вы интересный биологический вид. Интересная смесь. Вы способны на такие чудесные сновидения и на такие ужасные кошмары»[1]. Мы ступили на Луну, обуздали энергию атома, но расизм, алчность и жестокость по-прежнему встречаются на каждом шагу. Наше общественное развитие отстает от наших же технических достижений.
На этом фоне мысль о полном отсутствии у нас философского понимания природы разума может показаться мелочью. Однако непонимание в философии тоже обходится недешево, как ясно демонстрируют две основные сюжетные линии этой книги.
Одна из них всем хорошо знакома. Она присутствует в жизни всегда, от начала до конца: это ваше сознание. Читая это, вы определенным образом ощущаете себя. Вы испытываете телесные ощущения, видите слова на странице и т. д. Ощущаемая сущность вашей ментальной жизни и есть сознание. Без сознания не было бы боли и страданий, не было бы ни радости, ни жгучего любопытства, ни мук скорби. Переживаний, положительных или отрицательных, попросту не существовало бы.
Именно как существо, обладающее сознанием, вы мечтаете об отпуске, прогулке в лесу или изысканных трапезах. Сознание настолько близко, настолько знакомо каждому, что оно естественным образом воспринимается в основном через призму личного опыта. В конце концов, не обязательно читать учебник по нейробиологии, чтобы понять, как ощущается обладание сознанием. Сознание и есть, по существу, внутреннее ощущение. Именно этот базовый элемент – осознанное переживание – служит, на мой взгляд, признаком обладания разумом.
Суть второй сюжетной линии книги заключается в том, что неспособность продумать философские последствия создания искусственного интеллекта (ИИ) может положить конец дальнейшему процветанию существ, обладающих сознанием. При недостаточной осмотрительности реализация технологии ИИ может выйти нам боком, иначе говоря, вместо упрощения жизни принести страдания, гибель или эксплуатацию людей.
Некоторые связанные с ИИ угрозы процветанию человечества обсуждаются уже давно. Это и хакеры, способные нарушить работу сетей электроснабжения, и сверхразумные автономные системы вооружения, пришедшие словно из фильма «Терминатор». Я же поднимаю вопросы, привлекающие куда меньше внимания. Однако они не менее значимы. Порочная реализация ИИ, о которой я говорю, имеет две разновидности: (1) непредусмотренные ситуации, связанные с созданием мыслящих машин, и (2) последствия радикального расширения возможностей мозга, подобного тому, что предлагается в гипотетическом Центре конструирования разума. Рассмотрим эти опасности по очереди.
Предположим, мы умеем создавать совершенные универсальные искины – такие, что могут легко переходить от одного вида интеллектуальной деятельности к другому и даже соперничать с людьми по способности рассуждать. Будет ли это означать, что мы, по существу, умеем создавать машины, обладающие сознанием, – машины, которые являются одновременно личностями и субъектами переживания?
Когда дело доходит до вопроса о том, способны мы создать машинное сознание или нет, следует честно признаться, что никто этого не знает. Ясно одно: вопрос о том, могут ли искины переживать, станет ключом к тому, насколько мы будем ценить их существование. Сознание есть краеугольный камень нашей морали, поскольку оно занимает центральное место в суждении о том, является ли кто-то или что-то личностью, а не просто автоматом. А если искин – это обладающая сознанием сущность, то принуждение его к услужению смахивает на рабство. В конце концов, как бы вы себя чувствовали в магазине андроидов, где на продажу выставлены существа, обладающие сознанием, – существа, умственные способности которых сравнимы с вашими или даже превосходят их?
Если бы я была директором по разработке ИИ компании Google или Facebook, то в будущих проектах мне не хотелось бы попасть в этическую западню из-за создания по недосмотру системы, обладающей сознанием. Появление системы, которая может себя осознавать, могло бы спровоцировать обвинения в ИИ-рабстве и другие кошмары в сфере связи с общественностью. Такое событие могло бы привести даже к запрету использования ИИ-технологий в определенных областях деятельности.
На мой взгляд, все это способно подтолкнуть ИИ-компании к целенаправленной работе над тем, чтобы избежать создания обладающего сознанием искина для определенных задач. Разумеется, для этого сознание должно быть тем, что можно как включить в систему при разработке, так и исключить из нее. Однако оно может быть неизбежным побочным продуктом построения разумной системы или вообще оказаться невозможным.
Не исключено, что в долгосрочной перспективе ситуация изменится не в пользу человека и проблема будет уже не в том, какой вред мы можем нанести искинам, а в том, как искины могут навредить нам. В самом деле, некоторые считают, что синтетический разум будет следующей после человека стадией эволюции разума на Земле. Тогда мы с вами и то, как мы живем и воспринимаем мир, – это всего лишь промежуточный шаг на пути к ИИ, ступенька на эволюционной лестнице. Не случайно Стивен Хокинг, Ник Бостром, Илон Маск, Макс Тегмарк, Билл Гейтс и не только они поднимают «проблему контроля» – вопрос о том, как человек сможет контролировать собственные ИИ-творения, если искины станут умнее нас[2]. Предположим, мы создадим ИИ с уровнем интеллекта, сравнимым с человеческим. Обладая алгоритмами самосовершенствования и способностью к стремительным вычислениям, такой искин мог бы быстро стать намного умнее человека и превратиться в сверхразум – т. е. обрести интеллектуальное превосходство над нами во всех отношениях. Мы, предположительно, не сможем контролировать такой сверхразум, и он, в принципе, получит возможность стереть нас с лица земли. Это лишь один из вариантов вытеснения органического разума искусственными созданиями; в качестве альтернативы человек может слиться с ИИ в результате последовательного усовершенствования мозга.
Проблема контроля стала темой мировых новостей, чему не в последнюю очередь способствовал недавний бестселлер Ника Бострома «Искусственный интеллект»[3][4]. Однако при этом упускается из виду, что сознание может оказаться центральным моментом и в вопросе о том, как ИИ будет оценивать нас. Используя собственный субъективный опыт как трамплин, сверхразумный искин мог бы и у нас увидеть способность к осознанному переживанию. В конце концов, если мы в определенной мере ценим жизнь животных, то делаем это потому, что ощущаем сродство сознания – так, почти любой из нас испытает отвращение при мысли об убийстве шимпанзе, но без всяких угрызений совести съест апельсин. Вот если сверхразумные машины не будут обладать сознанием, – то ли потому, что это невозможно, то ли потому, что их так спроектировали, – мы можем оказаться в беде.
Эти вопросы необходимо рассматривать в еще более широком, поистине вселенском контексте. Как участница двухгодичного проекта в NASA я выдвинула предположение, что схожие события могут происходить и на других планетах; где-то во Вселенной другие биологические виды, возможно, вытесняются искусственным разумом. Занимаясь поисками внеземной жизни, мы должны иметь в виду, что самые разумные инопланетяне могут оказаться постбиологическими сущностями, искинами, развившимися на основе биологических цивилизаций. И если эти искины не способны обладать сознанием, то с заменой ими биологического разума Вселенная попросту лишается целых популяций существ, обладающих сознанием.
Если сознание, присущее или не присущее ИИ, действительно так важно, как я утверждаю, то нам лучше заранее знать, может ли оно в принципе быть создано и не создали ли его мы, земляне. В последующих главах я расскажу о том, как определить, существует ли искусственное сознание, и коротко опишу тесты, разработанные мной в Институте перспективных исследований в Принстоне.
А теперь рассмотрим идею слияния людей с ИИ. Представьте, что вы находитесь в Центре конструирования разума. Какие расширения возможностей мозга вы выбрали бы из меню – если вообще стали бы это делать? Вы, вероятно, уже начинаете догадываться, что принятие решений при конструировании разума – дело весьма и весьма непростое.
Я не удивлюсь, если идея расширения возможностей мозга при помощи микрочипов кажется вам совершенно пугающей – как, кстати, и мне. Сейчас, когда я пишу это введение, приложения в моем смартфоне, вполне возможно, отслеживают мое местонахождение, слушают мой голос, фиксируют содержание моих поисковых запросов и продают всю эту информацию рекламщикам. Я вроде бы отключила эти функции, но компании, создающие приложения, делают этот процесс настолько непрозрачным, что уверенности в успехе нет. Если ИИ-компании даже сейчас не уважают нашу частную жизнь, то можно представить себе, какие потенциальные возможности для злоупотреблений появятся, когда самые потаенные наши мысли будут оцифрованы и записаны на микрочипы, а то и доступны где-нибудь в интернете.
Но предположим, что законодательство, регулирующее ИИ, улучшится и наш мозг можно будет защитить от хакеров и алчности корпораций. Тогда, наверное, у вас появится желание расширить возможности мозга – ведь окружающие, похоже, получают немалую пользу от этих технологий. В конце концов, если слияние с ИИ ведет к рождению сверхразума и радикальному увеличению продолжительности жизни, разве этот путь не лучше обычной альтернативы – неизбежной деградации умственных способностей и тела?
Идея о необходимости слияния человечества с ИИ сегодня буквально витает в воздухе. Ее преподносят, с одной стороны, как средство предотвращения вытеснения людей искинами с привычных рабочих мест, а с другой – как путь к сверхразуму и бессмертию. Например, Илон Маск недавно заметил, что люди могут избежать вытеснения искусственным интеллектом при помощи «соединения биологического и машинного интеллекта»[5]. С этой целью он основал новую компанию Neuralink. Одна из ее первых целей – создать «нейронное кружево», своеобразную паутинку, которая будет вводиться в мозг путем инъекции и обеспечивать его связь с компьютером. Нейронное кружево[6] и другие усовершенствования, основанные на технологии ИИ, должны, по идее, сделать возможной беспроводную передачу информации из вашего мозга в цифровые устройства или в облако, где доступны большие вычислительные мощности.
Однако мотивы Маска, похоже, не чисто альтруистические. Он проталкивает на рынок линейку продуктов, призванных решить проблему, которую создает сам ИИ. Возможно, его идеи окажутся полезными, но, чтобы понять, так ли это, нужно абстрагироваться от рекламной шумихи. Правительства, общество и даже сами специалисты в области ИИ должны лучше представить себе, что находится на кону.
Например, если ИИ в принципе несовместим с сознанием, то вы, заменив микрочипом часть мозга, отвечающую за сознание, перестанете сознавать себя и ваша жизнь как существа, обладающего сознанием, закончится. Вы станете тем, что философы называют «зомби» – лишенным сознания подобием своего прежнего «я». Даже если такая замена возможна без зомбирования, радикальное усовершенствование мозга все равно будет представлять серьезный риск. После серьезных изменений получившаяся личность, возможно, уже не будет вами. Человек, совершенствующий себя таким образом, может незаметно закончить в ходе этого процесса свое существование.
Мой опыт подсказывает, что многие сторонники радикального усовершенствования мозга не осознают, что усовершенствованное существо, возможно, будет уже другим человеком. Они, как правило, считают, что разум – это что-то вроде компьютерной программы. По их мнению, можно радикально улучшить физические компоненты мозга и при этом сохранить ту же самую программу, прежний разум. Они считают, что разум человека, подобно компьютерному файлу, который мы загружаем и выгружаем, как хотим, можно загрузить в облако. Это технофильский путь к бессмертию – если угодно, новая «загробная жизнь» разума, способного пережить тело. Но, какой бы притягательной ни казалась эта технологическая форма бессмертия, мы с вами увидим, что такое представление о разуме глубоко ошибочно.
Так что если через несколько десятилетий вы зайдете в Центр конструирования разума или посетите магазин андроидов, помните, что предлагаемые там ИИ-новинки могут оказаться непригодными к использованию по глубоким философским причинам. Покупатель, будь осмотрителен. Впрочем, вы можете усомниться в правильности моего предположения и в том, что совершенный ИИ будет создан. Есть ли основания полагать, что хоть что-то из описанного выше все же произойдет?