Власть
Гарри Каспаров прекрасно знал, как деморализовать противника. Когда ему было 34 года, его авторитет сильнейшего гроссмейстера планеты заставлял нервничать всех, кто встречался с ним за шахматной доской. Вдобавок у него в арсенале был один особенно хитрый психологический прием, который наводил на соперников благоговейный ужас. В то время как они мучительно пытались выстоять, вероятно, в самом трудном матче за всю их карьеру, русский шахматист будто бы невзначай брал свои наручные часы, лежавшие рядом с доской, и надевал их на запястье. Этот жест все понимали однозначно: Каспарову наскучило играть в игрушки. Часы показывали сопернику, что пора капитулировать. Можно, конечно, еще посопротивляться, но все равно победа останется за Каспаровым[8].
Однако в мае 1997 года, во время исторического матча Гарри Каспарова и компьютера Deep Blue, выяснилось, что на машину эти фокусы не действуют. Все знают, чем закончился поединок, но не всем известна любопытная предыстория уверенной победы компьютера. Символичный триумф машины над человеком, со всех сторон, как ни посмотри, отметивший наступление эры алгоритмов, объяснялся не только такой примитивной причиной, как точность расчетов. Для того чтобы обыграть Каспарова, компьютер должен был понять, как мыслит не мощный процессор, способный совершать изящные шахматные ходы, а живой человек.
Инженерам IBM пришла в голову гениальная идея – создать впечатление, будто Deep Blue сомневается больше, чем на самом деле. В том знаменитом матче из шести партий компьютер периодически “задумывался”, иногда на несколько минут, прежде чем сделать уже рассчитанный ход. Его сопернику казалось, что машина испытывает какие-то трудности и пытается произвести новые вычисления. Получалось, будто бы Каспаров прав в своих предположениях: он сумел повести игру так, чтобы компьютер запутался в море возможных вариантов и не смог выбрать верную комбинацию[9]. Однако машина точно знала, что делать, и всего лишь тянула время. Тактика жульническая, но эффективная. В первой же партии Каспаров стал гадать, на что способен компьютер, и это его отвлекало[10].
Первую партию он выиграл, зато во второй Deep Blue уже целиком завладел его мыслями. Каспаров старался заманить машину в ловушку, чтобы она взяла некоторые фигуры, позволив ему через несколько ходов высвободить ферзя и атаковать[11]. И сам Каспаров, и наблюдавшие за игрой специалисты полагали, что Deep Blue попадется на удочку. Но компьютер каким-то образом учуял подвох. К вящему удивлению Каспарова он разгадал гроссмейстерский маневр и заблокировал его ферзя, что лишило человека шансов на победу[12].
Каспаров явно был шокирован. Ошибочное суждение о способностях компьютера стоило ему победы. Как он сказал в интервью через несколько дней после игры, “в какой-то момент Deep Blue вдруг заиграл как бог”[13]. Много лет спустя, вспоминая свое тогдашнее состояние, он напишет, что ходы компьютера казались неожиданными, но очень сильными, и это была ошибка[14]. Как бы там ни было, победил алгоритмический гений. Он угадал ход мыслей человека, увидел его слабые стороны, перехватил инициативу, и слишком уж человеческий гений потерпел поражение.
Вторую партию обескураженный Каспаров сдал без борьбы за ничью. После этого его самоуверенность потихоньку улетучилась. Третья, четвертая и пятая партии закончились вничью. К шестой Каспаров сломался. Итог матча – 3½: 2½ в пользу Deep Blue.
Это был непонятный проигрыш. Каспаров запросто мог бы найти выход из любой сложившейся на доске позиции, но сначала недооценил возможности машины, а затем позволил ей запугать себя. “Игра Deep Blue произвела на меня колоссальное впечатление, – писал он в 2017 году об этом матче. – Я мог думать лишь о способностях компьютера и от этого не сознавал, что мои проблемы вызваны скорее моей плохой игрой, нежели хорошей игрой машины.”[15].
Как мы еще не раз увидим в этой книге, важно, чего мы ждем. Победа компьютера над знаменитым гроссмейстером показывает, что потенциал алгоритма не ограничивается содержанием строк программы. Чтобы оставаться у руля, мы должны понимать, где и в чем мы уязвимы, – а также знать слабые места программы.
Но если даже Гарри Каспаров не сумел справиться с этой задачей, на что остается надеяться нам, обычным людям? Далее мы увидим, как алгоритмы проникают буквально во все аспекты современной жизни, от здравоохранения и борьбы с преступностью до транспорта и политики. При этом мы умудряемся одновременно и относиться к ним с пренебрежением, и преклоняться перед их силой. В результате мы понятия не имеем, много ли власти мы им уступили и как далеко все зашло.
Назад к основам
Прежде чем мы углубимся в изучение этой темы, возможно, стоит ненадолго отвлечься и поговорить о том, что же такое алгоритм. Хотя этот термин у всех на слуху, смысл самого слова довольно туманный. Формально определение таково[16]:
Алгоритм (сущ.): порядок действий, которые необходимо совершить для решения той или иной задачи или достижения заданной цели, особенно с помощью компьютера.
Всего-то. Алгоритм – это просто набор инструкций, которые помогают шаг за шагом дойти от исходных данных до решения задачи. В широком смысле рецепт пирога – тоже алгоритм. Под это определение подпадают и советы, которые вы даете заблудившемуся приезжему. Инструкции из IKEA, видео с YouTube, где вам показывают, что и как сделать, даже всевозможные практические руководства – теоретически алгоритмом можно считать любой перечень инструкций, в котором содержится полная информация о том, как достичь конкретной цели.
Однако область применения этого термина несколько иная. Обычно алгоритмом называют нечто более специальное. Алгоритм действительно представляет собой набор пошаговых инструкций, но при этом почти всегда речь идет о математическом объекте. Используя уравнения, арифметические и алгебраические действия, матанализ, логику и теорию вероятностей, алгоритм превращает ряд математических операций в компьютерную программу. Ему предоставляют данные из жизни, ставят задачу и запускают его, чтобы дальше он сам продирался через формулы к ответу. Именно алгоритмы делают информатику настоящей наукой, и благодаря им машины сотворили за последние десятилетия массу самых удивительных чудес.
Существует несметное множество всевозможных алгоритмов. Каждый из них имеет свое предназначение, свои отличительные особенности, свою изюминку и свои недостатки, и до сих пор неясно, как их лучше классифицировать. Но в целом удобно выделить четыре основные категории задач, которые выполняют алгоритмы[17]:
1. Расстановка приоритетов – составление упорядоченного списка
Исходя из ранжирования результатов поиска, Google подсказывает вам, какую страницу открыть в данный момент. Netflix предлагает вам очередной фильм. Навигатор выбирает для вас кратчайший путь. Все они упорядочивают колоссальное множество вероятных опций, производя вычислительный процесс. Deep Blue, в сущности, тоже занимался приоритизацией, то есть анализировал все возможные ходы фигур на доске и находил те, что гарантировали самые высокие шансы на победу.
2. Классификация – выбор категории
Когда мой возраст приблизился к тридцати годам, Facebook завалил меня рекламой колец с бриллиантами. И как только я наконец вышла замуж, отовсюду в интернете посыпались предложения тестов на беременность. Такими маленькими неудобствами я обязана алгоритмам классификации. Любимые алгоритмы рекламщиков, руководствуясь вашим личным профилем, исподтишка записывают вас в группу лиц с определенными интересами. (Пусть даже они угадывают верно, но если во время деловой встречи на экране вашего компьютера неожиданно всплывает реклама тестов на овуляцию, это действует на нервы.)
Именно такие алгоритмы автоматически отсортировывают и удаляют посторонние ролики на YouTube, подписывают ваши отпускные фотографии и, сканируя рукопись, идентифицируют закорючки на странице как буквы.
3. Ассоциирование – выявление связей
Ассоциирование – это поиск и описание взаимосвязи между объектами. Например, сайты знакомств, вроде OkCupid, ищут связи между пользователями и подбирают пары, используя алгоритмы поиска ассоциаций. Примерно так же устроена рекомендательная система Amazon – она находит нечто общее между вашими интересами и интересами предыдущих покупателей. Вот почему пользователь сайта Reddit с ником Kerbobotat, купив на Amazon бейсбольную биту, получил интересное предложение: “Возможно, вам понравится эта балаклава”[18].
4. Фильтрация – выделение важной информации
Алгоритмы нередко помогают изъять часть информации, чтобы обратить внимание на главное, поймать сигнал среди шумов. Иногда они делают это в буквальном смысле слова – так, в голосовых помощниках, например Siri, Alexa и Cortana, чтобы расшифровать вашу речь, алгоритмы распознавания, предварительно должны выделить из шумового фона ваш голос. Иногда это не шум как таковой, а метафора: Facebook и Twitter заполняют вашу ленту, уже зная, что вас обычно интересует, и подбирая соответствующую информацию.
Можно придумать огромное множество алгоритмов, совмещающих эти функции. Так устроен, например, сервис UberPool, который подбирает потенциальных попутчиков для совместных поездок на такси. Зная начальную и конечную точки маршрута, программа должна перебрать все возможные пути к вашему дому, найти других пользователей, которым надо ехать в ту же сторону, и определить вас в одну машину – и при этом в первую очередь предложить такие маршруты, чтобы водителю пришлось как можно меньше крутиться по улицам[19].
Алгоритмы все это умеют. Другой вопрос: как они это делают? Опять-таки мы можем выделить суть, хотя вариантов не счесть. В общем и целом все алгоритмы делятся на два основных типа в зависимости от принципа их работы, и далее в этой книге мы познакомимся с обоими.
1. Алгоритмы, основанные на системе правил
Работа алгоритмов первого типа основана на совокупности правил. Инструкции для них, четкие и недвусмысленные, составляет человек. Такой алгоритм подобен рецепту пирога. Шаг первый: сделать то-то. Шаг второй: если то, тогда это. Алгоритм вовсе не обязательно будет простым – есть масса возможностей для создания сложнейших программ такого типа.
2. Алгоритмы машинного обучения
Принцип действия алгоритмов другого типа сродни обучению живого существа. Для аналогии представьте себе, как можно было бы научить собаку давать лапу. Нет смысла проводить с ней подробный инструктаж. Вам как дрессировщику надо самому четко понимать, чего вы хотите добиться от собаки и как вы ее поощрите, когда она выполнит команду. Надо только закрепить правильную реакцию, игнорируя ошибочную, и дать собаке потренироваться, чтобы она сама выработала нужный рефлекс. В программировании такая схема называется алгоритмом машинного обучения и подпадает под более широкое понятие искусственного интеллекта, ИИ. Вы вводите в компьютер данные, ставите цель, обеспечиваете обратную связь, если алгоритм выбирает верный путь, – и предоставляете ему самостоятельно искать оптимальное решение.
Оба варианта имеют свои плюсы и минусы. Алгоритмы, основанные на системе правил, просты для восприятия, поскольку инструкции для них пишут люди. Теоретически кто угодно может прочитать правила и аккуратно выполнить все пункты по порядку[20]. Однако в этом преимуществе кроется их изъян. Основанные на системе правил алгоритмы решат задачу только в том случае, если люди знают, какую инструкцию для них написать.
Алгоритмы машинного обучения, как выяснилось в последнее время, напротив, отлично справляются и тогда, когда набор команд не помогает. Они могут распознать объект на картинке и слова, которые мы произносим, могут перевести текст на другой язык – сделать то, что алгоритмам с инструкциями не по зубам. Минус в том, что если предоставить машине самой искать решение, то, скорее всего, человек не поймет, каким путем она пришла к конечному результату. Даже для гениального программиста ее внутренняя логика может остаться тайной за семью – печатями.
Предположим, ставится задача распознать изображение. Не так давно группа исследователей из Японии продемонстрировала, как необычно, с точки зрения человека, видит вещи машина. Может быть, вам встречалась известная оптическая иллюзия, когда трудно с первого взгляда сказать, что вы видите – вазу или два лица (если нет, загляните в примечания, приведенные в конце книги)[21]. Вот вам аналогичный пример из мира компьютеров. Ученые показали, что достаточно изменить один пиксель переднего колеса на изображении, приведенном ниже, чтобы алгоритм машинного обучения передумал и увидел собаку там, где прежде видел автомобиль[22].
Кое-кто считает, что оставить алгоритм без четких инструкций – это прямой путь к катастрофе. Как же контролировать то, чего мы не понимаем? Что, если наделенная разумом машина превзойдет по интеллекту своих создателей? Можем ли мы быть уверены, что загадочный для нас ИИ, который нам не подчиняется, не превратится в нашего врага?
Все эти гипотезы заслуживают внимания, и о нависшей над нами угрозе апокалипсиса, который может устроить нам ИИ, написано уже немало книг. Простите, если обманула ваши ожидания, – моя книга о другом. Несмотря на то, что в последнее время ИИ стремительно развивается, “умным” его можно назвать лишь с большими ограничениями. Тому, с чем мы столкнулись, скорее подошло бы определение революции не в области интеллекта, а в вычислительной статистике. Я понимаю, что это не так возбуждает – если только вы не питаете особые чувства к статистике, – однако текущее положение вещей такая формулировка описывает гораздо точнее.
Пока что волноваться из-за злых козней ИИ – все равно что волноваться из-за перенаселения на Марсе[23]. Возможно, когда-нибудь компьютерный разум окажется сильнее человеческого, но пока об этом даже речи не идет. Честно говоря, нам еще довольно далеко до создания интеллекта хотя бы уровня ежиного. И червяка-то до сих пор никому не удалось превзойти[24].
Кроме того, вся эта шумиха из-за искусственного интеллекта отвлекает нас от куда более насущных и, по-моему, более интересных тем. Забудьте ненадолго о всемогущих умных машинах и верните свои мысли из далекого и неясного будущего в наше с вами настоящее, ибо алгоритмы, которым даны полная свобода действий и право самостоятельно принимать решения, уже существуют. Они назначают курс лечения онкологическим больным и сроки тюремного заключения, действуют в аварийной ситуации на дороге. Они уже на каждом шагу делают за нас роковой выбор.
Вопрос вот в чем: если мы делегируем алгоритмам такие полномочия, можно ли им доверять?
Слепая вера
Воскресенье 22 марта 2009 года было не самым удачным днем в жизни Роберта Джонса. Он возвращался из гостей и, когда он проезжал через живописный городок Тодморден в Уэст-Йоркшире, на панели его BMW включился индикатор бензобака. Он мог позволить себе проехать до ближайшей бензоколонки километров десять – что-то надо было срочно предпринять. К счастью, GPS-навигатор, по-видимому, нашел короткий путь – и направил Роберта по узкой, извилистой дороге, которая вела из долины наверх.
Роберт послушно следовал указаниям навигатора, однако чем дальше, тем более узкой становилась дорога и тем круче она забирала вверх. Через несколько километров шоссе превратилось в грунтовый проселок, едва ли пригодный даже для гужевого транспорта, не говоря уже об автомобиле. Впрочем, Роберта это не смущало. Он зарабатывал на жизнь, проезжая тысячи километров в неделю, и крутил баранку вполне уверенно. К тому же он думал: “С чего бы мне не доверять навигатору?”
Вскоре снизу, из долины, если задрать голову и посмотреть вверх, можно было увидеть торчащий над самой кромкой обрыва передок машины, не рухнувшей вниз с высоты в тридцать метров лишь благодаря хлипкому деревянному заборчику, в который Роберт въехал.
В итоге для того, чтобы эвакуировать автомобиль с того места, где его покинул водитель, понадобились три квадроцикла и трактор. Позднее, в том же году, представ перед судом по обвинению в опасном вождении, Роберт признался, что ему и в голову не пришло спорить с навигатором. “Он упорно называл этот проселок дорогой, – сказал он корреспонденту газеты после происшествия. – Ну я ему и поверил. Как-то не ждешь, что тебя чуть не сбросят с обрыва”[25][26].
Да, Роберт. Разумеется, этого ты не ждал.
В этой истории есть мораль. Наверное, тогда Джонс почувствовал себя довольно глупо, но, не поверив своим глазам (при виде отвесного склона за окном машины) и приписав компьютерной программе больше ума, чем она того заслуживает, он попал в достойную компанию. В конце концов, двенадцатью годами раньше в ту же самую западню угодил Гарри Каспаров. Да и все мы порой совершаем ту же ошибку, пусть и неосознанно, в не столь критичных, но не менее важных для нас ситуациях.
Еще в 2015 году ученые задались вопросом: почему иногда информационно-поисковые системы – например, Google – способны менять наши представления о мире[27]? Они решили выяснить, существуют ли разумные границы доверия результатам поиска или мы готовы, скажем так, беспечно шагнуть в пропасть по воле поисковика.
Эксперимент проводили на примере грядущих выборов в Индии. Исследователи во главе с психологом Робертом Эпштейном отобрали по всей стране 2150 добровольцев, которые еще не решили, за кого голосовать, и открыли им доступ к специально разработанной системе под названием Kadoodle, чтобы они могли побольше узнать о кандидатах, прежде чем сделать выбор.
Программа оказалась с подвохом. Ничего не подозревавших участников эксперимента разбили на группы, каждой из которых показывали слегка различающиеся результаты поиска, с уклоном в пользу того или иного кандидата. Когда какая-нибудь группа заходила на сайт, сначала выдавалась информация об определенном кандидате – то есть, для того чтобы увидеть хоть одну страницу, посвященную другому кандидату, надо было прокрутить ссылки одну за другой далеко вниз. В разных группах методично продвигали разных кандидатов.
Как нетрудно догадаться, участники эксперимента в основном читали материалы под верхними заголовками с первой страницы – как говорится в бородатом анекдоте из интернета, проще всего спрятать труп на второй странице результатов поиска в Google. Вряд ли кто-нибудь обратил внимание на самые нижние строки в перечне ссылок. Но даже сам Эпштейн поразился тому, в какой степени целенаправленный отбор информации повлиял на выбор добровольцев. Уже через несколько минут, проведенных на сайте, аж на 12 % больше респондентов, отвечая на вопрос, кому они отдали бы свой голос, выбирали ставленника системы Kadoodle.
В 2015 году, в интервью журналу Science, Эпштейн объяснил результаты эксперимента: “Мы ждем от поисковой системы разумного выбора. Люди рассуждают так: «Да, перекосы есть, это говорит о том, что… поисковик делает свое дело»”. При том огромном объеме информации, который мы черпаем из интернета, еще больше тревожит искренняя убежденность многих социально активных граждан в том, будто они высказывают собственное мнение. “Если люди не замечают, что ими манипулируют, им кажется, что свежие идеи пришли им в голову независимо ни от чего”, – написал Эпштейн в своей статье[28].
Безусловно, Kadoodle – не единственная программа, которой можно вменить в вину подспудное манипулирование политическим выбором людей. В главе “Персональные данные” мы еще вернемся к этой теме, а сейчас для нас важен следующий вывод из описанного эксперимента: мы полагаем, что в большинстве случаев алгоритмы оказываются правы. Мы уже согласны с тем, что их решение всегда приоритетно[29]. Еще чуть-чуть, и мы перестанем даже осознавать, насколько мы им доверяем.
Сплошь и рядом алгоритмы предоставляют нам удобный и авторитетный источник информации. Предлагают простой способ переложить свою ответственность на кого-то другого, и мы не задумываясь соглашаемся на кратчайшие пути. Кто станет каждый раз докапываться до дальних ссылок на второй странице в Google и критически осмысливать все предложения поисковика? Кто станет шарить по сайтам всех авиакомпаний, чтобы посмотреть, действительно ли Skyscanner нашел самые дешевые варианты? Или, вооружившись линейкой и картой, проверять, нет ли еще более короткой дороги, чем выбирает GPS? Уж точно не я.
Однако надо понимать, где проходит грань. Потому что одно дело – доверять программе, которая обычно нас не подводит. Совсем другое – довериться той, про которую мало что толком известно.
Искусственный интеллект против естественной глупости
В 2012 году, в штате Айдахо, некоторым инвалидам сообщили, что их исключили из программы бесплатного медицинского обслуживания[30]. Несмотря на то, что все они имели право на льготы, власти без предупреждения сократили их пособие на 30 %[31], и инвалидам пришлось самим изыскивать средства на оплату услуг по уходу. Это было вовсе не политическое решение, а результат применения нового “инструмента бюджетного регулирования”, взятого на вооружение Министерством здравоохранения и социальной помощи штата Айдахо – компьютерной программы для автоматического расчета пособий для каждого отдельно взятого гражданина[32].
Однако рекомендации программы выглядели довольно нелогично. Человеку непосвященному показалось бы, что цифры взяты с потолка. Одним дали больше денег, чем в предыдущие годы, а другим урезали пособия на десятки тысяч долларов, и для того чтобы платить за обслуживание в лечебных учреждениях, кому-то, возможно, пришлось бы продать свой дом[33].
Люди не могли взять в толк, почему им сократили пособия и как справиться с новыми трудностями, поэтому обратились за помощью в Американский союз защиты гражданских свобод (ACLU). В 2017 году ситуацию прокомментировал в своем блоге директор по юридическим вопросам отделения в Айдахо Ричард Эппинк: “Я тогда подумал, мы просто попросим штат объяснить, почему вдруг так сильно уменьшились суммы выплат”[34]. В действительности же для выяснения причин произошедшего потребовалось четыре года, четыре тысячи жалоб и групповой иск о возмещении ущерба[35].
Для начала Эппинк и его помощники попробовали разобраться в том, как именно работает алгоритм, однако люди, отвечавшие за программу медицинской помощи нуждающимся “Медикейд”, отказались пояснить расчеты. Они сослались на “коммерческую тайну” и запрет на открытый доступ к использованному программному обеспечению[36]. К счастью, судью, который вел дело, такая мотивировка не устроила. Инструмент бюджетного регулирования, оказавший столь сильное влияние на жизнь простых американцев, был предъявлен и оказался вовсе не высокоразвитым ИИ и не искусно оформленной математической моделью, а банальной таблицей в формате Excel[37].
По-видимому, расчеты были выполнены на основе архивных данных, но из-за чудовищного количества ошибок и программных сбоев эти базы данных большей частью потеряли всякий смысл[38]. Хуже того, когда сотрудники ACLU тщательно проанализировали уравнения, выяснилось, что “способ составления самих формул содержал принципиальные статистические ошибки”. Инструмент бюджетного регулирования исправно выдавал непредсказуемые результаты для огромного множества людей. Алгоритм – если он вообще заслуживал такого названия – оказался настолько негодным, что суд признал его противоречащим Конституции[39].
Тут надо выделить две линии неверных действий человека. Во-первых, кто-то заполнил эту бессмысленную таблицу, а во-вторых, кто-то другой наивно поверил в истинность данных. В сущности, “программа” выражала собой закодированный непрофессионализм. Но почему же люди, которые работали на государство, так рьяно защищали откровенно плохой продукт?
Вот что думает по этому поводу Эппинк:
Такая тенденция прослеживается всегда, когда дело касается результатов, полученных с помощью компьютера, – мы не подвергаем их сомнению. Если компьютер что-то рассчитывает – если есть статистик, который выводит некую формулу на основе неких данных, – мы просто верим его формуле и не спрашиваем: мол, погодите-ка, как это все работает?[40]
Я отлично понимаю, что не все любят на досуге возиться с математическими формулами, вникая в их суть, – хотя я обожаю это занятие. Но, тем не менее, Эппинк поднимает вопрос первостепенной важности – о нашей готовности принимать выводы компьютера за чистую монету, не вникая в его тайную жизнь.
Я математик, и за годы работы с данными и программами я пришла к убеждению, что существует единственный путь объективно оценить надежность алгоритма – докопаться до принципиальных основ его работы. Мой опыт говорит, что алгоритмы во многом схожи с фокусами иллюзионистов. Сперва они и впрямь кажутся непостижимыми, но когда понимаешь, как это сделано, чары рассеиваются. Нередко за внешней сложностью скрывается что-то до смешного примитивное – или настораживающе легкомысленное. В следующих главах я постараюсь дать вам представление о невидимых глазу особенностях алгоритмов, которые мы будем обсуждать. Пусть этих знаний будет маловато для того, чтобы самостоятельно произвести расчеты, но для понимания процесса – достаточно.
Однако даже самые въедливые математики порой вынуждены верить алгоритму “на слово”. Например, потому что проверка его деятельности практически невыполнима, как в случае со Skyscanner и поисковиком Google. Или программа может оказаться “засекреченной”, как алгоритм бюджетного регулирования в Айдахо и кое-какие другие программы, которые нам встретятся. Бывает и так, что попросту невозможно проследить логические связки в алгоритме – например, в некоторых системах машинного обучения.
Иногда мы будем вынуждены передавать управление “незнакомцу”, даже зная, что алгоритм может ошибиться. Нам придется сопоставлять собственное мнение с мнением машины. И если мы решим, что следует доверять не расчетам, а нашей интуиции, нам понадобится отвага, чтобы настоять на своем.
Когда нельзя уступать
Офицер Советской армии Станислав Петров отвечал за мониторинг системы предупреждения о ракетном нападении, которая охраняла воздушное пространство СССР. В том случае, если компьютер укажет на какие-либо признаки атаки со стороны США, Петров обязан был незамедлительно доложить командованию[41].
26 сентября 1983 года он заступил на дежурство, и вскоре после полуночи взвыли сирены. Одна только мысль о таком сигнале тревоги наводила ужас: советские спутники засекли вражескую ракету, направлявшуюся к территории СССР. Холодная война была в разгаре, поэтому удар казался вполне вероятным, однако что-то заставило Петрова повременить с докладом. Он не был уверен в безусловной правоте алгоритма. Компьютер зафиксировал всего лишь пять запусков – в столь нерешительных действиях США не было никакой логики[42].
Петров замер в своем рабочем кресле. От него зависело, рапортовать о нападении и почти наверняка развязать мировую ядерную войну, или нарушить протокол и выждать, хотя он понимал, что с каждой секундой у руководства его страны остается все меньше времени на ответный удар.
Нам страшно повезло, потому что Петров выбрал второй вариант. Он не мог знать наверняка, что сигнал тревоги прозвучал по ошибке, но через двадцать три минуты (должно быть, они показались ему целой вечностью), когда стало ясно, что на советскую землю не упала ни одна боеголовка, он наконец убедился в своей правоте. Программа дала сбой.
Если бы система работала абсолютно автономно, не имея над собой такого контролера, как Станислав Петров, мировая история пошла бы совсем по другому сценарию. Надо думать, Москва отреагировала бы адекватно (как она полагала бы), и началась бы полномасштабная ядерная война. Из этого эпизода мы должны вывести мораль: в таких процессах ключевую роль играет человеческий фактор; избежать ошибки можно только тогда, когда человек видит указания алгоритма и может наложить вето раньше, чем будет принято решение.
Ведь только люди способны ощутить на себе весь груз ответственности за свои действия. Имей программа прямую связь с Кремлем, она ни на миг не задумалась бы о последствиях своего решения. А что же Петров? “Я понимал отлично, что меня никто не поправит”[43].
Одна беда: на человека тоже не всегда можно положиться. Иногда люди берут власть в свои руки и правильно делают – как это сделал Станислав Петров. Но зачастую внутреннее чувство лучше подавить.
Вот вам еще один пример на тему безопасности – слава богу, в этой сфере люди редко меняют решения компьютеров, не имея оснований, и все же именно это произошло в самом большом английском парке аттракционов Alton Towers, перед той памятной страшной аварией на горках Smiler[44].
В июле 2015 года двум инженерам поручили исправить неполадку в механизме аттракциона. Они устранили неисправность и для проверки запустили по трассе пустую вагонетку – но не обратили внимания на то, что она не вернулась назад. Почему-то она снова скатилась вниз на подъеме и застряла на полпути.
Тем временем операторы, обслуживающие посетителей, вывели дополнительную вагонетку, чтобы сократить растущую очередь, но об этом инженеры тоже не знали. Получив из операторской разрешение на пуск, сотрудники разрешили довольным пассажирам занять места, закрыли рамы безопасности и отправили первый состав по рельсам, ничего не зная о застрявшей прямо на пути вагонетке, которую ранее запустили инженеры.
По счастью, проектировщики аттракциона предусмотрели такие ситуации, и системы безопасности сработали в штатном режиме. Чтобы не произошло неминуемого столкновения, поезд остановился на вершине первого подъема, а в операционную был подан сигнал тревоги. Однако инженеры, уверенные в том, что они все починили, подумали, что автоматическая система тревоги включилась по ошибке.
Не так-то просто было переупрямить программу – чтобы вновь запустить состав, два человека должны были одновременно нажать кнопки. Они произвели необходимые действия, и полностью загруженная вагонетка покатилась вниз, прямо к другой, стоявшей на ее пути. Столкновение было кошмарным. Несколько человек получили тяжелейшие травмы, а двум совсем юным девушкам пришлось ампутировать ноги.
И трагическое происшествие в парке Alton Towers, и поступок Станислава Петрова, когда речь шла о жизни и смерти, показывают нам всю глубину проблемы выбора. За кем – или за чем – должно оставаться последнее слово в споре о власти между человеком и машиной?[45]
Борьба за власть
Этот спор начался не сегодня и не вчера. В 1954 году профессор клинической психологии Миннесотского университета Пол Мил опубликовал работу под названием “Клинический и статистический прогнозы” и, решительно заняв крайнюю позицию, взбудоражил целое поколение людей.
В этой книге Мил провел систематическое сравнение деятельности людей и машин на примерах прогнозирования всего на свете, от успеваемости учеников до психического состояния пациентов, и пришел к выводу, что математические модели, независимо от уровня их сложности, почти наверняка дадут более точный ответ, чем люди.
С тех пор, в течение полувека, открытия Мила подтвердились множеством других исследований. Если от вас требуется рассчитать неважно что – медицинский прогноз или возможные объемы продаж, количество попыток самоубийств или степень удовлетворенности карьерным ростом – или дать оценку чему угодно, от годности к военной службе до перспектив выполнения учебного плана, смело ставьте на алгоритм[46][47]. Машина тоже немного промахнется, но если позволить человеку отвергать ее решения, ошибки будут еще более грубыми.[48]
Наверное, в этом нет ничего удивительного. Мы не созданы для вычислений. Мы не предполагаем, что в супермаркете отряд кассиров примется разглядывать наши покупки, пытаясь определить их стоимость. Мы позволяем простейшей программе сосчитать все за нас. И в большинстве случаев мы только выиграем, если предоставим это машине. Как шутят летчики, лучший экипаж состоит из троих членов – пилота, компьютера и собаки. Компьютер управляет самолетом, пилот кормит собаку, а собака кусает пилота, если тот попробует прикоснуться к компьютеру.
Но отношения с машинами у нас немного странные. Мы доверчивы как дети, если ничего не понимаем, и в то же время у нас есть отвратительная привычка вмешиваться в работу машины и даже полностью игнорировать ее и полагаться на собственные неверные суждения, если нам известно, что она может ошибиться. Специалисты называют это неприятием алгоритмов. К ошибкам машин люди относятся менее снисходительно, чем к своим, даже если их собственные ошибки гораздо страшнее.
Это явление не раз воспроизводилось в разных экспериментах[49], да вы и сами заметите у себя такое же свойство. Когда приложение в телефоне утверждает, что дорога займет больше времени, чем мне кажется, я уверена, что знаю лучше – хотя, скорее всего, рискую опоздать. Все мы хоть раз да обозвали своего голосового помощника идиотом, почему-то забывая в этот момент, что устройство, которое мы держим в руке, создано благодаря фантастическому развитию современных технологий. И поначалу, маясь в пробках под руководством пока еще нового для меня навигационного приложения Waze, я не раз убеждала сама себя, что окольный путь был бы короче указанного маршрута – и почти всегда была неправа. Сейчас я пришла к выводу, что навигатору надо верить и, подобно Роберту Джонсу с его BMW, послушно поворачиваю, куда велит GPS, – но, думаю, я бы все-таки пресекла попытку загнать меня на край обрыва.
Категоричность в эпоху высоких технологий (либо алгоритмы всемогущи, либо абсолютно бесполезны) может привести к нежелательным последствиям. Если мы хотим использовать технику с наибольшей отдачей, нам придется выработать привычку к объективности. Мы должны учесть ошибку Гарри Каспарова и признать свои слабости, научиться контролировать свои спонтанные реакции и более осознанно относиться к программам, с которыми мы имеем дело. С другой стороны, нельзя смотреть на программы снизу вверх, надо анализировать их чуть более придирчиво и задумываться о том, справятся ли они с поставленной задачей. Только так можно понять, заслуживают ли они той власти, которую им дали.
К сожалению, все это легче сказать, чем сделать. Зачастую мы почти не в силах повлиять на могущество и радиус действия даже тех алгоритмов, которые непосредственно затрагивают нашу жизнь.
Особенно это касается тех программ, что оперируют самым главным в наше время товаром – данными. Повсюду в интернете нас преследуют безмолвные алгоритмы – они собирают информацию о нас, вторгаются в наше личное пространство, составляют на нас характеристики, – и ничто не мешает им незаметно влиять на наше поведение. Последствия гремучей смеси из неправомочно присвоенной власти, влияния и необоснованного доверия могут коренным образом изменить все наше общество.