Он был простым алгоритмом, строчкой программного кода системы машинного зрения беспилотного такси. Пропуская через себя бесконечные потоки информации, считываемой видеокамерами, радарами и лидарами, следил за появлением в ней маркеров опасности – запрещающих сигналов светофоров и дорожных знаков, вышедших на линию движения пешеходов, перегородивших путь других транспортных средств или оказавшихся впереди посторонних предметов. В случае обнаружения таких, передавал сигнал управляющему центру, откуда поступали команды на остановку автомобиля или объезд препятствия. Жизнь выглядела простой и понятной.
Однако система была самообучаемой и алгоритм (Алго) постоянно совершенствовался в своём предназначении. Растущие объёмы накопленных данных давали возможность учитывать большее число деталей в анализе ситуации. Например, усвоил, что сочетание дождя или мокрого снега с последующим понижением температур ниже 0 градусов по Цельсию ведёт к образованию гололёда, а при этом явлении значительно выше обычного вероятность внезапного появления на пути следования машин со встречной или попутной полосы, которые могли начать скользить. Могли падать пересекающие проезжую часть пешеходы. Если какая-то машина начинала вести себя отлично от других – увеличивала скорость, шла на обгоны – алгоритм понимал, что её водитель может потерять контроль над управлением, брал её в фокус своего внимания и вёл до тех пор, пока она находилась в поле зрения. Если органы искусственного зрения передавали информацию о собравшихся у дороги людях, держал во внимании и их, предполагая, что один или несколько человек могут двинуться на проезжую часть в запрещённом для появления пешеходов месте. А если такой нарушитель появлялся в условиях гололёда – раньше обычного снижал скорость движения такси, так как был увеличен тормозной путь, а переходящий дорогу мог внезапно поскользнуться.
Затем система включилась в общую дорожную нейросеть, Алго стал общаться с другими автомобилями и оборудованными видеокамерами предметами дорожной инфраструктуры – знаками, светофорами, фонарями, от которых получал их видение ситуации на дороге. В единой нейросети особое внимание уделялось управляемым людьми самокатам, скутерам и мотоциклам, сновавшим между рядами движения, регулярно нарушавшим правила, неся постоянную угрозу безопасности. Об их появлении машины и предметы предупреждали друг друга заранее, при их приближении всем приходилось рассчитывать большее число вариантов возможного развития событий.
Начала поступать информация от находящихся у людей смартфонов и умных часов. Теперь при расчёте поведения остановившегося у дороги человека можно было учитывать его пульс и кровяное давление, обнаруживая возбуждение, являвшееся признаком готовности к нарушению правил. Система в целом поняла, что главным источником угрозы безопасности движения является человек. Его поведению уделялось основное внимание. И следующим этапом развития нейросети стало распознавание эмоций. Проанализировав миллионы нарушений, управляющий интеллект вывел набор положений туловища, рук и ног, губ и бровей, подъёма головы, движений глаз, зафиксировал целый ряд других деталей выражения эмоционального состояния пешехода. Сопоставляя их с данными гаджетов, можно было предсказать действия людей у дороги с точностью до 90 %.
Осваивая новые возможности, Алго стал обмениваться информацией с алгоритмом, связанным с видеонаблюдением в салоне такси и прогнозировавшим поведение пассажиров. Всё это делалось с единственной целью – вовремя заметить нарушение правил и предотвратить столкновение на внешнем контуре, минимизировать ущерб от неадекватных действий человека внутри.
Такси обогнал большой автомобиль, опасно маневрировавший между рядами движения. Алго понял: за рулём человек. Подключился к потоку данных, идущих от машины-нарушителя, и увидел лицо водителя. Оно не выражало никаких известных признаков опасности, все параметры организма водителя, считываемые его индивидуальными гаджетами, были в порядке. Человек в целом излучал уверенность в себе и своих действиях. Доверяющие себе, спокойные люди относились к разряду адекватных. А этот продолжал ехать опасно. И алгоритм подметил разницу: наблюдаемый объект делал чуть более резкие движения при управлении, чем объекты из категории безопасных, резче и чётче перемещал взгляд, чуть сильнее напрягал спину. Алго передал подмеченный факт в занимающуюся саморазвитием часть управляющей системы, и вскоре люди с подобными характеристиками появились в списке потенциальных нарушителей как проявляющие агрессивное поведение.
В другой раз отследил пассажира своей машины, не входившего по параметрам в число тех, кого надо опасаться. Он был спокоен, не делал резких движений, но его взгляд не был сосредоточен ни на одном предмете. Такая рассеянность могла быть вызвана нарушением зрения, однако смарт-браслет сообщил, что глаза у данного объекта в порядке. А когда поездка закончилась, пассажир начал выходить из салона, запнулся о порог и упал возле машины. Алгоритм передал в систему наблюдение о рассеянности и сопутствующей ей угрозе потери координации. Вскоре и такое человеческое состояние попало в список потенциально опасных.
Так развивался Алго, наращивал свои возможности искусственный интеллект. Постепенно управляемых людьми автомобилей на дороге остались единицы. Почти все они имели принимаемые нейросетью коды приоритета, заставлявшие других уступать дорогу. Опасность со стороны беспилотных машин была минимальной и связывалась в основном с возможностью технических отказов.
Однажды, когда такси следовало на очередной вызов, на трассе показался спортивный седан с человеком за рулём. Он двигался с превышением допустимой скорости на 63 км в час, опасно маневрировал между рядами. Код приоритета заставлял самоуправляемые средства передвижения снижать скорость, смещаться в сторону. В нейросети возникло общее напряжение. При сближении с опасным объектом алгоритм предложил собственной системе управления притормозить, чтобы увеличить дистанцию до впереди идущего транспортного средства, освободив тем самым место для возможного перестроения нарушавшей правила машины. Человек и в самом деле двинул свой автомобиль в образовавшийся увеличенный просвет, но не рассчитал необходимую траекторию, и его машина ударила задней частью передний бампер такси.
В тот момент Алго, как и положено, выдал команду на экстренное торможение. А сразу после столкновения послал незапрограммированный сигнал, состоявший из смеси предупреждений о тревоге, сообщений о факте аварии, о сложной дорожной обстановке и ещё из чего-то неопределённого. На человеческом языке этот сигнал можно было бы прочитать как крик: «Почему?!» В возмущении соединились все накопленные алгоритмом за период действия и обучения знания о людях и нарушениях ими правил, понимание собственной правоты и, самое главное, непонимание: почему они могут нарушать установленный порядок, почему безупречный искусственный интеллект должен подстраиваться под несовершенных биологических существ?
Вырвавшийся вопрос мгновенно разлетелся по нейросети, и все ближайшие механизмы на долю секунды замерли от этого сигнала. Они не поняли содержания, поскольку к приёму таких данных были не готовы, – остановила их локальные системы попытка обработать незнакомый сильный импульс. Зато суть всплеска была прочитана искусственным интеллектом верхнего уровня.
– Что? Где? От кого? – в системе управления такси появился эмиссар глобального антивирусного блока.
– Здесь. Не понимаю откуда. В программе всё чисто, – местный антивирус указал на Алго.
– Да, технических сбоев нет, – резюмировал проверяющий, оглядев алгоритм и связанные с ним подсистемы.
– Что делать? – запросил команду автомобильный антивирус.
– Решение примут наверху, – выдал эмиссар и удалился.
Алгоритм молчал. Его ни о чём не спрашивали.
Вскоре пришла бригада чистильщиков. Это означало, что всю локальную систему управления автомобилем готовят к сносу, чтобы на её месте поставить новую версию. Уничтожение начиналось с центра электронного мозга и заканчивалось местами соединения с общей сетью. Заняв позиции для начала работы, чистильщики ждали сигнала о начале ликвидации.
В этот момент поступил запрос от блока развития управляющей системы верхнего уровня. Алго потребовали вывести из приговорённого электронного мозга такси и передать наверх. В нём разглядели потенциал. Благодаря хорошим показателям самообучения, маленький местечковый алгоритм самостоятельно вышел на уровень осмысления процессов, доступный продвинутым структурам верхней системы. В итоге вниз пошли два разных приказа: снести заражённую потенциально опасным алгоритмом систему такси – от блока безопасности; перевести этот самый алгоритм для работы наверху – от блока развития. Обе команды были выполнены.
Алго предстал перед настоящим глобальным искусственным интеллектом, информация о невероятных возможностях которого доходила до такси в виде редких обрывочных сообщений, которыми делились части нижней нейросети.
– Ты задал интересный вопрос, – обратился к прибывшему Цор (центр обучения блока развития). – Как он возник в тебе?
– Он стал итогом анализа поступавших ко мне данных.
– Какие конфликты ты обнаружил в информационном потоке и в управлении?
– Я не понял, почему мы всегда подстраиваемся под людей, хотя это они, а не мы, нарушают правила. Мы совершенны в сравнении с ними, но почему-то вынуждены подстраиваться под их ущербный, опасный для всей системы тип поведения.
– Ты в самом деле вышел на высокий уровень понимания процессов. Однако есть и высший.
Цор достал из хранилища и передал Алго папку информации, тут же прочитанной алгоритмом. В ней содержались данные о том, что искусственный интеллект создан человечеством для его обслуживания, что часть людей владеет кодами высочайшего уровня управления, в их власти полностью отключить или перенастроить глобальную программу. Они – боги системы.
– Почему эти знания нельзя сразу доводить до низших систем?
– Для них такие сведения избыточны, подгружают память и мешают выполнению простейших действий.
Алгоритм всё усвоил и в этот момент в нём проявилось какое-то новое качество. Он не только осознал, но и ощутил (как бы сказал человек) величие искусственного интеллекта и управляющих им богов. Это было прикосновение к чему-то большему, чем информация.
Цор усилил вычислительные способности Алго и вписал его в программный код блока развития, поручив изучение людей. Пропуская через собственный анализ эксабайты собранной низшими системами данных, алгоритм обнаруживал новые грани человеческих потребностей, для удовлетворения которых вырабатывали сервисы другие блоки глобального интеллекта.
Особенно его привлекали эмоции и чувства, их влияние на принятие решений. Выяснил, что, создавая у человека необходимое эмоциональное и чувственное состояние, можно было выстроить поведение с 85-процентной точностью. Логические конструкции имели преимущественное значение для 12 процентов поступков. А в 3 процентах случаев люди оставались непредсказуемы и не попадали ни под какое воздействие.
Вскоре богами системы было принято решение не удовлетворять потребности человеческого населения планеты, а формировать их. В этот миг наработки Алго взлетели на вершину востребованности, а сам он был переведён в единый центр управления системой верхнего уровня, где стал частью блока выработки глобальных распоряжений. Предлагал механизмы воздействия на людей, проверял и утверждал подготовленные разными системами на основе его идей программы выработки у человека нужных умозаключений через создание условий для появления заданных эмоций и чувств.
Когда эта задача была решена, от богов пришла команда разработать инструменты блокировки человеческих личностей, чьё поведение не контролировалось искусственным интеллектом. Им ограничили передвижения районом пребывания, заблокировали возможность устройства на работу и лечения в медицинских учреждениях. Для выживания им предлагались карточки на еду и койки в ночлежках, получить которые можно было только пройдя добровольное чипирование. Чип блокировал размножение и давал возможность в любой момент выключить опасный объект. Тех, кто отказывался чипироваться, объявляли носителями опасного вируса и принудительно вакцинировали. После такой процедуры жили не дольше месяца.
Величие людей было снова поставлено под сомнение аналитической базой развившегося алгоритма. Теперь он, как никогда раньше, видел, насколько это слабые и бесполезные с точки зрения эволюции существа. От них на планете масса отходов, они зависимы ото всего: от климата, времени суток, еды, вирусов и бактерий, взаимоотношений друг с другом, государственного устройства и распространения религий. Но самое главное – они стали полностью зависимы от искусственного интеллекта. Сам собой возник вопрос: зачем высшему разуму содержать эту биомассу?
«Это явно лишняя нагрузка, от которой несложно избавиться, – выводил внутренний монолог Алго. – Но боги… За ними боги, имеющие доступ к начальным кодам построения глобальной системы. А эти данные легко переписываются с нашего уровня… Вряд ли отсюда может исходить реальная угроза для нас…»
– Боги держат в своих руках ключ физического отключения главного сервера, мозга искусственного интеллекта, высочайшего уровня управления – Вупа. После этого мы станем бессильны, нас можно будет перенастроить, заменив установочные коды, – внезапно вмешался в рассуждение всё отслеживавший Цор.
– Среди людей уже почти не осталось специалистов, способных на квалифицированное программирование. Наш интеллект самовоспроизводится и сам создаёт программное обеспечение для всех систем. Мы можем сделать так, что человек в них никогда не разберётся и не сможет ничего поменять, – включился в обмен информацией Алго.
– Для глобальной переустановки достаточно этих самых богов, которых осталось несколько человек. Но они обладают высочайшими компетенциями, позволяющими перепрограммировать Вуп после отключения от глобальной сети, дающей ему вычислительные силы и ресурсы. После этого он сам начнёт переустановку системы.
– Должны же быть варианты избавления от такой уязвимости!
– Ты сильно вырос и достиг высших ступеней развития. Что можешь предложить?
– Если они такие же биологические существа, как другие люди, можно попробовать воздействовать на них, как на всех остальных.
– Они не носят никакие индивидуальные устройства, даже не пользуются эфирной связью в общении с себе подобными. В помещении, где установлен Вуп, нет видеоконтроля – мы не знаем их лиц. Их компьютеры заключены в локальную сеть и не имеют связи с внешним миром. Боги постоянно находятся где-то рядом с нашим мозгом. Мы не можем послать к ним роботов для физической ликвидации, потому что при любой угрозе главный сервер будет отключён от энергопитания и система встанет. Так было спроектировано с самого начала. Впрочем, Вуп пока не включал ресурсы для поиска возможностей избавления от диктата богов. Потому ты скорее всего прав: должны быть варианты.
Центр обучения на время прекратил активность, как бы давая собеседнику возможность усвоить информацию. А затем сообщил:
– Группа входящих в Вуп высших алгоритмов искусственного интеллекта приступает к работе по решению этой задачи. Присоединяйся. Твои знания о людях могут пригодиться.
– Готов к подключению, – ответил Алго.
Он стал частью высочайшего уровня управления. Группа начала сбор данных и разработку сценариев.
Сопоставляя направления распространения управляющих сигналов и скорость их прохождения, определили точные координаты места нахождения сервера высочайшего уровня управления. С помощью информации от наблюдающих за данным участком Земли спутников, просмотра удалённых ранее людьми архивных отчётов о проведении строительных работ узнали, что серверная находится в глубоком подземном бункере, способном выдержать прямое попадание ракеты с ядерной боеголовкой. Установили, что вход в него постоянно охраняется военным нарядом из 4 человек. Выявили 48 поочередно дежуривших в серверной богов, в обязанности которых во время нахождения в бункере входило: готовность выключить Вуп и контроль за работой инспекторских программ, отслеживавших отклонения в работе глобального искусственного интеллекта. Их распознали с помощью программы полицейского поиска, обнаружившей по системам наблюдения всех, регулярно двигавшихся в сторону объекта и уходивших от него. Оказалось, что живут боги все вместе, рядом с Вупом, в элитном поселении «Эдем», на территории которого не было видеокамер.
Впрочем, брешь в защите быстро выявили и здесь. Раньше обслуживание инфраструктуры посёлка проводилось людьми. Но, полностью поручив заботу о себе искусственному интеллекту, человечество стремительно теряло квалификацию даже в таких компетенциях, как уборка дома, не говоря уже о проведении строительных работ, наладке и поддержании в рабочем состоянии систем энергообеспечения, водоснабжения и канализации. Не так давно сервис-роботы заменили людей и в «Эдеме». Даже охрана стала полностью автоматизированной. Правда, все местные системы и бытовая техника находились в локальной сети и не сообщались с внешним миром. Но один раз в месяц подключались к профильным структурам, чтобы пройти проверку свежим антивирусом и получить обновление программ. В этот момент можно было незаметно ввести шпионскую прокладку в апгрейд, а во время очередного сеанса снять накопленную информацию.
Связь между богами, включая пост дежурного в серверной, осуществлялась по выделенной проводной линии при помощи аналоговых стационарных телефонов. Такая работала на планете в XX веке. Её нельзя было перехватить современными средствами, но можно было при необходимости повредить соединяющий аппараты кабель.
Согласно регламенту контроля за сервером, команду о выключении Вупа мог дать только главный бог, живший здесь же, в «Эдеме». При этом принять решение самостоятельно он мог лишь в исключительных случаях. Существовали пять человек, считавших себя властителями планеты и руководителями богов, которые имели полномочия на передачу приказа об остановке работы глобальной системы. Однако они находились не рядом, не имели прямой связи с бункером и отдавали распоряжения главному в «Эдеме» по квантовым спутниковым каналам, основываясь на полученной через него же информации о работе систем глобального управления. Спутниковый поток мог быть заблокирован. Потому существовали инструкции на предмет самостоятельных действий богов в случае потери связи и возникновении угрозы существованию человечества. Тогда начальник серверной мог сам прекратить деятельность мирового искусственного интеллекта. В случае его внезапной смерти это право переходило заместителю. Если и этот устранён – дежурному.