Методология построения распределенных сетей передачи, обработки и хранения данных: анализ и выбор рациональной структуры. Монография. Том 1 - читать онлайн

Предисловие

Добрый день, дорогие друзья и коллеги!

Представляю вам свою научно-исследовательскую работу на тему «Методология построения распределенных сетей передачи, обработки и хранения данных: анализ и выбор рациональной структуры. Монография. Том 1».

В 2003 году в Тверском государственном техническом университете я защитил кандидатскую диссертацию по теме «Анализ и выбор рациональной структуры региональных распределенных сетей передачи, обработки и хранения данных» по специальности 05.13.01 – Системный анализ, управление и обработка информации (в промышленности). На сегодняшний день – это специальность 2.3.1. «Системный анализ, управление и обработка информации, статистика».

В честь двадцатилетия с момента написания своей первой научной работы я принял решение опубликовать накопившийся у меня за последние годы значительный объем материалов, который будет издан в двух книгах:

Том 1. Раскрывает классические подходы к проектированию распределенных сетевых структур на основе разработанной методики анализа функционирования и выбора рациональной структуры региональной сети передачи, обработки и хранения данных в условиях использования разнородных и низкоскоростных каналов связи с целью повышения производительности, а как следствие, ее эффективности функционирования. Основная работа по данному направлению выполнялась в период с 2000 по 2003 годы.

Том 2. Значительно дополняет содержанием том первый и раскрывает новые подходы к проектированию региональных распределенных сетей передачи, обработки и хранения данных на основе технологий следующего поколения – NGN (Next Generation Network), которые, в последствии, позволили перейти к «сетям будущего» (см. стандарты и рекомендации Международного союза электросвязи), функционирующих на основе технологий машинного обучения и искусственного интеллекта. Основная работа по данному направлению выполнялась в период с 2009 по 2011 годы.

На первый взгляд читателю может показаться, что информация в обеих книгах значительно устарела, а подходы и результаты нельзя применить в современной практике. Я и сам так долго думал до того момента, как в 2021 году меня не пригласили в МГТУ им. Н. Э. Баумана принять участие в создании Центра сильного и прикладного искусственного интеллекта.

Оглядываясь на свою практическую работу за последние двадцать лет я понял, что мои наработки пригодились мне в жизни не один раз, а результаты научно-исследовательских работ и общие подходы к проектированию сетевых инфраструктур передачи, обработки и хранения данных, которые изложены в данной книге, мною были апробированы на практике неоднократно в разные периоды времени и в разных проектах.

К значимым достижениям, основанных на моей работе, можно отнести следующие:

2003 год

Предложенный в работе методологический подход к определению загрузки и производительности сервера центра обработки информации, совместные работы, выполненные в соавторстве с д. т. н. Б.В. Палюхом и к. т. н. С.Л. Федченко, а также разработанная на его основе программа оценки соответствия производительности многопроцессорных ЭВМ числу решаемых задач были реализованы в проекте, выполненным ФГУП «Государственный испытательный центр программных средств и вычислительной техники» (город Тверь) для Центробанка Российской Федерации.

В дополнение к этому, результаты работы были использованы в:

– Администрации Тверской области, при проектировании региональной вычислительной сети обработки социально-экономической информации и при реализации проекта целевой программы информатизации – «Создание опорных пунктов информатизации в районных (городских) администрациях и муниципальных образованьях и отработка функционирования системы взаимодействия на базе внедрения электронного документооборота».

– Компании «ЛУКойл-Арктик-Танкер» при разработке сетевого проекта построения распределенной системы электронного документооборота компании на базе СУБД Lotus Domino R5.

2005 год

В период с 2005 до 2008 годы в компании «Сетевые системы» под моим непосредственным руководством проводились научно-исследовательские и опытно-конструкторские разработки (НИОКР) в области информационных технологий и сетевой безопасности.

Одним из основных результатов НИОКР стало создание встраиваемой сетевой операционной системы «PyrOS» для устройств сетевой безопасности: аппаратных файрволлов (firewall), систем обнаружения и предотвращения вторжений (Intrusion Detection Systems – IDS и Intrusion Prevention System, IPS) управляемых коммутаторов и других.

Операционная система «PyrOS» ничего общего не имела с клонированием Linux. Наш опыт в создании собственной системы базировался на знаниях FreeBSD и QNX. Первый прототип был создан на основе FreeBSD и промышленного сервера Advantech FWA-3140. В последующем ядро, драйвера и код были полностью переработаны. Был создан свой перечень управляющих команд и командный интерпретатор (как бы сейчас сказали: «свой язык программирования и управления сетевыми устройствами»).

В последствии данная разработка была высоко оценена на международной выставке CeBIT 2007, как техническое решение, специалистами компаний Intel, Cisco и тогда еще никому не известной компании Huawei.

Подробнее об этой разработке можно узнать из моей книги «Разработка встраиваемой сетевой операционной системы PyrOS»1.

2011 год

Написана диссертация на соискание ученой степени доктора технических наук на тему: «Методология определения операционных характеристик и рациональной структуры региональных распределенных сервисных сетей передачи, обработки и хранения данных». Специальность 05.13.10 – Управление в социальных и экономических системах.

Работа посвящена развитию технологий сетей Next Generation Network (NGN) и применения их для построения региональных распределенных сетей.

Диссертация защищена в Межотраслевом центре эргономических исследований и разработок в военной технике (Тверское отделение (40-я лаборатория) НИИ авиационного оборудования) – филиала Центрального научно-исследовательского института экономики и конверсии (ЦНИЭК).

В том же году в компании «МТС» внедрена, разработанная нами система централизованного хранения, обработки и защиты конфиденциальной информации, расположенной в распределенных центрах обработки информации компании, на удаленных автоматизированных рабочих местах и терминалах – «Atlansys Atlansys Enterprise Security System» (https://atlansys.tech/atlansysess/). Система была установлена на 12 000 рабочих местах 2.

2021 год

1. Написана Программа центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана по теме: «Создание платформы машинного обучения для автоматизации интеллектуальных сетей передачи, обработки и хранения гетерогенных данных на основе технологий доверенного искусственного интеллекта». По направлению: «Межотраслевые технологии искусственного интеллекта и искусственный интеллект для иных приоритетных отраслей экономики и социальной сферы».

Основная цель программы Центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана – создание специализированного программного комплекса – платформы машинного обучения для автоматизации обеспечения бесперебойной работы и улучшения качества услуг интеллектуальных сетей передачи, обработки и хранения гетерогенных данных (включая поддержку работы с широкополосными сетями передачи данных, сетями Wi-Fi, сети IoT и д.р.) на основе технологий доверенного искусственного интеллекта, а также:

– работу в распределенных облачных инфраструктурах для решения широкого круга межотраслевых задач индустриальных партнеров;

– создание и тестирование новых алгоритмов обучения нейронных сетей, которые могут применяться в широком спектре кросс-отраслевых прикладных решений;

– сделать существенных шаг для последующих исследованиях в направлении Сильного искусственного интеллекта.

Очень важным аспектом работы данной платформы является реализация задачи поддержания наиболее эффективной нагрузки на сеть по критерию производительности в условиях интенсивной маршрутизации обмена сообщениями. На основании исходных данных платформа может моделировать и прогнозировать поведение сети, информируя оператора о причинах сбоев или снижения эффективности работы сети, или помогая делать прогнозы по улучшению обслуживания сети, а также решать задачи по ее оптимизации.

Созданная «умная» платформа сможет также применяться крупными производственными компаниями при переводе производственных и технологических процессов на уровень «Индустрия 4.0» и промышленного Интернета вещей, для решения задач автоматизации обмена данными о процессах и автоматической реконфигурации без непосредственного участия человека.

Применение машинного обучения и искусственного интеллекта для решения подобных задач автоматизации и оптимизации сетевых параметров интеллектуальных сетей в ближайшем будущем позволит нам перейти к созданию новых сетевых систем – сетей будущего, которые способны автоматически решать сложные оптимизационные задачи и строить самостоятельно алгоритмы построения и развития сетей, что немаловажно, они смогут выполнять оптимизационные задачи быстрее и качественнее человека, что в будущем будет возможно с появлением сильного искусственного, который позволит создавать самоорганизующиеся сети передачи данных, объединяющие в себе сотовые сети, широкополосные сети, сети Wi-Fi, сети Интернета вещей, сети промышленного Интернета и другие сети специального назначения,3,4,5,6,7,8,9,10.

Совместно компанией «ЭР-Телеком Холдинг» – индустриальным партнером Центра разработано Техническое задание, которое позволит решить следующие основные задачи на базе создаваемой платформы:

1. Разработка подсистемы улучшения эффективной нагрузки и контроля качества эксплуатации интеллектуальной сети (инфокоммуникационной сети и сервисов).

2. Разработка подсистемы предиктивной аналитики для поддержки системы-принятия решений по эксплуатации сети.

3. Разработка подсистемы сбора и глубокого анализа данных сети IoT, с целью формирования специализированных баз данных, для дальнейшего создания, внедрения и предоставления платных сервисов клиентам (заказчикам, потребителям услуг).

Работа по написанию Программы центра разработки и внедрения сильного и прикладного искусственного интеллекта МГТУ им. Н. Э. Баумана выполнена в рамках конкурса проведенного в 2021 году Аналитическим Центром при Правительстве России по отбору получателей поддержки исследовательских центров в сфере искусственного интеллекта, в том числе в области «сильного» искусственного интеллекта, систем доверенного искусственного интеллекта и этических аспектов применения искусственного интеллекта. Программа высоко оценена независимыми экспертами.

Об этом проекте и его результатах я подробно рассказываю в книге «Как создать Центр искусственного интеллекта за 100 дней».11

2. Подготовлен Отчет о научно-исследовательской работе МГТУ им. Н. Э. Баумана за 2021 год по теме: «Разработка методологии построения интеллектуальных сетей, определение их структуры и архитектуры, параметров функционирования с целью повышения производительности работы системы и пропускной способности каналов передачи данных с учетом возможности использования технологий машинного обучения и искусственного интеллекта». Работа выполнена в рамках конкурса «Приоритет-2030»: «Искусственный интеллект как сервис», проведённого Министерством науки и высшего образования Российской Федерации.

2023 год

Разработана электронная универсальная система машинного обучения «Atlansys EUS» (Electronic Universal System, EUS).

Название платформы выбрано не случайно и является отсылкой к 80-м и 90-м годам двадцатого века, к эпохе зарождения и развития компьютерных технологий, автоматизированных и экспертных систем.

Платформа «Atlansys EUS» создана для разработчиков и пользователей сервисов искусственного интеллекта. Она предоставляет цифровые сервисы, необходимые для разработки, развертывания и запуска приложений, использующих технологии машинного обучения и искусственного интеллекта в распределенных облачных средах для решения научных и бизнес-задач заказчиков.

Концепция «Atlansys EUS» – это автоматизированная реализация процесса «Data Mining -> Data Science -> Data Analysis -> Artificial Intelligence -> Machine Learning -> Value» через цифровые сервисы.

Как вы можете видеть, научно-исследовательская работа, представленная в первом томе, прошла красной нитью через многие из моих проектов, выполненных за последние двадцать лет в области информационных технологий. Я надеюсь она сможет быть полезной и вам в вашей работе.

Эта книга, как и мои многие другие, является исключительно личным опытом и проектом автора, а также абсолютно свободным к распространению документом. Вы можете использовать эту книгу и представленную в ней информацию по-своему усмотрению, но ссылка на нее обязательна.

Приятного Вам чтения и продуктивной работы!

Ваш, Александр Чесалов.

Сайт: chesalov.com

E-mail: aleksander.chesalov@yandex.ru

01.06.2023