Системы обеспечения

Общая информация

Системы обеспечения (Facility Infrastructure) – Не являются ИТ сервисами, ИТ не является владельцем или управляющим сервисов, но необходимы для функционирования ИТ инфраструктуры. Как правило их внедрение и сопровождение производится административным департаментом и департаментом безопасности организации.

Системы обеспечения можно условно разделить на две составляющие: Инженерные системы и Системы Безопасности. Первая группа предназначена для обеспечения функционирования ИТ инфраструктуры. Вторая группа обеспечивает физическую безопасность ИТ инфраструктуры. При построении ЦОД желательно придерживаться рекомендаций следующих стандартов:

•Uptime Institute (UI)

•Американский стандарт (ANSI) TIA-942

•Серия стандартов EN50600 компании «CENELEC»

•SHRAE 90.4 – ASHRAE


Для понимания дальнейший информации необходимо ознакомится с рядом значений:

•1 Вт = 1.4 ВА (Вольт-Ампер) – мощность при коэффициенте 0.7;

•1 Вт = 3.41 BTU – британская единица тепловыделения;

•1 U = 44.45 мм (1.75 дюйм) – размера оборудования стойки;

•10 мВт = 10 dBm – мощность сигнала или потерь;

•100 мВт = 20 dBm – мощность сигнала или потерь (в 10 раз);

•200 мВт = 23 dBm – мощность сигнала или потерь (в 2 раза);

•1000 мВт = 30 dBm – мощность сигнала или потерь (в 100 раз);


Инженерные системы

F01 – Физическая инфраструктура

F02 – Структурированная Кабельная Система (СКС)

F03 – Система Электропитания

F04 – Система основного освещения

F05 – Система аварийного освещения

F06 – Система резервного и аварийного электропитания

F07 – Система Бесперебойного Электропитания (UPS)

F08 – Система охлаждения и вентиляции (HVAC)

F09 – Система управления Зданием (BMS)


Системы Безопасности

F10 – Физическая безопасность

F11 – Система Контроля и Управления Доступом (СКУД)

F12 – Система охранной сигнализации

F13 – Система пожарной сигнализации

F14 – Система внутреннего видеонаблюдения (CCTV)

F15 – Система автоматического пожаротушения

F16 – Система оповещения



Рассмотрим детальные требования предъявляемые к системам обеспечения

F01: Физическая инфраструктура

Назначение

Физическая инфраструктура представляет из себя помещение, здание или пространство для расположения инженерных систем и вычислительных ресурсов. По стандартам построения ЦОД различают помещения ЦОД по их назначению:

•Машинный зал (Computer Room CR) – включающие в себя Zone Distribution Area ZDA и Equipment Distribution Area EDA;

•Коммуникационные помещения (Telecommunication Room TR) – включающие в себя Main Distribution Area MDA и Horizontal Distribution Area HDA;

•Entrance Room ER – помещение для подвода внешних коммуникаций;

•Технические помещения (Facility Room FR) – для ИБП, систем охлаждения и т п;

•Network Operation Center NOC – помещения для мониторинга;



Кроме этого вводятся понятия:

•Площадь Стойки (Rack Area)

•Количество Вмещаемых Стоек (Rack Yield)

•Единица Эквивалента Стойки (REU)


Введем основные определения

Центр обработки данных (ЦОД) – консолидация вычислительных ресурсов, средств хранения данных и связи в специализированном помещении для выполнения функций обработки, хранения и распространения информации.

Коммуникационная комната – специализированное помещении для размещения элементов СКС, активного оборудования, систем безопасности и т п. Исполняет функции консолидации, обработки, хранения и обмена информацией с ЦОД.

Коммуникационные шкафы – отдельно стоящие специализированные стойки для размещения активных и пассивных элементов СКС и элементов систем обеспечения. Исполняет функции коммутации и консолидации точек подключения. Могут размещаться как обособленно, так и в помещении коммуникационных комнатах или ЦОД.

По размерам ЦОДы можно разделить по площади машинного зала и ассоциируется с количеством вмещаемых стоек. Так для примера:



Общие требования

Физические требования общего назначения можно выразить как:

•Наличие помещения серверной комнаты или ЦОД.

•Наличие коммуникационных комнат (для этажа, сектора и т п).

•Возможность доставки и монтажа коммуникационных 42U стоек


Физические требования к шахтам и каналам:

•Возможность доступа к кабелю и его замене.

•Раздельная прокладка «слаботочного» и «силового» кабеля.

•Не допускать прокладки кабеля в шахтах, предназначенных для прокладки водяных труб, труб отопления или канализации.


Физические требования к помещению ЦОД

Для помещения серверной комнаты (ЦОД) можно руководствоваться, но не ограничиваться следующими требованиями. Рекомендуется:

•Размер машинного зала не менее 6 м2;

•Размещать на первых этажах здания для облегчения доставки и размещения оборудования;

•Размещать помещение ЦОД в центре здания;

•Шахты проходят через ЦОД или непосредственной близости;

•Стены из кирпичной кладки или бетона;

•Ограниченный доступ в помещение;

•Обеспечивать возможность размещения шкафов (форм-фактор 42U 600 х 1100 х 2000 мм) и их обслуживание;

•Обеспечение пространства между боковыми стенками стоек или пары стоек не менее 30 см;

•Обеспечение прохода между стойками не менее 60 см;

•Доступ к стойке с фронтальной стороны порядка 90—150 см для установки оборудования;

•Доступ к задней стороне стойки порядка 60—90 см для проведения монтажных работ;

•Обеспечивать возможность проведения регламентных работ;

•Высота рабочего пространства (от фальшпола до подвесного потолка) помещения не менее 2.2 м;

•Металлическая дверь;

•Размер дверного проема не менее 1м х 2м без порога;

•Дверь открывается наружу и снабжена механизмом «push up»;

•Наличие фальшпола с высотой не менее 40 см;

•Наличие фальшпола выдерживающего весовую нагрузку от 600 кг/м2 для «обычных» стоек и до 1200 кг/м2 для стоек с «высокой плотностью» установки;

•Наличие открытых кабельных направляющих (не менее 150 х 25 мм) под фальшполом для прокладки силового кабеля;

•Кабельные направляющие устанавливаются выше пола на 10 см;

•Наличие открытых кабельных направляющих (не менее 150 х 25 мм) на потолке для прокладки слаботочного кабеля;

•Использование пожара-стойких, не токсичных, не дымных материалов;

•Возможность доставки габаритных, порядка 2000 х 1000 х 1000 мм и тяжелых, порядка 300 кг. грузов;

•Наличия резервных шахт или каналов для подвода кабелей;

•Размещать машинный зал не далеко от технических помещений;


Допускается:

•Располагать серверную комнату в подвале, если отсутствует угроза затопления;

•Использование серверной комнаты в качестве коммуникационной комнаты для небольшого объекта;

•Не использовать фальшпол для малых и не нагруженных серверных комнат;


Не рекомендуется:

•Располагать серверную комнату на вернем этаже здания;

•Располагать серверную комнату таким образом, что стенки серверной являются внешними стенами здания;

•Наличие окон в серверной комнате;


Запрещается:

•Прохождение по помещению серверной комнаты водяных труб, труб отопления или канализации.

•Прохождения рядом или на верхних этажах от серверной комнаты водяных труб, труб отопления или канализации.

•Использовать серверную комнату не по назначению



Физические требования к помещению коммутационной комнаты

Для помещения коммутационной комнаты можно руководствоваться, но не ограничиваться следующими требованиями со стороны ИТ:

Рекомендуется:

•Размещать в центре здания для небольших объектов.

•В зависимости от конструкции здания, размещать с учетом ограничения СКС.

•Шахты и каналы должны проходить через помещение.

•Ограниченный доступ в помещение.

•Помещение обеспечивает возможность размещения одного коммуникационного шкафа (стойка форм фактор 42U) и ее обслуживание.

•Высота рабочего пространства (от фальшпола до подвесного потолка) помещения не менее 2.2 м

•Металлическая дверь

•Размер дверного проема не менее 1м х 2м без порога

•Дверь открывается наружу помещения и наличия механизма «push up»

•Наличие открытых, металлических кабельных направляющих (не менее 150 х 25 мм) для прокладки силового кабеля.

•Наличие открытых, металлических кабельных направляющих (не менее 150 х 25 мм) для прокладки коммуникационного кабеля

•Использование пожара-стойких, не токсичных и не дымных материалов

•Возможность удобной доставки габаритных (2000 х 1000 х 1000 мм) и тяжелых грузов (до 100 кг.)

•Наличия двух шахт или каналов для подвода кабелей.


Допускается:

•Использование серверной комнаты в качестве коммуникационной комнаты для небольшого объекта.

•Не использовать фальшпол для малых и не нагруженных коммутационных комнат.

•Использование настенных коммуникационных шкафов (форм фактор 9—12U настенный 600 х 900 х 600 мм) вместо коммутационной комнаты для малых объектов.


Не рекомендуется:

•Располагать серверную комнату таким образом, что стенки серверной являются внешними стенами здания.

•Наличие окон в коммутационной комнате.


Запрещается:

•Прохождение по помещению коммутационной комнаты водяных труб, труб отопления или канализации.

•Прохождения рядом или на верхних этажах от коммутационной комнаты водяных труб, труб отопления или канализации;

•Использовать коммутационную комнату не по назначению;


Физические требования к офисным помещениям не определены.



В качестве примера можно рассмотреть план небольшого объекта, филиала банка. На начальном этапе в наличие может быть только общий план помещений.

На плане необходимо определить расположения серверной комнаты, отдельно стоящих коммуникационных шкафов и комнат, если есть необходимость. Кроме этого определить место для технического помещения. На данном этапе можно провести предварительное планирование количества и расположение рабочих точек, направление и расположение кабельных каналов и т п. Так при планировании максимального количества рабочих точек на общем плане берем одну полную рабочую точку на 2—4м2. Данные цифры берутся из стандартов охраны труда для рабочего места.



При проектировании объекта, на определённом этапе необходимо наличие дизайнерского плана, который включает в себя размещение мебели, рабочих мест сотрудников и т п. Как пример, на диаграмме показан дизайнерский план филиала банка. На основе данного плана можно уточнить количество рабочих точек и их расположение, направления прокладки кабельных каналов, расположения камер наблюдения и т п.

F02: Структурированная Кабельная Система (СКС)

Назначение

Структурированная Кабельная Система (СКС) представляет из себя пассивные элементы Локальной Вычислительной Сети (ЛВС) организации. При проектировании СКС необходимо руководствоваться, но не ограничиваться требованиями стандартов:

•TIA-EIA-569-A, EIA/TIA-568С и TIA-942;

•CENELEC EN 50173-х;

•ISO/IEC IS 11801—2002;


Общие требования

В качестве элементов СКС можно выделить следующие:

•Коммуникационные шкафы;

•Патч-панели – панели для терминирование кабеля в шкафах;

•Кабель слаботочных систем;

•Кабельные органайзеры;

•Полки для размещения не «стандартного» оборудования;

•Кабелеводы, короба для прокладки кабеля;

•Модули и розетки рабочих точек;

•Пач-корды для подключения рабочих точек и розеток, и активного оборудования, и патч-панелей;


Условно СКС можно разделить на две составляющие

•вертикальная – обеспечивает коммуникацию между этажами, отдельными объектами, центрами распределения и коммутации

•горизонтальная – обеспечивает коммуникацию рабочих точек.


Горизонтальная составляющая СКС включает в себя:

•Центры распределения – узлы агрегирования кабеля от рабочих точек.

•Рабочие точки – места подключения конечного оборудования.


Как правило в качестве основной среды передачи данных для вертикальной составляющей используется оптический кабель, а для горизонтальной составляющей – «витая пара».

Кабель «витая пара» представляет из себя проводники скрученные попарно и между собой и различается по категориям, определяющим в основном полосу пропускания сигнала и как следствие скорость передачи данных. На данный момент является основным средством (средой) для построения СКС организации.



Рабочие точки могут представлять из себя набор розеток для подключения конечного оборудования. Например, одна рабочая точка может включать в себя одну розетку ИБП и одну розетку RJ-45.

По возможности всегда обеспечивайте избыточность рабочих точек, как правило порядка 30 процентов и более. Гораздо проще и дешевле обеспечить их прокладку сейчас, чем после введения здания в эксплуатацию. В таблице представлены основные типы кабеля «витая пара».

Кроме этого кабель «витая пара» различается по категориям в соответствии с характеристиками.


Таблица основных категорий кабеля.


Маркировка для одинаковой категории кабеля указывает на тип проводника, тип кабеля и экранирование. Общая маркировка кабеля (по стандарту ISO/ IEC 11801) представляет из себя вид «XX/YZZ» где XX – обозначают общий экран кабеля, Y – экран каждой пары, а ZZ – тип скрутки проводов. Основные сокращения: TP (Twisted Pair) – тип скрутки витая пара, U (Unshielded) – защитный экран отсутствует, F (Foiled) – в качестве экрана используется фольга и S (Shielded) – в качестве экрана используется проволочная оплетка.

Кроме этого используются сокращения по оболочке кабеля, которая зависит от условий прокладки и эксплуатации кабеля. Чаще можно встретить следующие виды оболочки: PVC – ПВХ-пластиката для внутреннего применения, PP – полипропилен для внешней прокладки в основном для высоких температур – до +140°С, PE – полиэтилен для внешней прокладки, FR – огнестойкий может работать в открытом пламене заданное время: на сегодня стандартизированы огнестойкие оболочки на 30, 90 и 180 мин. Так же возможно использование сокращений LS – Smoke пониженное дымовыделение при горении, ZH – Zero Halogen изготовлен из материалов, которые при горении не выделяют отравляющие галогеновые газы, В – Бронь чаще всего для брони используется стальная лента, которая обвивается вдоль кабеля c тросом. Трос нужен для натяжения кабеля между строениями.

Как пример, маркировка U/UTP 4 cat5e solid 24AWG LSZH переводится так: не экранированный кабель, содержит 4 пары по 2 жилы, 5 категории, solid – жила однопроволочная, 24 AWG – диаметр 0,51 мм, LSZH – без галогенный кабель с низким дымовыделением. В качестве разъемов используются:

•RJ-9 (4P4C) – подключение телефонной трубки к телефону, (4 —Position, 4 – Contact)

•RJ-11 (6P2C) – двух-контактный телефонный разъем,

•RJ-12 (6P6C) – шести-контактный телефонный разъем,

•RJ-14 (6P4C) – четырех-контактный телефонный разъем,

•RJ-45 (8P8C) – восьми-контактный компьютерный разъем, наиболее распространённый.


Таблица AWG – Проводимость тока и сечение проводника витой пары


Наиболее часто используемый кабель на данный момент Cat6, который заменил Cat5e, в виду относительно низкой стоимость. Помимо кабеля «витая пара» в ряде случаев может использоваться коаксиальный кабель или беспроводные соединения. В качестве рекомендаций по прокладке СКС можно выделить следующие:

•Прокладывать кабель по специальным каналам и шахтам;

•Ограниченный доступ к кабельным каналам;

•Обеспечить возможность для доступа и обслуживание кабеля;

•Прокладывать внешние силовые и «слаботочные» кабели в разных направляющих (трубах).

•Наличия двух шахт или каналов (основного и резервного) для подвода кабелей.

•Наличие схем прокладки кабелей.

•Использование оптического «одно модового» кабеля SM между зданиями при расстояниях до 2 км.

•Использование оптического «мульти-модового» кабеля ОМ3 с разъемами «LC» между зданиями и внутри дата центра при расстояниях до 550 м.


Допускается:

•Допускается прокладка оптического и телефонного кабеля совместно с низковольтным электрическим кабелем (220В).


Запрещается:

•Прохождение электрических и «слаботочных» кабелей рядом с водяными трубами, трубами отопления или канализацией.

•Использовать кабельные каналы не по назначению.

СКС внешняя

Внешняя СКС предназначена для подвода слаботочного кабеля от городской АТС или провайдера к объекту. К ним можно отнести кабели и технологии получения доступа в интернет, городская телефония, корпоративная связь между филиалами. В ряде случаев к внешней можно отнести коммуникацию между удаленными офисами или зданиями на территории объекта. Рекомендуется:

•Ограниченный доступ к кабельным каналам.

•Обеспечить возможность для доступа и обслуживание кабеля.

•Прокладывать кабель от городской АТС до помещения серверной комнаты или дата центра.

•Использовать оптический кабель «внешней» прокладки, «одно модовый», минимум четыре жилы.

•Терминируется кабель в коммуникационный шкаф на оптическую панель не менее четыре жилы.

•Желательно иметь единый форм-фактор портов оптических панелей внешние и внутренней СКС (обычно SC, FC, ST, LC).

•Наличие схемы прокладки кабеля.


Допускается:

•Допускается прокладка оптического и телефонного кабеля совместно с электрическим кабелем.

•Допускается терминирование кабеля на настенную панель.

•Если форм-фактор портов оптических панелей внешние и внутренней СКС отличается, то необходимо иметь кабели с переходниками (например, LC-SC, SC-ST).


Запрещается:

•Прохождение электрических и «слаботочных» кабелей рядом с водяными трубами, трубами отопления или канализацией.

•Использовать кабельные каналы не по назначению.

СКС вертикальная (здания или между корпусами)

Вертикальная составляющая СКС предоставляет из себя подключения между точками «распределения». К таким соединениям относятся соединения между зданиями, между серверной комнатой и этажным коммуникационным шкафом и т п.

Рекомендуется:

•Ограниченный доступ к кабельным каналам.

•Обеспечить возможность для доступа и обслуживание кабеля.

•Построение кабельной сети по схеме «звезда»

•Использовать оптический кабель «внешней» прокладки, «одно модовый», шесть-двенадцать жил.

•Терминируется кабель в коммуникационный шкаф на оптическую панель с минимум шестью —двенадцатью портами.

•Желательно иметь единый форм-фактор портов оптических панелей вертикальной составляющей СКС.

•Наличие схемы прокладки кабеля.


Допускается:

•Допускается прокладка оптического и телефонного кабеля совместно с электрическим кабелем.

•Допускается терминирование кабеля на настенную панель или наличие коннектора.

•Использовать оптический кабель «внешней» прокладки, «одно модовый», минимум четыре жилы.

•Если форм-фактор портов оптических панелей внешние и внутренней СКС отличается, то необходимо иметь кабели с переходниками (например, LC-SC, SC-ST).

•Допускается использование оптического кабеля OM3 «внешней прокладки», «мульти-модовый», шесть-двенадцать жил разъемом «LC».

•Для обратной совместимости с устаревшими телефонными системами, при необходимости можно использовать телефонный кабель категории Cat3.



Запрещается:

•Прохождение электрических и «слаботочных» кабелей рядом с водяными трубами, трубами отопления или канализацией.

•Использовать кабельные каналы не по назначению.

СКС горизонтальная (офисная)

Горизонтальная составляющая СКС предоставляет из себя подключения от точки «распределения» до оконечных точек пользователей.

Рекомендуется:

•Ограниченный доступ к кабельным каналам или коробам.

•Обеспечить возможность для доступа и обслуживание кабеля.

•Построение кабельной сети по схеме «звезда»

•Использовать цельный медный кабель «внутренней» прокладки, типа витой пары, категории CAT 6.

•Ограничение на расстояние между конечной точкой и точки «распределения» не более 90 м.

•Терминируется кабель в коммуникационный шкаф на медную панель категории CAT 6, с портами с разъемами типа RJ-45.

•Для обеспечения отказоустойчивости используется избыточность количества рабочих точек

•Наличие схемы прокладки кабеля.


Горизонтальная составляющая СКС включает в себя оконечные точки доступа пользователей. Конечные точки подключения представляют из себя как настенные (Wall Mounted), так и напольные (Floor Box) блоки. Блоки скомпонованы в «Рабочие точки»: розетки RJ-45, розетки электрические городского и бесперебойного питания.

«Рабочая точка №1»:

•2 компьютерная розетка с разъемом RJ-45

•1 электрическая розетка с электропитанием от центрального ИБП. Желательно с ключом (типа Legrand Mosaic 2M) для защиты от случайного включения.

•1 электрическая розетка с городским электропитанием IEC C7 «Shuko» до 5А.


«Рабочая точка №2»

•2 компьютерные розетки с разъемом RJ-45

•2 электрические розетки с электропитанием от центрального ИБП. Желательно с ключом (типа Legrand Mosaic 2M) для защиты от случайного включения.

•2 электрическая розетка с городским электропитанием IEC C7 «Shuko» до 5А.



При прокладке рабочих точек пользователей можно использовать «напольные» (Floor Box) точки.



Данная реализация подходит для общих залов (Office) или же когда отсутствует детальный план расположения мебели. Для установки требуется наличие фальшпола.

Второй вариант установки рабочих точек, это «настенная» установка. Как правило может быть выполнена на уровне пола, порядка 20—30 см или же на уровне офисного стола (90—100 см от пола), что является более удобно. В плане прокладки кабеля к розеткам, может быть, как прокладка в стене, либо с использованием кабельных каналов – «транков» на которых устанавливаются розетки.



Последний вариант более удобен с практической точки зрения, так как позволяет относительно быстро и просто наращивать количество розеток, проще в ремонте и замене кабеля и т п. Из недостатков – с эстетической точки зрения, может потребовать более дорогие компоненты (Legrand, модули и т п). Еще один вариант установки рабочих розеток, это установка в мебели, компьютерных столах. Для этого понадобится наличие детального плана размещения офисной мебели уже на этапе дизайна здания, или использование фальшпола для подвода кабеля с последующей прокладкой кабеля в офисных столах. Компьютерные столы должны обеспечивать возможность установки настольных коробок «Table Box» для розеток, а также приняты во внимание вопросы техники безопасности (электрический провод, размещенный в металлическом столе, подвижность стола и т п).

Общий вид открытой прокладки кабеля и рабочих точек можно рассмотреть на рисунке. Кабельные каналы «транки» позволяют прокладывать электрические провода и кабели слаботочных систем совместно.


Рекомендации по комплектованию коммуникационной стойки в дата центре

Также частью СКС можно рассматривать коммуникацию между стойки ЦОД. Как правило в стойки устанавливают патч-панели, которые, как и коммуникации от внешних шкафов, терминируются на выделенную стойку.



Для комплектования коммуникационной стойки со стороны ИТ допускается следующие варианты:

•По возможности и исходя из соображений рациональности, размещать вычислительные мощности (сервера), системы хранения и сетевое оборудование в разных стойках (даже в разных залах).

•Коммуникационные шкафы форм-фактор 24U или 42U (600 х 1100 х 2000) с напольной установкой, а для шкафов 7—22U настенная установка;

•Передние вертикальные направляющие для крепления горизонтальных направляющих оборудования желательно устанавливать в глубину 15—20 сантиметров. Это предоставляет возможность помимо установки оборудования возможность подключать слаботочный кабель.

•Дверцы стойки (передняя и задняя) как правило должна быть металлическая с отверстиями для доступа воздушного потока. Исключение составляют шкафы со стоечным охлаждением или коммуникационные шкафы с одним или несколькими коммутаторами;

•Активное оборудование, устанавливаемое в стойку, должно устанавливаться с соблюдением направления потоков воздуха. Как правило большинство оборудования имеет подачу холодного воздуха спереди и вывод с задней стороны;

•В зависимости от требований установка 24-х или 48-ми портовых панелей для медного кабеля витой пары категории CAT 6 с разъемами RJ-45.

•В зависимости от комплектации стойки предполагается установка 12-х или 24-ми портовых панелей для оптического кабеля категории «одно модовый» или «мульти модовый» ОМ3 с разъемами «LC» для соединения между стойками.

•Для ЦОД, с каждых трех-четырех шкафов кабели подводить к «кроссовому» шкафу. Кабели терминируются на панели.

•В «кроссовом» шкафе располагается «KVM» коммутатор (24-ти или 32-х портовый) и терминальная панель с монитором и клавиатурой. С данного шкафа производится коммутация соединений и управление серверами.

•Рекомендуется заполнение стойки порядка 70%;


Конвертер значений и размеры шкафов


Сопротивление кабеля


Таблица коммуникационных разъемов и соединений

Размещение активного оборудования в стойках

В нашем примере предполагаем наличие четырех стоек в ЦОДе. Учитывая выше сказанное и забегая вперед, мы уже имеем представление какое активное оборудование и в каком количестве будет установленно в ЦОД. Во все стойки размером 42U устанавливается локальный резервный ИБП.



Первая стойка служит у нас коммутационной. К ней подводится кабель от патч-панелей (одна 48-ми портовая Cat6 и три 24-х портовые оптические) второй, третьей и четвертой стойки. Здесь же размещаем 16-ти портовый KVM-коммутатор, монитор и клавиатуру для физического доступа к серверам. Также размещаем физический, корневой сервер центра сертификации, физический сервер контролер домена, два хоста гипервизора, и Систему Резервного Хранения Данных. Следующие две стойки имеют идентичное активное оборудование, чем обеспечивается отказоустойчивость на уровне стойки. В качестве активного оборудоования устанавливаются корневой коммутатор, Система Хранения Данных, хост гепервизора и хост СУБД, файрвол и устройства защиты почтовых сообщений. Четвертая стойка может использоваться для размещения телефонии, оборудования депаратмента безопасности, патч-панели приходящии от этажных коммутационных стоек и т п. В первых трех стойках имеется запас для размещения дополнительного активного оборудования размером от 10U до 18U).

Этажные коммутационные шкафы могут быть укомплектованы как показано на диаграмме ниже.



В данном примере показаны напольные стойки формата 24U и 42U. Помимо бесперебойного питания от центрального ИБП каждая стойка укомплектована локальным резервным ИБП. Вверху стойки монтируются две патч-панели (медная и оптическая) для коммуникации с ЦОД. Емкость стоек 240 и 480 рабочих точек соответственно.

Инструменты для работы и проверки СКС

Для проведения работ, связанных с Локальной Вычислительной Сетью (ЛВС) могут понадобится следующий набор инструментов и расходных материалов.



Кримпер – для работы с кабелем витая пара. В зависимости от типа и вида, он позволяет обрабатывать медный кабель категорий Cat 3—6А и обжимать четырех, шести и восьми контактные разъемы (RJ-45).

Наборы инструментов для обработки оптического кабеля. Имеются наборы для ручного монтажа, клейки оптических коннекторов. Но как правило используются специальные сварочные аппараты для сварки оптических волокон. В этом случае к оптическим волокнам привариваются так называемые Pigtail – небольшой длинны оптические волокна с готовыми конекторами различных типов.

Рефлекторы – для проверки сосотояния оптического кабеля.

Сетевые тестеры – специализированные устройства для быстрой проверки с помощью индикаторов состояния опического кабеля, патч-панели или коннектора.

Сканер состояния сети и сетевые анализаторы, являются более продвинутыми и как следствие дорогими устройствами, позволяют проверить состояние кабельной системы как отдельного элемента, так и законченого участка СКС. При этом может предоставить развернутую информацию по основным характеристикам для каждого типа кабеля. Незаменимый инструмент если есть необходимость проверить состояние имеющейся СКС для принятия решения по замене, или при приемке СКС после ее монтажа со стороны исполнителя. Как пример FLUKE Cable Analyzer. Результаты теста показаны ниже.



Для обеспечения контроля СКС на физическом уровне (правильность подключения, отслеживание состояния и изменений, графического отображения элементов СКС и т п) может применяться специализированное решение (например, AMP TRAC). Оно может включать в себя простое решение как накладки на патч-панели и активного оборудования. Так и сложные решения с применением специализированного активного оборудования – контролеров и программного обеспечения. В этом случае стоимость построения СКС может вырасти на 30% и более.

F03: Система электроснабжения

Общие требования

Для помещения серверной комнаты (дата центра) со стороны ИТ предъявляются следующие требования:

•Определение групп основных потребителей;

•Определение линий подвода городского электропитания (основной и резервной)

•Определение местоположения для размещения трансформаторов (основной и резервной)

•Определение помещения для размещение главного электрощита

•Определение местоположения для размещение вспомогательных электрощитов

•Произвести расчеты и определить схемы включения и распределения нагрузки

•Подготовить проект и чертежи по системе электроснабжения

•Кто и как проводит установку систем

•Кто и как проводит сопровождение систем

•Обязательно контур заземления

•Обязательно заземления коммуникационной стойки


Система электроснабжения здания

Со стороны ИТ особых или специфических требований к электроснабжению здания нет.


Проводимость тока и сечение


Система электроснабжения помещения дата центра

Плотность стойки для разных этапов вычисляется по-разному:

•для этапа проектирования определяется как максимальная (пиковая) нагрузка в кВт на стойку, а плотность серверного зала является средней пиковой плотностью на стойку по всему серверному залу.

•для этапа эксплуатации определяется как измеряемая средняя нагрузка в кВт на стойку, а плотность серверного зала является средней плотностью на стойку по всему серверному залу.


Для помещения серверной комнаты (дата центра) со стороны ИТ предъявляются следующие требования:

Рекомендуется:

•Обеспечение электропитанием потребителей трехфазным током и напряжением 380В.

•Обеспечение электропитанием потребителей однофазным током (16—50А) и напряжением 220В.

•Наличие отдельного электрического щита в техническом помещении дата центра.

•Прокладывать кабель по специальным каналам, шахтам и направляющим.

•Тип соединителей IEC 60309 316P6 и IEC 60309 316C6 для кабеля от щита к стойке.

•Ограниченный доступ к кабельным каналам.

•Обеспечить возможность для доступа и обслуживание кабеля.

•Наличия двух шахт или каналов (основного и резервного) для подвода кабелей.

•Наличие схем прокладки кабелей;

•Для мощных потребителей порядка 1—4 кВт, таких как коммутаторы ядра или шасси «лезвий», должны быть предусмотрены отдельные соединители и электрические автоматы;

•Питание обычных потребителей в стойке обеспечивается с выделенного электрического автомата через панель распределения (Power Distribution Unit PDU) вертикальной или горизонтальной установки в стойку. Разъёмы PDU как правило стандартные формата С14;

•Мощность панелей распределения, количество разъемов и количество и мощность подключаемого активного оборудования должно быть рассчитана правильно и согласованна с возможностями электрического кабеля и автомата. Как правило используются однофазные PDU с входным разъемом типа IEC-60309-316P6 c максимальным током 16—32А и 8—16 выходными разъемами IEC-60320-С14;

•Наличие заземления (согласно требованиям, ANSI/TIA/EIA-607) пассивного и активного оборудования и стоек;



Допускается:

•Включение городского электропитания через центральный стабилизатор. Особенно актуально для регионов, где подача электропитания не стабильна.


Запрещается:

•Прохождение электрических и «слаботочных» кабелей рядом с водяными трубами, трубами отопления или канализацией.

•Использовать кабельные каналы не по назначению.


Система электроснабжения офиса (конечных точек)

Со стороны ИТ особых или специфических требований здания нет.



Электропитание рабочих точек можно группировать по сегментам, комнатам или же установка «автоматов» на каждую электрическую розетку, если этого требует техника безопасности или отраслевые регламенты.

F04: Система основного освещения

Система основного освещения (общие требования)

При проектировании системы со стороны ИТ предъявляются следующие требования и рекомендации:

•Обеспечение основного освещения в помещениях дата центра.

•Обеспечение основного освещения и сигнализации в помещении серверной комнаты.

•Обеспечение основного освещения и сигнализации в помещении коммутационных комнат.

•Обеспечение основного освещения и сигнализации в технических и служебных помещениях.

F05: Система аварийного освещения

Система аварийного освещения (общие требования)

При проектировании системы со стороны ИТ предъявляются следующие требования и рекомендации:

•Обеспечение аварийного освещения в помещениях дата центра.

•Обеспечение аварийного освещения в помещении серверной комнаты.

•Обеспечение аварийного освещения в помещении коммутационных комнат.

•Обеспечение аварийного освещения в технических и служебных помещениях.

F06: Система аварийного / резервного электроснабжения

Система аварийного / резервного электроснабжения (общие требования)

Система аварийного / резервного электроснабжения обеспечивает электроснабжением, при выходе из строя основного линии электропитания или ее компонентов. При проектировании систем аварийного / резервного электроснабжения со стороны ИТ предъявляются следующие требования и рекомендациями:

•Определение источника аварийного / резервного электропитания. Это может быть вторая линия городского электропитания или генератор.

•Определение уровня резервирования. Так для соответствия требованиям TIER IV требуется наличия N + N.

•Определение основных потребителей аварийного / резервного электропитания. Система может предполагать включения полной или частичной нагрузки.

•Определение линий подвода и включения аварийного / резервного электропитания.

•Определение местоположения для размещения дизель генератора.

•Определение помещения для размещение главного электрощита.

•Произвести расчеты и определить схемы включения и распределения нагрузки

•Подготовить проект и чертежи по системе аварийного / резервного электропитания.

•Обеспечение заземление.

•Кто и как проводит установку систем

•Кто и как проводит сопровождение систем


Система аварийного / резервного электроснабжения помещения серверной комнаты (дата центра)

Для помещения серверной комнаты (дата центра) со стороны ИТ предъявляются следующие требования:


Рекомендуется:

•Наличие системы аварийного / резервного электропитания обязательно.

•Схема включения аварийного / резервного электропитания включается в электропитание дата центра.

•Схема включения аварийного / резервного электропитания автоматически.

•Обеспечение электропитанием потребителей трехфазным током и напряжением 380В.

•Обеспечение электропитанием потребителей однофазным током (16—50А) и напряжением 220В.


Допускается:

•Схема включения аварийного / резервного электропитания в ручном режиме.

•Схема включения аварийного / резервного электропитания отдельная от основной кабельной сети.

•Включение управления резервного генератора через центральный стабилизатор. Особенно актуально для регионов, где подача электропитания не стабильна и возможно ложное срабатывание.


Запрещается:

•Прохождение электрических и «слаботочных» кабелей рядом с водяными трубами, трубами отопления или канализацией.

•Использовать кабельные каналы не по назначению.

F07: Система Бесперебойного электроснабжения ИБП

Общие требования

Система бесперебойного электроснабжения обеспечивает электроснабжением, при переключениях электроснабжения между основным и резервным, выходе из строя основной линии электропитания или ее компонентов. Кроме этого защищает от различных сбоев в электропитании. ЦОДы можно разделить по плотности энергопотребления стоек. Так для примера:



При определённых условиях может является резервной системой электропитания, когда нет возможности установки дизель генератора.

Различаются несколько типов ИБП. Основные характеристики различных типов ИБП:



•Бэкап ИБП (Инверторы OFF-LINE UPS INVERTOR). Достоинства: наиболее дешёвое и простое решение, подходит для питания компьютеров с импульсными блоками питания, КПД порядка 99%. К недостаткам можно отнести:

°Долгое время переключения порядка 4—12 мсек;