Коммерческий ЦОД De Novo:история большой стройки

Киев, 2010 г.

Геннадий КарповДиректор по технологиям

2

Коммерческие ЦОД: предпосылки формирования рынка в Украине

• К 2007 г. «серверные комнаты» перестали удовлетворять требованиям ИТ-оборудования и непрерывности бизнеса

• Физические, организационные и финансовые ограничения на создание собственного ЦОД в приемлемые сроки

• Повышение уровня зрелости ИТ-инфраструктуры, переход к промышленным моделям эксплуатации информационных систем

• Невозможность удовлетворить потребность за счет ресурсов хостинг-центров

3

Чего не хватает хостинг-центрам

• возможность аренды физически изолированного полезного объема (модуля) с контролируемым физическим доступом;

• соответствие локальным стандартам (например, требованиям НБУ к серверным помещениям банков), наличие соответствующих сертификатов;

• недостаточный уровень доступности сервисов, наличие окна обслуживания (плановый останов), отсутствие SLA

• возможность размещения современного высокоплотного оборудования (серверы-лезвия);

• возможность размещения оборудования enterprise-класса (габариты и удельная нагрузка на пол, плотность энергопотребления и тепловыделения);

• возможность организации широкополосных универсальных каналов связи (типа DC-DC) к другому ЦОД.

4

ЦОД De Novo:базовые принципы дизайна

• Соответствие локальным стандартам и требованиям регуляторов рынка (прежде всего Национального Банка Украины)

• Физическая изолированность арендуемых помещений (модульность) • Уровень не ниже Tier III по уровню доступности сервиса и окну

обслуживания• Централизованное производство ресурсов (холод, энергия) с их

последующим распределением по потребности между арендаторами модулей

• Пригодность для установки современного и перспективного ИТ-оборудования: средняя мощность на стойку 8КВт, максимальная ->15КВт

• Масштабирование «на ходу»: все пути распределения ресурсов создаются на первом этапе, масштабирование выполняется исключительно за счет емкости ресурсных групп (ИБП, чиллеры, ДГ)

• Все системы ЦОД вписаны в периметр здания

ЦОД De Novo: основные параметры

Площадь 2117 м2

(+720 м2 на крыше)

модули: 728 м2

офис: 271 м2

Электр. мощность (общая/IT-нагрузка) 3300/1650 КВт

Энерговводы 2 независимых высоковольтных + группа ДГ

Количество модулей (единица аренды) 11L + 20S + 1H

Типы модулей S : 4 стойки/30КВт, L: 8 стоек/60КВт, H: 50 стоек/400КВт

Телекоммуникации 2 независимые оптоволоконные трассы к центру коммутации L9, суммарно 800 Gb

Рабочая температура окружающей среды от -35 до +40 oC

Соответствие стандартам TIA-942 III, требования НБУ

6

ЦОД De Novo: некоторые факты

• ~240 серверных стоек (суммарная емкость модулей и MDA)• 80 прецизионных кондиционеров APC по 40 КВт• ~ 80 км. оптоволоконных пар OM-3, ~50 км. витой пары STP• 600 оптических и 200 медных пассивных портов в MDA• ~800 м гидромагистралей (d>300мм)• 96 видеокамер системы наблюдения• 35 датчиков VESDA (раннее обнаружение дыма)• 120 тонн воды (внутренний контур), 36 м3 гликоля (внешний

контур)• Служба эксплуатации – 29 сотрудников, физическая охрана – 8

человек + группа быстрого реагирования

7

Спецификация S (x20) и L (x11) модулей

Площадь S-14 м2, L-24 м2,

Энерговводы 2 независимых через ФЗП-фильтры

Топология резервированного прецизионного охлаждения IT-оборудования

универсальная:

фронт→тылниз→верхфронт→верхфронт/низ/тыл→верх

Мощность IT-оборудования S-30/40 КВт, L-60/80 КВт

Максимальная плотность мощности 20 KBт/стойка

Количество стоек S-4, L-8

Нагрузка на фальшпол 1500 кг (распределенная), 500 кг (точечная)

Возможность установки enterprise-стоек да

Телекоммуникации 1Gb Ethernet и 2Gb Fibre Channel в режиме прозрачных битовых потоков к центру коммутации L9

Кабельные коммуникации центры коммутации ЦОД (2 шт.) + межмодульные коммуникации (при необходимости)

Экранирование согласно требованиям Национального Банка Украины

Пожаротушение и сигнализация автономное автоматическое газовое, VESDA

Автономная огнестойкость 1 час

8

Этапы проекта: на что ушло 3 года

2008 2009 2010

Выбор площадки

Привлечение инвестиций

Бизнес-модель

Технологическая концепция

Эскизный проект

Рабочий проект

Строительные и монтажные работы

Разрешительные процедуры

Наладка и испытания

Конкурсные процедуры

Поставка оборудования

Формирование службы эксплуатации

Детализация продуктового ряда, модель продаж

Разработка SLAи договора

Финансовая модель

Эксплуатационные процессы и регламенты

Продажи

Анонс Первый клиент

Инвестиции

9

Организационная структура проекта

Управляющий комитет

Проектная группаРуководитель проекта

Архитектор(энергетика)

Архитектор(механика)

Главный системный архитектор

Архитектор(безопасность)

Архитектор(ИТ и телеком)

Представитель

службы

эксплуатации

Генеральны

й проектировщик

Исполнители подсистем

Конкурсные процедуры

ИНВЕСТОРЫ

De Novo

Архитектурно-строительный надзор (сайт-менеджер)

10

Что мы вынесли из собственного опыта (бизнес)

• Заказчики склонны предъявлять к коммерческому ЦОД значительно более жесткие требования чем к собственному, но при этом не всегда готовы платить за их выполнение

• Качество SLA – определяющий фактор в регулировании отношений с корпоративных Заказчиком

• Процесс миграции в коммерческий ЦОД – сам по себе сложный проект, сопряженный с существенными рисками

11

Какой ЦОД вам предлагают?

Обязательно обратите внимание на:• перечень, определения и метрики сервисов, а также возможность

их объективного контроля;• наличие окна обслуживания (для Tier III/IV окно обслуживания = 0);• допустимое время аварийной недоступности сервисов;• степень ответственности провайдера за нарушение SLA.

SLA – лучший индикатор уровня ЦОД

12

Что мы вынесли из собственного опыта (технологии)

• Создание ЦОД к ИТ отношения практически не имеет, это большая стройка сложного инженерного объекта

• Конечные характеристики ЦОД на 95% определяются качеством проектирования

• Термическое моделирование существенно снижает риски ошибок проектирования

• Комплексные нагрузочные испытания ЦОД – нетривиальная задача, требующая тщательного планирования и специализированного оборудования

• Проектирование и внедрение процессов эксплуатации ЦОД уровня III/IV не менее сложная задача чем создание самого ЦОД

13

Откровения бывалых:опыт проектной группы

• Реконструкция здания всегда приносит сюрпризы. Не экономьте на обследовании архитектурных конструкций, существующих инженерных коммуникаций и ресурсов здания.

• Проработайте несколько вариантов планирования помещений. Правильное категорирование помещений по пожароопасности и взрывоопасности может существенно повлиять на бюджет проекта.

• Будьте в курсе всех технических решений проектировщика, чтобы не получить по факту сюрприз.

• Тщательно подготовленный RFP – главное условие получения сравнимых коммерческих предложений конкурсантов.

• При выборе исполнителей подсистем выбирайте лучших среди лучших, не пытайтесь экономить «по-мелкому».

• Минимизируйте количество подрядных организаций. Их управляемость и интегральное качество работы падает пропорционально квадрату их количества.

14

Фотогалерея(фото сделаны в течении последних двух месяцев перед сдачей в

эксплуатацию, степень готовности различных подсистем отличается)

15

Правый коридор

16

MDA 1&2

17

Главный распределительный щит #1

18

S-модуль (панорама)

19

Раннее обнаружение дыма (VESDA)

20

Насосная станция

21

Насосная станция

22

Дизель-генераторная установка

23

Холодильные машины #1-3

24

Трансформатор 10КВ 4МВт #1

25

Некоторые технические детали

26

Результаты термального моделированияТип модуля

Максимальная нагрузка на модуль Максимальная нагрузка на стойку

без InRow с InRow без InRow с InRowS 30 KW 40 KW 20 KW 25 KWL 60 KW 80 KW 20 KW 25 KWH 400 KW 500 KW 20 KW 25 KW

27

S & L модули. Топология охлаждения

Изоляция холодных и горячих коридоров гарантирует равномерное охлаждения ИТ-оборудования и высокую энергоэффективность

4 m

0.8 m

2-2.4 m

1.7 m 0.92 m

CRAH

28

S & L модули. Топология охлаждения enterprise-оборудования

Опциональный фальшпотолок улучшает охлаждение оборудования enterprise-класса

Enterprise Server

0.6 m

CRAH

29

Выбор теплоносителя внешнего контура

Вода

Раствор этанола

Раствор этиленгликоля

Раствор пропиленгликоля

риск замерзания

пары этанола взрывоопасны

этиленгликоль токсичен

самый дорогой, но единственно приемлемый вариант

30

Нагрузочные испытания

• Как превратить в тепло 1.65 МВт энергии?

• Как сохранить топологию воздушных потоков?

• Как обеспечить аварийную защиту?

31

Нагрузочное тестирование S-модуля

32

Сеть DC-DC: точка доступа на L9

Альтернативная точка доступа к сети ЦОД создана в коммутационном центре L9, в котором присутствуют большинство крупных телеком-операторов Украины.Полоса пропускания L9-ЦОД – до 800Gb в режиме прозрачного битового потока по протоколам 1GbE, 10GbE, 2Gb FC.

Маршруты оптоволоконных трасс

33

Источники концепции службы эксплуатации ЦОД

Процессы эксплуатации

ЦОД

Рекомендации Uptime Institute

иTIA-942

ITIL/ITSM

Лучшие практики

Наш опыт и отечественные

реалии

Здравый смысл

Модель службы эксплуатации ЦОД

Процессы:• инциденты• проблемы• конфигурации• изменения

обращениямониторингтаймеры

события

управлениедоставка сервисатрансформация

действия

Модель сорсинга

Служба эксплуатации Внешние ресурсы Ресурсы

36

Будущее, в которое мы смотрим

Аутсорсинг ИТ: технологические слои

CR

M

ERP

DW

H

B2B B2C

Про

цессы

экспл

уатаци

и

Аутсорсингинженерныхсистем

Аутсорсингвычислительнойинфраструктуры(IaaS)

Аутсорсингбизнес-приложений (SaaS)

Аутсорсингплатформы (PaaS)

Дорога в облака: от аренды площадей к аренде сервисов

31 клиентский модуль (168 стоек, 1200 КВт)

H-модуль(50 стоек, 400 КВт)

Сервисы IaaS/SaaS

39

Спасибо за внимание

Геннадий Карпов

директор по технологиям De Novo

Hennadiy.Karpov@de-novo.biz

www.de-novo.biz