Embed Size (px)
DESCRIPTION
Citation preview
Датацентры. Размышления о постройке и эксплуатации
Молчанов С.А.
Предтечи ЦОДов – суперкомпьютеры!• БЭСМ-1 – БЭСМ-6
– Тепловыделение – 35Квт - 60 Квт– Производительность – 10 тыс оп/c 1 млн оп/с– Площадь зала – от 250 м2
• Эльбрус– Тепловыделение – от 105 Квт– Производительность – 12 млн оп/с 125 млн оп/с– Площадь зала – от 250 м2
• Стрела– Тепловыделение – 150 Квт– Производительность – 2000 оп/с– Площадь – 300 м2
• Урал– Тепловыделение - от 10 до 25Квт– Производительность – 5000 оп/с– Площадь – 200 м2
Научная мощь = «Три К»• Космос
– С.П. Королев• Ядерная энергетика
– И.В. Курчатов• Точные науки
– М.В.Келдыш
В 1972 году в СССР насчитывалось более 250 вычислительных центров.
Советские датацентры• Типовой состав ДЦ три отсека:• Машинное отделение
– Повышенные требования к теплосъему
• Дисковые накопители– Повышенные требования к
качеству воздуха
• Ленточные накопители– Наименее требовательные к
микроклимату
Стандарты СССР• Фальшполы
– Съемные– Прочные– Несгораемые– Используются для прокладки
коммуникаций
• Пожаротушение– Объемное– Газовое– Автоматическое
• Кондиционирование– Охлаждение процессорных модулей– Пылеудаление из дисковых
хранилищ– Двухкратный воздухообмен– Поддержание t 21C +- 2
• Электропитание– Два независимых ввода– АБП– Дизельгенераторы
Tier 1-4 и UPTIME institute• 1-ый уровень надежности ЦОД
– Инженерная инфраструктура для текущих потребностей, без резервирования
– Время простоя за год — 28,8 часов – Коэффициент отказоустойчивости
99,671%
• 2-ой уровень надежности ЦОД– Частичное резервирование «N+1») – Время простоя за год — 22,0 часа – Коэффициент отказоустойчивости
99,749%
• 3-ий уровень надежности ЦОД – Имеет несколько путей электропитания и
охлаждения, активен только один; («N+1») – Время простоя за год — 1,6 часа – Коэффициент отказоустойчивости 99,982%
• 4-ый уровень надежности ЦОД– Несколько активных путей
распределения нагрузки и охлаждения с резервными компонентами 2 (N+1).
– Время простоя за год — 0,4 часа – Коэффициент отказоустойчивости
99,995%
Как грибы после дождяСТЭК 2004
ISGR 2007
Synterra 2008
WideXS 2000
Masterhost 2009
Хостинг-Центр 2010
Caravan 2008
Dataline 2009
I-teco 2009
Kiae 2003GoldenTelecom 2004
Агава 2009
КОМКОР 2009
Несостоявшийся проект Леши 2009
Свернутый проект Феди 2010
Рыночные предложения 2007-2008• Мастерхост 150000 р.• Голден Телеком 60000 р.• СТЭК 60000 р.
Положение контента до кризиса• Сложно переезжать с
площадки на площадку• Дробность площадок• Повышение цен всеми
игроками рынка• Заложники ситуации• Отсутствие новых
современных площадей ЦОДв
Ситуация 2008• Почта
• Безлимитные почтовые ящики• Рост объемов корреспонденции
• Активное развитие сервисов• Фото• Видео• Мой Мир• Игры
• Серверный парк компании• За три года вырос в три раза• Сейчас более 2500 единиц оборудования• Более 200 арендованных стоек
Сервис на грани фантастики• «Перезагрузите сервер»
– Подождите до утра– Перезагрузили… но не то– Ой… а мы его выключили– У нас авария перезвоните позже– Мы вам перезвоним– Мы не предоставляем такую услугу
• «Нам срочно нужно попасть на площадку»– Вас нет в списках– Приезжайте утром– Вашим контрактом не предусмотрены работы в ночное время
Все решили. Сколько стоек?• Типовая стойка 5 квт• Типовой сервер потребляет 120-150 вт• Количество определяется кратностью/модульностью оборудования• Для типового контент-цода или ЦОДа хостинг-провайдера
– Электричество 700Квт – 1000 Квт– Стойка 5ктв– Стоек 70 шт– Площадь 700 м2– 5 кондиционеров– 2 ДГУ
– Для нашего ЦОД 250+ стоек (консолидация и резерв)
Ура нашли помещение!• В Москве• Отдельно стоящее здание• С электричеством 3 500 Ква• В хорошем состоянии• С долгосрочной арендой• Крепкими перекрытиями• Охраняемой территорией
Занялись строительными работами
Электрические «Нюансы»• Cos Фи
– P (активная мощность) = I*U*Cos(fi)– P (полная мощность) = I*U– Выделено на объект 3500 Ква (полная мощность)– Потребителей на 3500 Квт (активная мощность)– Оборудование 3500 Квт = 3500/0,8 = 4375 Ква– Опс!?… Нехватка 1375 Ква
• Потери на ИБП– Двойное преобразование, – Тепловые потери – Потери от гармонических составляющих– Итого потери до 20%!– Выдача 500 Квт, сопровождается потреблением в 625 Квт!
• Офис, пожаротушение, СКУД
Рассчитали, заказали смонтировали• Реконструировали ТП• Смонтировали
автоматику• Сделали заземление• Сделали молниезащиту• Протестировали под
нагрузкой
Дизельгенераторы• Характеристики
– Суммарная мощность 5000 Ква– 4 агрегата по 1250 Ква– Автоматический ввод резерва– Выход на полную мощность за 30
сек– Двигатели Сummins
• Этапность– Подготовили площадку– Привезли, установили, испытали
Дизельгенераторы• Характеристики
– Суммарная мощность 5000 Ква– 4 агрегата по 1250 Ква– Автоматический ввод резерва– Выход на полную мощность за 30
сек– Двигатели Сummins
• Этапность– Подготовили площадку– Привезли, установили, испытали
Бесперебойное питание• ИБП «NT-Series 400kVA» - 12 шт• Поделены на группы• Резервирование N+1• При 100% нагрузке до 11,5 мин• При 80% нагрузке до 18 мин
Чем охлаждать?• Воздухом (фреоном)
– Дешево на первом этапе– Привычно– Ограничение по длине трассы– Дорого в эксплуатации– Отсутствие единой точки отказа
• Водой (гликолем)– Дешево в процессе эксплуатации– Дорого в резервировании– Может быть единая точка отказа
• НоуХау - воздушный экономайзер– Эксперимент Intel– Экономия энергии– Малое количество отказов– Система для аварийного охлаждения
• Как экономить?– Теплый воздух +26– Разделение холодного и горячего
коридоров– Отключение «лишних» кондиционеров– «Умные» решения
Фреоновое охлаждение• Просчитали нагрузки на
крышу• Смонтировали трассы• Смонтировали воздуховоды• Установили внутренние
блоки на опорах в зале• Внешние блоки установили
на крыше
Фреоновое охлаждение• Просчитали нагрузки на
крышу• Смонтировали трассы• Смонтировали воздуховоды• Установили внутренние
блоки на опорах в зале• Внешние блоки установили
на крыше
Экономайзер = фаршмашина• Срабатывание в аварийных
ситуациях• Принудительное нагнетание
уличного воздуха в помещение
• Фильтры грубой очистки• В многократный
воздухообмен в помещении
Пожаротушение• Для тушения Хладон
125• Пожарная станция• Защита от ложных
срабатываний• Тушим все направления
Вот что получилось
Каждой твари по паре N+1• В России нет датацентров уровня Tier IV • Нет датацентров с настоящим, работающим SLA
– Любой сбой пытаются списать на форсмажор• SLA это дорого – увеличение бюджета почти в два раза• Обычно находится единая точка отказа
– АВР в датацентре на Восточной– Электрощитовая на Андропова
• Но! Любые происшествия списываются на форсмажор• Все системы в датацентре Mail.ru зарезервированы как N+1
Датацентры в поле• 60% Датацентров сосредоточено в Москве • 20% В Санкт-Петербурге• 20 В остальных регионах России• Москва
– Высокая стоимость подключения к электросетям– Высокие тарифы на электроэнергию– Электричество у финов дешевле чем в России– Проблемы с отдельно стоящими зданиями для постройки действительно «надежных» ЦОДов
• Подмосковье/Регионы– Ниже стоимость подключения к электросетям– Ниже тарифы на электроэнергию– Есть возможность использовать газогенерацию– Дешевле земля и готовые объекты– Проблемы с канальной инфраструктурой
Датацентр в поле• Амбициозные проекты• ISGR
– Дубна– 4 модуля– 10000 квадратных метров– 3200 стоек
• Голден-Телеком– Подмосковье– Газогенерация– 2000 стоек– 3 очереди– 10000 квадратных метров
• IBS– Дубна…
• Агава– Дубна…
Сложности ДЦ в поле• Транспортная доступность• Канальная доступность
– Строить оптику в чистое поле дорого!• Отсутствие спроса на местах
– Кому нужен ЦОД в Усть-Урюпинске?• Отсутствие квалифицированной рабочей силы
– Как и кем строить ЦОД на местах?• Логистика серверного оборудования
Можно ли на этом заработать• — В общем, спустили они к нам в контору кризисного менеджера.• — Кого?• — Кризисного менеджера. Сулеймана. Такой, понимаешь, джигит с дипломом
«мастер оф бизнес администрейшн», которого пять лет учили отжимать бабло из всего, что видит глаз и слышит ухо. Эффективный управленец типа. Посмотрел он, какой на нашем проекте кредит, и стал выяснять, в чем дело — откуда такие дикие цифры. Ну, ему рассказали предысторию, объяснили, что отбивать планировали через бюджет. Заодно объяснили, что к бюджету заместо Макраудова его никто не пустит — да он и сам понял, не дурак. Ну, значит, собрал он маркетологов, посмотрели они контракты и стали думать, как кредит вернуть. Понимаете ситуацию?
• В. Пелевин «Графт Т»
Можно ли на этом заработать• Нужно ли платить за электричество?• Насколько «дешевы деньги» потраченные на строительство?• Высоки ли тарифы на электричество?• Датацентр в чистом виде – долгие деньги!• Счастье в доп услугах и антикризисных менеджерах!
– Есть ли рынок этих доп услуг?• Датацентр «оторванный» от остальных сервисов – «мертвый»
бизнес!
Что дальше? Мобильные ЦОДы.• Появились в 2005-2006 году• Представлено более 10ка различных модификаций• Новаторы
– SUN Black Box– HP POD– IBM– APC
• Плюсы– Мобильность– Относительная автономность– Скорость развертывания
• Минусы– Дороговизна подобных решений– Необходимость создавать инфраструктуру для внедрения– Сложности с «дешевым» масштабированием
Что дальше? Шахты и корабли.• Датацентр в угольной шахте
– SUN + Японские компании– Заброшенная угольная шахта– Круглогодичная t за бортом +15 C– Грунтовые воды в качестве хладогента
• Датацентр на корабле– Новаторы Google.com и IDC– Энергия волн для генерации электроэнергии– Вода в качестве хладогента для систем
кондиционирования
• Датацентр в сибири– Майкрософт– Экономия на охлаждении
Что дальше? Шахты и корабли.• Датацентр в угольной шахте
– SUN + Японские компании– Заброшенная угольная шахта– Круглогодичная t за бортом +15 C– Грунтовые воды в качестве хладогента
• Датацентр на корабле– Новаторы Google.com и IDC– Энергия волн для генерации электроэнергии– Вода в качестве хладогента для систем
кондиционирования
• Датацентр в сибири– Майкрософт– Экономия на охлаждении
Что дальше? Шахты и корабли.• Датацентр в угольной шахте
– SUN + Японские компании– Заброшенная угольная шахта– Круглогодичная t за бортом +15 C– Грунтовые воды в качестве хладогента
• Датацентр на корабле– Новаторы Google.com и IDC– Энергия волн для генерации электроэнергии– Вода в качестве хладогента для систем
кондиционирования
• Датацентр в сибири– Майкрософт– Экономия на охлаждении
Что нас ждет?
Загадки
Загадки
