Tier Magazine Issue 01

Новости

Выбор типа и типоразмеров оборудования

Подведение итогов

Компоновка оборудования в машинном зале

Упущения концепции

Альтернативный вариант

Краткие выводы и рекомендации

Слово редактора

Энергоэффективность решения

3

4

6

15

Новый ЦОД в центре Москвы

Руководствопо энергосбережению от Emerson

Концепция ЦОД на 50 стоек

Delta Electronics представляет новый ИБП для ЦОД – Modulon DPH

50 лет одному из самых крупных заводов по производству ИБП

Исходные данные

Обсуждение концепции

FVER: оценивая то, что не оценивает PUE

http://tierlife.ru

2

№1 CЕНТЯБРЬ 2012 | TIER ЖУРНАЛ О ДАТА-ЦЕНТРАХ

www.TierLife.ru

http://www.tierlife.ru


3www.TierLife.ruNEXTPREVIOUS

Над номером работали:

Издатель и главный редактор – Юрий ХомутскийРедактор – Игорь ЕвсеевДизайн/вёрстка – Пётр ПрисячевКорректор – Ирина Власова

По всем вопросам обращаться: +7(499)[email protected], www.TierLife.ru

Все права защищены. Запрещается полное или частичное воспроизведение статей и фотоматериалов без письменного разрешения редакцииРедакция не несет ответственности за содержание рекламных материалов.Незаказанные редакцией рукописи не рецензируются

Журнал Tier — журнал о дата-центрах и об индустрии ЦОД.Не является средством массовой информации.

Я рад приветствовать вас на страницах ново-го издания о центрах обработки данных - журнала Tier - журнала нового поколения.

Отмечу, что идея созда-ния регулярного специа-лизированного издания на тему ЦОД зародилась у меня более года назад и пережила за этот пери-од несколько этапов раз-вития, включая и опыт практической реализа-ции, как положительный, так и отрицательный. Этот процесс «становле-

ния» сопровождался общением с представителями компа-ний рынка ЦОД, журналистами и несколькими PR-агентства-ми. Концепция, дизайн, формат и серийность журнала Tier – результат материализации полученных мнений и собствен-ных идей.

Также, учитывая, что как вычислительная, так и инженерная инфраструктура ЦОД объединяет в себе самые передовые мировые технологии, то и информационную поддержку от-расли следует организовать на современном уровне. Этим объясняется ориентация на электронную версию издания и его адаптация под нужды мобильных пользователей.

Уважаемые читатели!Но - довольно общих слов - многочисленные особенности нашего издания будут освещены в грядущих номерах.

Первый номер Tier открывает серию выпусков «Концепция ЦОД», а первой вынесенной на обсуждение независимыми экспертами концепцией явилась компоновка, разработан-ная в ответ на наиболее популярный на сегодня запрос – запрос на построение корпоративного дата-центра на 50 ИТ-стоек.

Обсуждение получилось весьма продуктивным: затронуты-ми оказались буквально все аспекты подбора оборудова-ния, а один из выводов подтверждает тезис, гласящий, что гонка за энергоэффективностью редко обеспечивает доста-точную надежность, а высокая надёжность далеко не всегда энергоэффективна.

Однако тема эффективности ЦОД актуальна, а вошедшая во всеобщее употребление метрика PUE не всегда обеспечи-вает адекватность оценки. Кроме того, коэффициент PUE не даёт представления об эффективности ИТ-инфраструктуры.

Стремясь исправить ситуацию, специалистами компании Romonet была предложена метрика FVER, декларирующая иной подход к оценке эффективности работы дата-центра. Какой? Читайте в этом выпуске.

А в одном из следующих номеров тема метрик станет ос-новной – вашему вниманию будут представлен обзор су-ществующих показателей, способы их измерения и мнения экспертов о них.

Приятного чтения!Юрий Хомутский


4


www.TierLife.ru

НовостиDelta Electronics представляет

новый ИБП для ЦОД – Modulon DPH

50 лет одному из самых

крупных заводов по производству ИБП

Modulon DPH от Delta Electronics – модульный ИБП ново-го поколения, разработанный специально для ЦОД сред-него размера, требующих максимальной производитель-ности при минимальных эксплуатационных издержках. Modulon DPH обеспечивает стабильное бесперебойное питание ЦОД и позволяет оптимизировать инвестиции в качественную и надежную IT-инфраструктуру.

Высокий уровень надежности Modulon DPH достигается благодаря отказоустойчивой системе с полным резервиро-ванием силового модуля, механизма управления и вспомо-гательного питания. Возможность горячей замены ключе-вых компонентов и модулей повышает ремонтопригодность ИБП и позволяет свести среднее время ремонта к нулю, обеспечивая максимальное время безотказной работы.

Новый ИБП отличается высокой гибкостью масштабиро-вания: стандартная модульная конструкция Modulon DPH позволяет формировать вертикальные стойки с ИБП мощ-

Дополнительная информация, технические характеристики и документация

ностью от 25 до 200 кВт в зависимости от требований прило-жения. Резервирование по типу N+X внутри одного корпуса без привлечения внешних ИБП обеспечивает значительную экономию денежных средств и места для установки при со-хранении гибкости расширения по мере роста ЦОДа.

Кроме того, Modulon DPH обладает КПД 95% даже при 30-процентной загрузке и 96% при нагрузке от 50% и выше, а также высоким коэффициентом входной мощно-сти, что позволяет отказаться от выбора ИБП с запасом по мощности и обеспечивает дополнительное сокращение ка-питальных и эксплуатационных расходов.

Одна из самых крупных площадок по производству ИБП принадлежит компании Eaton и находится в Финляндии. Этот центр в области передовых электротехнических ре-шений в этом году отмечает 50-летний юбилей.

Основная компетенция завода – производство и настрой-ка трёхфазных ИБП, мощностью от 8 до 1100 кВА. Здесь предлагаются индивидуальные разработки в области рас-пределения и повышения качества энергии для клиентов с большими потребностями в электроснабжении, в частно-сти для крупных центров обработки данных.

Кроме того, завод предоставляет спектр услуг от формаль-ного проектирования до производства тяжёлых систем ИБП с последующим тестированием (заказчик может наблюдать за процессом), а также установкой на месте эксплуатации. На производстве соблюдаются принципы энергоэффектив-ности и экологичности. За полвека завод произвёл для кли-ентов более 250 000 ИБП.

NEXT PREVIOUS


http://www.AboutDC.ru/page/624.php


5www.TierLife.ru

Компания StoreData сообщила об открытии нового ЦОД в центре Москвы (ул. Нижегородская). Современ-ный энергоэффективный дата-центр получил название StoreData_eco. При построении ЦОД использовались традиционные подходы, но акцент был поставлен на до-стижение энергоэффективного режима работы.

Общая площадь ЦОД StoreData_eco составляет 125м2, об-щая выделенная мощность – 300кВА. В машинном зале установлено 30 ИТ-стоек чешского производителя Conteg, а также реализована изоляция холодного коридора.

Другой особенностью ЦОД является использование ши-

Руководствопо энергосбережению от Emerson

нопроводов и система распределения электроэнергии. Питание осуществляется от ИБП Emerson NXa, а система охлаждения построена на базе шкафных прецизионных кон-диционеров Stulz CyberAir3. Гарантированное электроснаб-жение обеспечивает ДГУ FG Wilson мощностью 420кВА.

Из других инженерных систем ЦОД отметим газовое пожа-ротушение смесью «хладон 227» и круглосуточное видео-наблюдение с архивом длительностью 30 дней. На объекте присутствует круглосуточная дежурная смена. Кроме того, ЦОД характеризуется наличием узла доступа MSK-IX и линий связи до узлов ММТС-9 и ММТС-10.

Компания Emerson Network Power выпустила второе из-дание своей книги под названием Energy Logic, которая является руководством по снижению потребления энер-гии в ЦОД.

Energy Logic 2.0, созданная по версии 2007 года и допол-ненная обновлениями, включает технологические нара-ботки и передовой опыт, который накопился за последние пять лет. В дополнение к книге компания Emerson также запустила онлайн-инструмент для расчета приблизительной экономии энергии, которую можно достигнуть, если следо-вать советам книги.

Джек Пуше (Jack Pouchet), вице-президент по развитию решений Emerson, сказал, что книга показала - варианты для оптимизации ЦОД есть всегда. «Энергоэффективность остается приоритетной задачей, и наступило новое поколе-ние технологий управления, которые обеспечивают боль-шую наглядность и контроль ЦОДа», - заявил он. «Индустрия ЦОД на данный момент развита как никогда хорошо и вполне способна помочь снижению энергозатрат».

В дополнение к рассказу о новых технологиях и передовых практиках книга показывает, как потребление энергии в ЦОД площадью 5000м2 может быть уменьшено на 74% с помощью уже имеющихся технологий.

Главная мысль книги сводится к каскадному эффекту, который возникает, когда экономия на уровне ИТ возрастает на уров-не поддержки систем. Книга по существу рекомендует сосре-

Ознакомиться с руководством и за-казать его перевод на русский язык

доточить в первую очередь внимание на эффективности опти-мизации ключевых ИТ-систем, а уже потом на всем остальном.

Так, согласно данным Emerson, экономия 1 Вт энергии на уровне процессоров в ЦОД с эффективностью использова-ния энергии PUE 1.9 позволяет снизить общее энергопо-требление объекта на 2.84 Вт.

В целом, в руководстве представлено 10 стратегий по энер-госбережению, среди которых: использование энергосбе-регающего ИТ-оборудования, высокоэффективных блоков питания, грамотная архитектура системы энергоснабже-ния, внедрение средств DCIM и прочее.

NEXTPREVIOUS

Новый ЦОД в центре Москвы


http://www.aboutdc.ru/page/523.php

6


www.TierLife.ru

Как показывает практика, на сегодня наиболее популярен запрос на построение ЦОД, состоящий из 50 ИТ-стоек со средней мощностью 5-8кВт. В наши руки попала одна из концепций, предложенных в ответ на подобный запрос. Мы не будем оспаривать, что концепция не является закончен-ной и требует доработок, однако даже отраженные в ней идеи могут стать, на наш взгляд, почвой для обсуждения специалистами различных компаний рынка ЦОД, которое в свою очередь будет интересно большинству наших чита-телей.

Вашему вниманию предлагается обзор, ком-ментарии и предложения по модернизации концепции дата-центра на 50 ИТ-стоек общей мощностью 300кВт.

При этом отметим, что в концепции отражено размещение оборудования только в рамках машинного зала, т.е. без наружного оборудования, поэтому её правильнее было бы назвать скорее компоновкой машзала, нежели концепци-ей ЦОД.

Концепция ЦОД

ИсходныеДанные• Крупная компания планирует построение дата-центра в Москве для собственных нужд, где будут консолидировано оборудование, ныне разбросанное по нескольким серверным, расположенных в разных офисах компании

• Общее число ИТ-стоек 50 шт., из них:- 10 стоек мощностью 3кВт- 35 стоек мощностью 6кВт- 5 стоек мощностью 12кВт

Таким образом, общая мощность ИТ-оборудования составляет 300кВт.

• Загрузка ЦОД будет происходить постепенно, плановый выход на полную мощность состоится через год.

• В перспективе планируется использование более мощного ИТ-оборудования общей мощностью 450кВт.

• Остро стоит вопрос энергосбережения.

• Размещение ЦОД – в здании офиса компании, в практически квадратном помещении площадью 140 кв.м. с колонна-ми через каждые 6 метров.

• Уровень надежности ЦОД –Tier III.

NEXT PREVIOUS



7www.TierLife.ru

Охлаждение стоек осуществляется шкафными кондиционера-ми, работающими на охлажденной воде. Холодоснабжение кондиционеров – от чиллеров, оснащенных функцией фрику-линга. Подача холодного воздуха из-под фальшпола. Высота фальшпола принята 500мм, что также учитывает кабельную и трубную разводку, которая предполагается под фальшполом.

Краткое описание предлагаемой концепции

• Холодопроизводительность каждого кондиционера 90кВт; предусмотрено 4 рабочих и 1 резервный блок.

• Холодопроизводительность каждого чиллера 200кВт, предусмотрено 2 рабочих и 1 резервный чиллер.

Рис. 1. Предложенная компоновка машинного зала ЦОД на 50 ИТ-стоек.

Энергоснабжение реализуется посредством ИБП, установленных в помещении машинного зала, и охлаждаемых той же системой кондиционирования, которая обслуживает и серверное оборудование.• Мощность каждого ИБП 250кВА; предусмотрено 2 рабочих и 1 резервный ИБП.

• В качестве гарантированного источника питания предусмотрен ДГУ мощностью 650кВА.

NEXTPREVIOUS


8


www.TierLife.ru

участвующие в аудите концепции ЦОД

Эксперты

Вопросы для обсуждения

Евгений Проскурин, главный инженер проекта

Евгений Николаенко, главный инженер проекта

Александр Петренко, руководитель департамента ИТ

Алексей Теремов, руководитель отдела инженерных систем

В таком виде концепция была представлена специалистам самых разных компаний: интеграторам, поставщикам обору-дования, операторам ЦОД и др. В качестве вопросов, предло-женных к обсуждению, был представлен следующий список:• Правильность выбора типа оборудования

• Правильность выбора типоразмеров оборудования с учетом перспективы увеличения мощности

• Планировка машинного зала (длина ряда стоек, ширина проходов, размещение стоек в зависимости от их мощ-ности, взаимное расположение стоек и холодильного и энергетического оборудования и т.д.; анализ с точки зре-ния размещения всей инженерии в одном помещении)

• Достаточность подфальшпольного пространства

• Что упущено в данной концепции?

• В чем преимущество предложенной концепции?

• Заявленный PUE данной концепции составляет 1.78. Насколько он адекватен? Какие варианты снижения PUE можно предложить?

Стремясь донести до читателя экспертное мнение в пер-возданном виде, ниже мы представили оригинальные комментарии, после чего подвели итоги проведенному анализу, акцентируя внимание на основные моменты.

NEXT PREVIOUS



9www.TierLife.ru

Выбор типа и типоразмеровоборудования

В выборе оборудования я вижу целый ряд проблем. В ситу-ации, когда изначально планируется наращивание мощно-сти ЦОД, основное оборудование и трассы рекомендуется изначально рассчитывать на итоговую мощность. Так, если ожидается рост мощности с 300 до 450 кВт, то не хватает и холодопроизводительности чиллеров. А ведь она явно долж-на быть больше, чем предполагаемое тепловыделение, т.к. реальная холодопроизводительность сильно зависит от тем-пературного режима.

Кроме того, указана общая мощность ИТ-оборудования 450 кВт, но при этом планируется установка четырех фан-койлов по 90 кВт – явно не хватает одного фанкойла. Далее - система холодоснабжения не имеет резервирова-ния по электропитанию: мощности ДГУ недостаточно даже без учета дальнейшего увеличения мощности системы, а для соответствия уровню надежности Tier III по Uptime Institute, ДГУ необходимо резервировать. В данном случае этого не сделано. Также не понятно про питание насосов и системы управления от ИБП.

Безусловно, предложенное решение по подаче холодного воздуха имеет право на жизнь, однако охлаждение стоек с нагрузкой более 7-8 кВт невозможно без применения средств по изоляции коридоров, а они не отражены на эскизе. Как результат, возможно возникновение локаль-ных зон перегрева. Вторым решением проблемы, кроме изоляции коридоров, является установка модулей активно-го пола, но это негативно отразится на энергоэффективно-сти ЦОД в целом.

По моему мнению, оборудование подобрано немного не корректно. Если ИТ-оборудование предполагается нара-щивать до 450кВт, то я бы рекомендовал сразу установить кондиционеры по 120 кВт и чиллеры по 250 кВт. При этом важно не забыть спроектировать и проложить необходи-мые диаметры трубопроводов.

Можно предложить использовать шкафные кондиционе-ры с опцией, позволяющей установку вентиляторов под фальшполом. Это даст существенную экономию энергии и средств заказчика во время эксплуатации.

Исходя из планов развития ЦОД, абсолютно верным следу-ет признать решение по использованию ИБП с модульной архитектурой. Это позволит снизить, поскольку по условиям выход на полную мощность (300 кВт) запланирован в тече-ние 12 месяцев, а резервирование по схеме N+1 может быть достигнуто на уровне силовых модулей, что допустимо нормативами TIA 942, и является экономически оправдан-ным решением.

Что касается гарантированного электропитания, то мощ-ность ДГУ, надо признать, хоть и удовлетворяет потребно-стям первого этапа, но недостаточна для реализации вто-рого. Так, 650 х 0,8 (коэффициент мощности) = 520 кВт полезной мощности, из которой 320 кВт идет на обеспече-ние непосредственно СБЭ (системы бесперебойного пита-ния) и серверного зала (300 / 0,94 (КПД ИБП) = 320 кВт). Следовательно, на другие системы жизнеобеспечения ЦОД остается порядка 200 кВт, что вполне правдоподобно и учитывает резерв по мощности оборудования.

Таким образом, мощность выбранного ДГУ вполне доста-точна для первого этапа проекта, но в перспективе потребу-ется её наращивание. По предварительным расчетам - до 900 кВА. Я считаю, что в данной ситуации есть два выхода:

• Оставить текущее решение с ДГУ на 650 кВА, но пред-упредить заказчика о необходимости последующей до-купки ДГУ и подключению их в параллель. Это потребует дополнительного места и кабельной проводки.

• Сразу запроектировать ДГУ мощностью 900 кВА и на момент выхода на полную мощность ЦОД первого этапа он будет работать на 70% - это оптимальная загрузка для ДГУ. Данный вариант характеризуется увеличенны-ми финансовыми затратами на начальном этапе.

Евгений Николаенко

Александр Петренко

Алексей Теремов

Евгений Проскурин

NEXTPREVIOUS


10


www.TierLife.ru

Компоновка оборудования

в машинном зале

Во-первых, очевидно несоответствие дата-центра заяв-ленной категории надежности Tier III, так как, согласно стандарту TIA-942, машинный зал должен быть отделен от комнаты энерговвода, где размещается силовое оборудо-вание.

Во-вторых, стеллаж АКБ по сути расположен в «горячем» ко-ридоре. Без использования дополнительных приспособле-ний при текущей компоновке поддерживать необходимые климатические параметры для аккумуляторных батарей будет невозможно. Это приведет к существенному сокра-щению срока службы батарей и наложит дополнительные требования к системе вентиляции. Вместо того, чтобы вен-тилировать небольшое помещение с АКБ, придется органи-зовывать систему вентиляции для целого машинного зала, а это, безусловно, негативно отразится на энергозатратах и увеличит PUE.

В-третьих, установленных кондиционеров и чиллеров с уче-том резервирования N+1 достаточно примерно на 300 кВт ИТ-нагрузки. То есть на первый этап. И если в перспекти-ве планируется увеличивать мощность системы охлажде-ния, то стоит отметить ряд проблем в компоновке. Судя по плану, дополнительные кондиционеры не предусмотрены. Замена существующих кондиционеров на более мощные повлечет за собой изменение расходов холодной воды, что приведет к необходимости внесения изменений в трубную разводку в целом. По моему опыту осуществить такой про-ект без длительной остановки ЦОД невозможно.


Планировку следовало бы откорректировать: если система пожаротушения построена на хладоне, то её необходимо вынести из машзала, также в отдельное помещение жела-тельно переставить ИБП и АКБ.

Также я бы рекомендовал увеличить на 200 мм высоту фальшпола и откорректировать расстановку стоек: жела-тельно добиться одинаковой мощности для каждого ряда. Это позволит оптимизировать работу системы охлаждения и избежать потенциальных проблем с точками перегрева.


Ряды, на наш взгляд, слишком длинные, кроме того, стойки распределены неравномерно по мощности. Если в первых двух рядах ситуация не критична, то в правых двух, скорее всего, возникнут зоны перегрева, т.к. самые мощные ИТ-стой-ки расположены по концам рядов. Кроме того, в исходных данных указано, что оборудование будет загружаться посте-пенно, а это – дополнительный риск неравномерного распределения нагрузки.

Я вижу два варианта решения этой проблемы: либо локализовать наиболее нагруженные стойки и обеспечить для них от-дельное охлаждение (например, при помощи внутрирядных кондиционеров или, хотя бы, герметизацией коридора), либо перенести стойки по 12 кВт в два левых ряда (со стойками по 3 кВт), чтобы нагрузка распределялась более равномерно.

Кроме того, некорректно расставлены кондиционеры: в случае выхода из строя кондиционера, расположенного, если смотреть в плане, в левом верхнем углу, возникнет сильная разбалансировка давления воздуха, что приведёт к локаль-ным перегревам оборудования.

Также отмечу, что стеллаж батареи расположен в горячем коридоре, хотя это оборудование требует температуры не выше +22°C. Длительный перегрев сократит срок службы батареи в несколько раз. Правильнее было бы выделить под ИБП или хотя бы под стеллаж с батареей отдельное помещение с собственным охлаждением.


Если говорить об архитектурных нормах, то ширина прохо-дов между рядами определяется стандартом ANSI/TIA-942. На планировке видно, что ширина холодного коридора - 1200 мм, горячего коридора - 900 мм. Ширина бокового прохода - 1000 мм. Это не противоречит рекомендациям TIA 942. Таким образом, по крайней мере, при эксплуата-ции неудобств возникнуть не должно.


NEXT PREVIOUS



11www.TierLife.ru

Упущения концепции

Энергоэффективность

PUE, надо сказать, достаточно большой, и его желательно понизить. Это можно сделать несколькими способами, при этом даже не снижая надежности инфраструктуры.

Во-первых, настроить кондиционеры на поддержание 25-27°С/40%

Во-вторых, задать температурный режим холодоносителя 10/15°С.

Это позволит избежать появления конденсата и существен-но снизить длительность работы пароувлажнителей.

В-третьих, использование чиллеры с турбокомпрессорами.

Эти меры позволят примерно на 30% снизить энергопо-требление системы кондиционирования и понизить общий PUE до отметки 1,4-1,45.

Очень слабо проработан вопрос перспективного наращивания мощностей в ЦОД. Это касается практически всех пред-ставленных в компоновке элементов: кондиционеров, трубной разводки, чиллеров, ДГУ и даже расположения стоек.Так, при увеличении нагрузки на стойку потребуются дополнительные элементы охлаждения, которые приведут к суще-ственному увеличению PUE, увеличению затрат. К тому же без остановки ЦОД и вовсе невозможен подобный апгрейд.

Как я уже говорил, не правильно выбрана мощность ДГУ: 650 кВА недостаточно для того, чтобы в случае прекращения основного электропитания обеспечить электроснабжение для всего ЦОДа и всех обслуживающих технических средств, включая чиллеры. С учетом роста нагрузки мощность ДГУ должна составлять минимум 0,9 МВт.

Кроме того – и это важно – на данном эскизе не обозначено щитовое распределительное оборудование. Согласно Tier III, необходимо предусмотреть резервную магистраль питания, а электрошкафы должны быть резервированы по схеме 2N. Этот комплекс организационно-технических мероприятий займёт довольно существенную площадь. В представленной ком-поновке места не хватит. Со 100-процентной уверенностью могу сказать, что щитовое оборудование необходимо будет уста-навливать на дополнительных площадях. То есть о размещении всей инфраструктуры в одном помещении речи-то и не идёт.




По нашим оценкам, понижение PUE в данном проекте воз-можно только посредством уменьшения категории надеж-ности ЦОД, поскольку каждый элемент резервирования, необходимый в соответствии со стандартом TIA-942, в ре-зультате приведет только к увеличению этого показателя.



Полуметровая высота фальшпола слишком мала: в середине рядов охлаждение будет недостаточным, а при таком распо-ложении стоек, которое указано на схеме, это особенно критично. Под фальшполом должно быть минимум 700-800 мм свободного пространства.

Кроме того, при предлагаемой схеме охлаждения пространство под фальшполом должно быть максимально свободным от коммуникаций. В крайнем случае, можно провести внизу трубы параллельно рядам стоек, но кабели необходимо про-кладывать снаружи. В противном случае любое открытие пола для проведения кабельных и коммутационных работ будет нарушать работу системы охлаждения машинного зала.

На самом деле без конкретных данных по другим энергопо-требителям я не могу оценить указанный PUE. Представлен-ная цифра (1.78) вызывает скорее больше вопросов. Учиты-вая выбор оборудования и предложенную схему, по моему опыту, среднегодовой PUE не может быть 2.0. Если принять во внимание, что планируется рост мощности с 300 до 450 кВт, то при начальной мощности показатель PUE будет еще хуже.

Указанный показатель 1.7 находится между характерными для Tier III «средним» индексом 2.0 и «эффективным» 1.5. Учитывая современные реалии развития российского рынка ЦОД, это уже неплохой показатель.

А в перспективе, PUE приблизится к уровню «эффективный» и, по моим расчетам, будет равен примерно 1.55.


NEXTPREVIOUS


12


www.TierLife.ru

ИтогиАнализ концепции показал, что при проработке подобных запросов следует более внимательно относиться к перспек-тивам развития планируемого ЦОД. Если в планах четко прописано увеличение мощности, это необходимо учиты-вать в процессе подбора основного оборудования и, что не маловажно, выбора сечений трасс холодо- и энергоснаб-жения. Ошибки в расчетах или неверные исходные данные могут повлечь вынужденные остановки ЦОД в процессе на-ращивания мощностей.

Ещё один камень преткновения – мощность гарантиро-ванного источника питания. Даже по нашему опыту можно сделать вывод, что часто нет понимания, почему мощность ДГУ изрядно превышает мощность ИБП. Но к ИБП подклю-чаются только те потребители, которые требуют «чистого» питания, дополнительно поддерживаемого аккумуляторны-ми батареями, в то время как ДГУ обеспечивает так на-зываемое «грязное питание», которое помимо потребите-лей «чистого» питания предусматривает энергоснабжение и менее критичных к качеству питания и обесточиванию электроприёмников.

Также при компоновке машзалов ЦОД следует уделять вни-мание распределению высоконагруженных ИТ-стоек. Если их сгруппировать вместе и не применить дополнительных мер по охлаждению, как это было сделано в исходной кон-цепции, то неминуемо возникает опасность появления ло-кальных зон перегрева. Более того, при аварии на близле-жащем к данному участку ЦОД кондиционере надежность работы и без того испытывающих дефицит холодного возду-ха мощных стоек резко понизится.

Выходов из ситуации два – либо равномерное распреде-ление высоконагруженных стоек, либо их локализация и применение дополнительных мер по охлаждению, будь то установка плиток активного пола, использование внутри-рядной системы кондиционирования или другие приёмы.

Все эксперты сошлись во мнении, что высота фальшпола 500мм, тем более с учетом прокладки под фальшполом других коммуникаций, явно недостаточна. Напомним, что высота фальшпола рассчитывается исходя из поддержания скорости холодного воздуха 1.2-1.7 м/с (допустимо 2,0-2,3 м/с; критично 2.5-2,6 м/с). Таким образом, по сути, высоту фальшпола желательно удвоить. В любом случае, фальш-пол ниже 700мм недопустим. И это подразумевается «чи-стый» просвет. Необходимость прокладки коммуникаций под фальшполом лишь увеличит указанную цифру.

Наконец, построение надежного ЦОД идет в разрез с дости-жением действительно низких значений PUE. Сегодня мы всё чаще слышим о PUE на уровне 1.2-1.3 или даже 1.1. Но, не-смотря на то, что предложенная концепция характеризуется заметно более высоким PUE (1.78), эксперты признали его адекватность при обеспечении уровня надежности Tier III.

Если высоконагруженные ИТ-стойки сгруппировать вместе и не применить дополнительных мер по охлаждению, то неминуемо возникновение локальных зон перегрева, а при аварии на близлежащем к данному участку ЦОД кондиционере надежность работы и без того испытыва-ющих дефицит холодного воздуха мощных стоек резко понизится.

К слову, при оценке достоинств данной концепции мы получили несколько мнений, сходящихся на том, что ос-новными её преимуществами являются проверенность и надежность. Безусловно, приняты не самые современ-ные решения, но их работоспособность проверена и под-тверждена многолетним опытом эксплуатации подобных архитектур.На этом подведение итогов, пожалуй, можно завершить. Эти и другие выводы кратко сформулированы и представ-лены в соответствующей врезке, а редакция благодарит экспертов за предоставленные комментарии.

NEXT PREVIOUS



13www.TierLife.ru

Альтернативный Уравнивание длин рядов с разным чис-лом стоек выполнено за счет установки различного числа внутрирядных конди-ционеров.вариант

Тем временем, проводя аудит рассматриваемой концеп-ции, нам предложили иное видение решения проблем хо-зяина ЦОД, причем не только с инженерной точки зрения, но и серверной.

В частности, учитывая относительно небольшие размеры помещения, в котором к тому же размещено все инженер-ное оборудование, и тип ЦОД (корпоративный), а также

На первом этапе планируется размещение серверного оборудования с суммарным энергопотреблением 300 кВт. Для этого предложено использовать стойки, мощность ка-ждой их которых составит 12кВт. При этом их число сокра-тится до 25.

принимая во внимание планы по расширению ЦОД и уве-личению мощности, использование большого количества мало и средне загруженных стоек (3 кВт и 6 кВт соответ-ственно) не рационально». Вместо этого предлагается рас-смотреть вариант с более мощными стойками, что являет-ся «более выгодным как с экономической точки зрения, так и с точки зрения занимаемой полезной площади».

Рис. 2. Альтернативный вариант компоновки машинного зала

Охлаждение стоек обеспечивается внутрирядными конди-ционерами, работающими на охлажденной воде. Холодо-производительность каждого составляет 25кВт. Всего по-требуется 12 рабочих кондиционера, также потребуется 2 резервных блока.

NEXTPREVIOUS


14


www.TierLife.ru

Интересная особенность новой планировки – различная численность ИТ-стоек и кондиционеров в рядах, что свя-зано с нечетным числом стоек (25шт). Однако для орга-низации рядов одинаковой длины было принято решение разность в одну стойку компенсировать кондиционерами: в ряду, в котором на одну стойку больше, на два кондицио-нера меньше.

Также отметим расстановку «внутрирядников» не напро-тив друг друга, как это часто делается по ошибке, а в шах-матном порядке. Таким образом, кондиционер охлаждает не рядом стоящую стойку (что проблематично из-за необ-ходимости развернуть поток воздуха на 180°), а стойку напротив. Соответственно, проблема разворота воздуха исчезает.

За счет уменьшения количества стоек и использования межстоечной системы охлаждения увеличивается полез-ная площадь серверного зала. Так, теперь стало возмож-но организовать отдельное помещение для энергетиче-ского оборудования, что и представлено на планировке (см. рис. 2).

«Помимо этого, дополнительным преимуществом ограж-дения зала серверного оборудования от помещения ИБП и АСГП является сокращение площади неэффективного ох-лаждения, тем самым увеличивается КПД». Правда, с дру-гой стороны, в помещении ИБП пришлось установить допол-нительные кондиционеры.

Альтернативная компоновка представлена на рис. 2. На наш взгляд, она действительно имеет право на жизнь и, кстати, в положительную сторону отличается от начальной тем, что учитывает неминуемую в перспективе 12кВт-ную мощность стоек без дополнительной модернизации систе-мы кондиционирования. Размещение энергетического оборудования в отдельном помещении - также очевидный плюс альтернативного варианта.

Краткие выводы и рекомендации 1. Учёт перспектив развития ЦОД необходим на начальном

этапе, чтобы избежать вынужденных простоев в будущем.

2. Лучший способ оптимизации затрат при постепенном выхо-де ЦОД на режим и последующем расширении – использова-ние модульного оборудования. При этом трассы должны быть рассчитаны на максимальную плановую мощность ЦОД.

3. Высоконагруженные стойки следует либо равномерно рас-пределить по машзалу, либо сгруппировать в одном месте, обеспечив достаточное решение по охлаждению.

4. Расстановку кондиционеров всегда следует анализировать на предмет их отказов. Как правило, худшая ситуация наблю-дается при выходе из строя угловых кондиционеров.

5. Если коридоры не изолированы, то шкафные кондиционе-ры рекомендуется размещать напротив горячих коридоров. Это существенно снижает смешивание холодного и горячего потоков и позволяет подать на вход стойкам более холодный воздух, а на вход кондиционерам – более горячий, что повы-шает эффективность охлаждения.

6. ИБП и АКБ не следует размещать в машзале, тем более в горячем коридоре, т.к. это негативно сказывается на сроке службы АКБ.

7. При компоновке ЦОД не пренебрегайте электрощитовым оборудованием. Ошибочным является мнение, что щиты можно не учитывать – впоследствии их всегда можно будет развесить по стенам. Однако в ЦОД многие щиты (особенно ГРЩ) по габаритам соизмеримы со стойками и устанавлива-ются на пол. А по статистике на 1м2машзала щитовое обору-дование может занимать до 0.3м2. И это без учета ИБП и АКБ.

8. Мощность СГЭ всегда превышает мощность СБЭ. Обычно превышение составляет 20-50%.

9. Высота фальшпола рассчитывается исходя из скорости хо-лодного воздуха порядка 1.5 м/с плюс высота, которую зай-мут другие коммуникации.

10. Надёжный ЦОД – это не самый энергоэффективный ЦОД. Для Tier III достичь PUE ниже 1,5 практически невозмож-но, а реальный PUE составит порядка 2.

11. Расширение и укрупнение ЦОД влечёт снижение PUE, если ин-женерия предусматривает возможность масштабирования.

Внутрирядные кондиционеры рекоменду-ется устанавливать не напротив друг друга, а в шахматном порядке. Это существенно оптимизирует воздушные потоки.

NEXT PREVIOUS


http://AboutDC.ru


15www.TierLife.ru

FVER – НОВАЯуниверсальная система показателей эффективности ЦОДЛайем Ньюкомб, секретарь Группы специалистов ЦОД BCS и главный технический директор Romonet, рассказывает о системе оценки эффективности FVER для ЦОД, аналогичной, по его словам, системе PUE, но охватывающей все пространство ЦОД, включая программное и техническое компьютерное обеспечение.

NEXTPREVIOUS


16


www.TierLife.ru

Всего несколько лет назад мы начали использовать систе-му оценки эффективности использования энергии (Power Usage Effectiveness, PUE) для определения эффективности работы технической и энергетической инфраструктуры на-ших центров обработки данных. Это позволило осуществить оценку производительности ЦОД и оказало влияние на ра-боту как всего объекта, так и его персонала – операторов, продавцов и консультантов.

Несмотря на эффективность и широкую популярность ме-тода PUE, до сих пор не было разработано единой системы оценки работы программного и технического компьютерно-

го обеспечения. Многие программы измерения эффектив-ности использования энергии не учитывают или не полно-стью учитывают работу компьютерного оборудования.

Простая и адекватная система оценки эффективности – насущная потребность современных организаций, в том числе тех, кто занимается разработкой законодательства, регламентированием и регулированием различных отрас-лей экономики. Определяя эффективность работы, данная система должна быть справедливой в оценке деятельности разных сотрудников.

Для оценки производительности работы центров обработки данных разрабатывались различные системы. Они оказа-лись эффективными в частных случаях, но в некоторых об-щих вопросах столкнулись с определенными затруднения-ми:

• Оценка работы компьютерной техники не учитывает эф-фективность использования программного обеспечения, давая односторонний показатель

• Для предприятий обычно важна не работа программного обеспечения, а оказанные информационные услуги, со-провождающие бизнес-процессы

• Более точные системы измерения столкнулись со сложно-стью сбора данных и отчетности, а более легкие в исполь-зовании оказались менее показательными, и их нельзя было применить в оценке работы всех операторов

• Оценка полезности работы субъективна и зависит от ха-рактера деятельности оператора, которая меняется со временем

• Все системы измерения могут оказаться неточными; в то же время каждая из них при оценке деятельности должна учитывать факторы, влияющие на работу оператора. Ка-ждая система рискует быть либо ригидной и несправедли-вой, либо гибкой, но двусмысленной и неточной

NEXT PREVIOUS



17www.TierLife.ru

Система FVER позволяет оценивать программное и тех-ническое компьютерное обеспечение так же, как прежде оценивалась инфраструктура центра обработки данных методом PUE.

Значение показателя FVER, как и PUE, находится в диапа-зоне от 1 до бесконечности, и идеальное значение равно 1. Так же, как и в случае PUE, значение 1 практически не-достижимо из-за фиксированных потерь энергии при ра-боте многих устройств (минимальное энергопотребление при нулевой загрузке). В то же время измерение данного показателя дает возможность определить пути улучшения работы.

Система оценки соотношения постоянного и переменно-го энергопотребления центром обработки данных (Data Center Fixed to Variable Energy Ratio – DC FVER) впервые учитывает, какая доля объема энергопотребления центра обработки данных является переменной, то есть зависит от объема произведенной полезной работы, а какая доля постоянна. Это позволяет операторам ЦОД видеть, какая часть потребляемой ими энергии связана с выполненной работой, а какая часть по сути является «балластом», требу-ющим сокращения и оптимизации.

Система FVER решает многие указанные выше вопросы, включая в оценку программное и техническое компью-терное обеспечение и позволяя каждому оператору опре-делять производительность, характеризующую его центр обработки данных и объем оказанных информационных услуг. Этот подход отклоняет попытку разработать универ-сальную систему оценки, одинаково и справедливо приме-нимую ко всем операторам.

Для примера предположим, что автомобиль может пере-возить четырех пассажиров и достигать определенного показателя скорости км/л (километров на литр горючего). Значение км/л зависит от типа автомобиля. Но наиболь-ший интерес представляет случай, когда автомобиль не-подвижен, то есть когда полезной работы не совершается, а топливо, как можно предположить, всё-таки потребляется (очевидно, впустую).

Аналогично, мы можем удивиться тому, что позволяем на-шим центрам обработки данных потреблять почти такой же объем энергии, когда они фактически не работают, как и тогда, когда они производят полезную работу.

Потенциал для повышения эффективности ЦОД связан именно с его постоянным энергопотреблением. Оптимиза-

то, что не оценивает PUE

Оценивая

FVER = = 1 +Полная энергия Постоянная энергия

Переменная энергия Переменная энергия

Показатель DC FVER рассчитывается с помощью простой формулы:

Непродуктивныйрасход

энергии

ция этого показателя – приоритетный вопрос для центров обработки данных и отрасли в целом.

В идеальном случае величина постоянного энергопотре-бления должна быть равна нулю в тот период, когда обо-рудование не производит полезной работы. Показатель DC FVER дает оператору возможность увидеть, насколько по-требление энергии его оборудованием соответствует объе-му производимой работы (см. рис.1).

Рис. 1. Реальное и идеальное энергопотребление ЦОД в зависимости от полезной нагрузки ИТ-оборудования

NEXTPREVIOUS


18


www.TierLife.ru

Измерение

пример

полезной работы

Очень простой

Показатель FVER не определяет, каким образом опера-тор ЦОД должен оценить производительность дата-цен-тра. То же касается и других сфер деятельности. Но FVER позволяет каждому оператору сделать выборку соответ-ствующих практических репрезентативных показателей полезной работы, не специфических для конкретной сфе-ры деятельности. Затем эти данные обрабатываются и обобщаются с существующими данными измерений об-щего и серверного энергопотребления методом PUE для получения сравнительного показателя производительно-сти ЦОД.

Сокращение постоянного энергопотребления эффективно как для операторов с переменной нагрузкой, так и для опе-раторов удаленной среды с более постоянной нагрузкой, так как, как и в случае использования PUE, это повышает общую эффективность.

В процессе выбора показателя полезной работы вы смо-трите, чем занимается ваш центр обработки данных (на-пример, работой с потоковым видео, HPC, бизнес-приложе-ниями, …) и что из этой деятельности является ценным для бизнеса (т.е. может считаться полезной работой).

Рассмотрим центр обработки данных с номинальным уров-нем энергопотребления 1,5 МВт, занимающийся размеще-нием в Интернет информацией об услугах нашего предпри-ятия. Показатель PUE уже был измерен, и для определения показателя FVER мы:

1. Выберем простой показатель производительности рабо-ты центра (например, количество обслуженных клиентов или совершенных транзакций в час)

2. Зарегистрируем данные о производительности и энер-гопотреблении в течение каждого часа за неделю

3. Определим наиболее и наименее производительные часы и посмотрим на соответствующий объем энергопо-требления в этот период (например):

a. Самая высокая производительность наблюдалась с 15 до 16 часов в четверг, потребление энергии за этот период составило 1,2 МВт*ч

b. Самая низкая производительность наблюдалась с 03 до 04 часов в воскресенье, потребление энергии составило 1,0 МВт*ч

FVER = = 1 + = 6Полная энергия (1000 кВт*ч) 1000 кВт*ч

Переменная энергия (200 кВт*ч) 200 кВт*ч

На этом простом примере мы можем увидеть, что разница в энергопотреблении между периодами наивысшей и наименьшей производительности со-ставила 0,2 МВт. Для расчета показателя FVER вос-пользуемся формулой:

Теперь можно принимать меры к изменению потребляе-мой оборудованием как инженерной, так и ИТ-инфраструк-туры энергии. Например, можно перевести серверное оборудование в другой режим работы, изменить настройки перехода в «спящий» режим, настроить кондиционеры и чиллеры на работу в режиме ротации или одновременной работы всех единиц оборудования на меньших оборотах и т.п. Далее необходимо снова измерить показатель FVER и четко увидеть, какие были сделаны улучшения.

NEXT PREVIOUS



19www.TierLife.ru

ВыводСистема DC FVER, конечно, не является идеальным реше-нием. Но она предоставляет простой и быстрый способ из-мерения эффективности в нашей сфере деятельности и в сфере деятельности предприятий, которые мы обслужива-ем. И, как и PUE, использование FVER поможет сократить непродуктивный расход энергии.

Группа специалистов ЦОД BCS с радостью примет отзывы о данной системе. Все больше операторов узнают и ис-пользуют систему FVER, сообщая о результатах. Результаты использования будут опубликованы наряду с возможными решениями по оптимизации.

Как изменить FVER вашего ЦОД?• перевести серверное оборудование в другой режим рабо-

ты (максимальной/минимальной производительности; использование или отказ от турбо-режимов)

• изменить настройки перехода ИТ-оборудования в «спя-щий» режим,

• изменить настройки виртуализации,• включить энергосберегающий режим в настройках прило-

жений, поддерживающих данную функцию,• внедрить новые технологии (новое поколение серверов,

системы хранения данных на основе SSD и др.)• изменить настройки кондиционеров и чиллеров на работу

в режиме ротации или, наоборот, в режим одновременной работы всех единиц оборудования на меньших оборотах,

• изменить поддерживаемую в ЦОД температуру (замет-ным окажется даже изменение температуры на 1°С),

• распределить нагрузку на ИБП с целью их вывода на наи-более эффективный режим,

• внедрить систему управления инфраструктурой ЦОД (Data Center Infrastructure Management, DCIM)

Сюда же можно включить советы по оптимизации каждой из подсистем ЦОД, включая такие, как установка заглушек в неиспользуемые юниты стоек, герметизацию коридоров и др. Список можно продолжать бесконечно. Важно то, что на FVER оказывают влияние изменения не только в инженер-ной, но и в ИТ-инфраструктуре ЦОД, как на уровне ИТ-обору-дования, так и на уровне его комплектующих и установлен-ных приложений.

Таким образом, показатель FVER позволяет оценить энерго-эффективность ЦОД более глобально, нежели PUE

NEXTPREVIOUS


20


www.TierLife.ru


Documents

Tier Magazine Issue 01