Cистемы с непосредственным жидкостным охлаждением

Василий КирсановТК «Связь»

Версия 4

Непосредственный контакт

Отход от стереотипов

Аппетиты растут…

Intel® Xeon® E5-2600 v4 до 18 ядер3D рендеринг

Кому нужно столько мощщи ?

Моделирование процессов

Волшебный мир кино

Стандартные размеры 600х1200

Инженерный комплекс

Смена парадигмы

Оборудование погружается в специальную стойку-ванну с диэлектрической (непроводящей) жидкостью.

модифицировать серверное оборудование

Ванна с хладагентом

ИТ-стойка +200-400кг

Как устроено ?

Принципиальная схема (2 контура)

Хладагент циркулирует по системе и отбирает выделяемое ИТ-оборудованием тепло

43°С (а не 20-25)

(от -50 до +50 °С)

радиатор + венилятор

Куда девать тепло ? Freecooling – наше всё.

vs

для отведения одинакового кол-ва тепла потребуется разное кол-во времени и энергии

Стакан жидкости vs Кубометр воздуха

Рояль в кустах

1985

Cray-2

№1 до 1990

3M Novec™ vs Полимер

Двойняшки ≠ Близнецы

Свойство ВеществоНазвание Воздух ОХЛ-14 Novec™ Novec™

Молекулярная формула - - C6F12O C7F14O

Тип Газ (N, O) Смесь полимеров Фторкетон Фторкетон

Температура кипения, °С −195,8 / −182,98 > 130 49 74

Температура замерзания, °С −214 / −218,79 < −70 < -100 < -100

Температура вспышки в открытом тигле , °С нет 160-180 нет нет

Температура самовоспламенения пара нет > 300°С нет нет

Теплопроводность, Вт/м*К 0,023 0,11-0,13 0,059 ~ 0,06

Удельная теплоемкость, Дж/кг*К 1000 1500-1700 1103 1130

Плотность, кг/м3 1,2 850-950 1600 1670

Физические характеристики хладагента

Такие похожие и такие разные

- Не работает оптика и атмосферные HDD- Нет отраслевого стандарта- Не подходит для Collocation

3M Novec™ Полимер - быстрое испарение

• чистое оборудование• герметичные стойки• надо доливать • выше теплоотдача

- содержит фтористые соединения- дорогой

- малоиспаряемый- оставляет плёнку на оборудовании- нетоксичный- высокая текучесть (капиллярный эффект)- может вступать в реакцию…- недорогой

Что можно охлаждать ?

CPU

GPU

ASIC

HDD Helium

SSD

MB

RAM

PSU

UPS

Сколько тепла можно отвести от стойки ?Воздух Жидкость

25 кВт50 кВт

> 100 кВт

5-7 кВт – обычный кондиционер

9-12 кВт – хол./гор. коридор

~ 20 кВт – рядные кондиционерыС каждой итерацией растёт сложность системы и бюджет на инфраструктуру

> 50 кВт

обычная стойка600х1200

нестандартный размер

vs

Мораль:Сравнить надо комплексно: «железо» + всё окружение

Хотим серверное помещение с нуля. Какие затраты ?

+ купить/построить/перестроить помещение+ подготовка помещения:

• фальшпол, • гидроизоляция, • пожаротушение (трубопроводы, газовая система)• система охлаждения / подготовки воздуха• холодный и горячий коридор• воздуховоды, система дымоудаления

+ само серверное оборудование

+СЖО + серверы

+ порошковое пожаротушение

Не нужно специальное помещение

Экономика на пальцах. CAPEX

Авантюра. Да. Но технология позволяет…

А что ? Деревянный же ЦОД есть…

Передвижной вычислительный комплекс

Экономим электричество. OPEX

– 10-20%

– 90-95%

почти не требует обслуживания

Что дальше ?Ведутся работы по созданиюСХД большого объёма (от 1 Пб).

снизить себестоимость. увеличить плотность размещения до 8 CPU / Unit

Более надёжная работа серверов

- Увеличение срока службы оборудования (нет коррозии)

- Отсутствие пыли• нет статического электричества, исключена вероятность пробоя, • не ухудшается отведение тепла

- Из-за отказа от вентиляторов отсутствует риск их поломки (и перегрева)

- Постоянная циркуляция хладагента препятствует возникновению локальных точек перегрева

- Снижение внутренних вибраций и, как следствие, ошибок чтения/записи жестких дисков

4 CPU x86 / 1U

Высокая производительность

- высокая плотность размещения (до 80 ЦПУ/стойку)- постоянный Turbo Boost- гетерогенные системы из CPU + GPU

Если мало места…

+ отсутствие шума

При дефиците электричества

Гиперконвергентные системы

Работа в экстремальных условиях

корпус системы действует как клетка Фарадея (если корпус металлический, а не пластиковый/стеклянный)

Защита от сглаза снятия на расстоянии

Почему все не кинулись «топить» железо ? (если всё так прекрасно)

неосведомлённость страхистереотипы

Объективные причины

нет больших тепловыделений не загружена существующая инфраструктура (на воздухе)

Мочить или не мочить ?

c 2012

В Мире уже используют

Изучают и присматриваются

Allied Control

и многие другие…

Смелые заказчики

Вопросы ?

v.kirsanov@tk-svyaz.ru

Благодарю за внимание !