Технология Infiniband: скорость, легкость, надежность

Андрей Фролов

Директор по работе с корпоративными клиентами

Москва, 12.09.2013

2

Согласно прогнозам IDC, к 2020 г. цифровая Вселенная достигнет объема в 40 зеттабайт (на 5 зеттабайт больше прежнего прогноза). Всего с начала 2010 года объем данных вырос в 50 раз. По данным исследования, по всему миру будет создано и использовано 2,8 зеттабайт данных

ПРОГНОЗЫ

3

ПРОГНОЗЫ

4

Infiniband — это высокоскоростная коммутируемая последовательная шина, применяющаяся как для внутренних (внутрисистемных), так и для межсистемных соединений

INFINIBAND – ЧТО ЭТО?

5

INFINIBAND – САМАЯ ПРИМЕНЯЕМАЯ

ТЕХНОЛОГИЯ ДЛЯ СУПЕРКОМПЬЮТЕРОВ

6

ПРЕИМУЩЕСТВО IB №1 – СКОРОСТЬ

SDR DDR QDR FDR EDR

1X 2,5 / 2 Гбит/с

5 / 4 Гбит/с 10 / 8 Гбит/с

14,0625 / 14 Гбит/с

25,78125 / 25 Гбит/с

4X 10 / 8 Гбит/с

20 / 16 Гбит/с

40 / 32 Гбит/с

56,25 / 56 Гбит/с

103,125 / 100 Гбит/с

12X 30 / 24 Гбит/с

60 / 48 Гбит/с

120 / 96 Гбит/с

168,75 / 168 Гбит/с

309,375 / 300 Гбит/с

Пропускная способность интерфейса Infiniband, raw / data

7

ПРЕИМУЩЕСТВО IB №2 –

ПРОСТОТА И НАДЕЖНОСТЬ

• InfiniBand позволяет заменить три кабеля — Ethernet, кабели к подсистеме хранения и кабели межпроцессного взаимодействия – одним соединением

• Автоконфигурирование портов/системы

• Сокращение потребления пропускной способности памяти и контекстных переключений

• Шесть режимов передачи данных

• Forward Error Correction, которая позволяет устройствам InfiniBand исправлять битовые ошибки в сети и сокращает издержки на данные транзакции

8

ПРЕИМУЩЕСТВО IB №3 –

МИНИМАЛЬНЫЕ ЗАДЕРЖКИ

9

ПРИМЕР

• Повышение производительности системы в 10 раз!

• Снижение совокупной стоимости владения на 50%

10

ОНИ ТОЖЕ ПРИМЕНЯЮТ INFINIBAND

11

СУПЕРКОМПЬЮТЕР «ЛОМОНОСОВ»

• По состоянию на июнь 2013 года — 31 место в рейтинге ТОР500 самых мощных суперкомпьютеров в мире

• Узлы: более 7 000: T-Platforms T-Blade2/1.1, Xeon X5570/X5670/E5630 2.93/2.53 GHz, Nvidia 2070 GPU, PowerXCell 8i

• Сеть: Infiniband QDR (производства Mellanox) • Число ядер: 78660 • Пиковая производительность: 1700.2 Тфлопс

12

ОПЫТ КОМПАНИИ КРОК

13

ЦОД «КОМПРЕССОР»

• Дата-центр «Компрессор» – крупнейший коммерческий центр обработки данных компании КРОК. На базе данной площадки заказчикам предлагается широкий ассортимент аутсорсинговых услуг

• ЦОД уже получил сертификат в Uptime Institute по уровню TIER III, что соответствует коэффициенту отказоустойчивости 99,982%

• ЦОД «Компрессор» общей площадью 5000 квадратных метров позволяет разметить 800 стоек. Средняя электрическая мощность одной стойки — 6 кВт. Общая мощность электроснабжения ЦОД — 8 МВт

14

АРХИТЕКТУРА СЕТИ

15

ПОЛНЫЙ СПЕКТР КОМПОНЕНТОВ MELLANOX

16

ИТОГИ ЭКСПЛУАТАЦИИ

• Суммарный период эксплуатации – с мая 2012

• Промышленной эксплуатации – с апреля 2013

• 504 IB порта

• Около 140 серверов

• Без единого сбоя!

17

ОБЩИЕ ПРЕДПОСЫЛКИ

ИСПОЛЬЗОВАНИЯ INFINIBAND

• Если есть/будут бизнес-критичные приложения, требующие минимизации задержки в работе

• Если планируется строительство нового ЦОДа

• Если планируется радикальный апгрейд серверного парка

• Если планируется внедрение новых СХД

18

• Про технологию Infiniband

Статья: «InfiniBand: архитектура коммутации для серверов, запоминающих устройств и коммуникационных систем»

Автор: Кевин Дайерлинг (Kevin Deierling), Mellanox Technologies

• Про опыт КРОК в применении Infiniband для снижения задержек в работе приложений

Пост: Про InfiniBand: как мы уменьшали пинг с 7 мкс до 2,4 мкс (и результаты тестов)

Ссылка: http://habrahabr.ru/company/croc/blog/191306/

СПИСОК РЕКОМЕНДУЕМОЙ ЛИТЕРАТУРЫ

19

СПАСИБО ЗА ВНИМАНИЕ!

Андрей Фролов

Директор по работе с корпоративными клиентами

111033, Москва, ул. Волочаевская, д.5, корп.1 +7 495 974 2274 доб. 2752, +7 495 974 2277 (факс)

AFrolov@croc.ru www.croc.ru