Вычислительная и коммуникационная инфраструктура Академгородка

и СО РАН

Максим Александрович Городничевmaxim@ssd.sscc.ru

http://ssd.sscc.ru

Институт вычислительной математики и математической геофизики СО РАНwww.sscc.ru

Сибирский суперкомпьютерный центрwww2.sscc.ru

Совет по супервычислениям при президиуме СО РАН

• Какие компьютеры нужны науке?

• Задачи вычислительных центров СО РАН и развитие вычислительных ресурсов

• Коммуникационная инфраструктура Академгородка

• Потребности в развитии сетей связи

О чем будет разговор

Компоненты научного метода

• Теория• Натурный эксперимент• Компьютерное моделирование

«Страна, желающая победить в конкуренции,должна победить в вычислениях»

Deborah Wince-Smith, Президент Советапо конкурентоспособности США

Из Указа Президента РФ от 7 июня 2011г № 899• Приоритетные направления развития науки, технологий и

техники Российской Федерации п.3 «Информационно-телекоммуникационные системы»

• Перечень критических технологий Российской Федерации п. 18 «Технологии и программное обеспечение распределенных и высокопроизводительных вычислительных систем»

Потребности в вычислительных мощностях на примере задачи моделирования климата

Лишь атмосфера, период 100 лет: 1017 операций*

Производительность компьютеровизмеряется в операциях в секунду:

1 Pflops = 103 Tflops = 106 Gflops = 1015 операций в секунду

Потребности в производительности:Решить задачу за час: 27,8 TflopsРешить задачу за 12 часов: 2,3 TflopsРешить задачу за месяц: 0,04 Tflops

*В.В. Воеводин. Вычислительная математика и структура алгоритмов. М.:МГУ, 2006: сетка с ячейкой 1°, 40 слоев по высоте, шаг по времени -- 10 минут.

Wikipedia

Рейтинги производительности вычислительных систем (в Tflops)

Top-50 СНГ, сентябрь 2011http://top50.supercomputers.ru

Top-500, ноябрь 2011http://top500.org

Поз. Организация Ppeak Pmax

1 МГУ 1373,06 674,11

2 Курчатовский институт

123,65 101,21

3 Челябинск, ЮУрГУ

117,67 100,33

10 Томск, ТГУ 62,35 42,53

23 НГУ 29,28 17,32

31 Красноярск, СФУ

13,06 16,87

32 ССКЦ ИВМиМГ+ИЦиГ СО РАН

30,01 12,55

Поз. Страна Ppeak Pmax

1 Япония 11280,38 10510,00

2 Китай 2566,00 4701,00

3 США 2331,00 1759,00

9 Франция 1254,55 1050,00

12 Германия 1043,94 831,40

18 Россия 1373,06 674,11

19 Великобритания

829,03 660,24

Ppeak – по спецификации процессоровPmax – на тесте Linpack

Распределение производительности вычислительных систем в списке Top-500 по странам

http://top500.org

Суперкомпьютерные центры СО РАН

•Омск•Новосибирск•Томск•Красноярск•Иркутск

Google Maps

Основные направления деятельности суперцентров Сибирского отделения РАН

• Обеспечение работ институтов СО РАН и университетов Сибири по математическому моделированию в фундаментальных и прикладных исследованиях

• Обучение специалистов СО РАН и студентов университетов методам параллельных вычислений на суперкомпьютерах, методам моделирования больших задач

• Интеграция вычислительных ресурсов СуперцентровСО РАН

Координация работ по развитию суперкомпьютерных центров СО РАН, осуществляется Советом по супервычислениям при Президиуме СО РАН

Примеры задач, решаемых в СО РАН

Суперкомпьютерное моделирование эволюции галактик и протопланетных дисков

ИВМиМГ СО РАН, ИК СО РАН, Новосибирск

Моделирование карбонатных резервуаров

ИВМиМГ СО РАН, Новосибирск

Расчет проводился на 512 процессорах.

Работа заняла первое место в Конкурсе проектов в сфере высокопроизводительных вычислений под девизом «Невозможное стало возможным», организованного корпорацией Intel совместно с Российской корпорацией нанотехнологий («РОСНАНО») в 2010 году.

Моделирование обтекания перспективных спускаемых космических аппаратов

ИТПМ СО РАН, Новосибирск

Предсказаны потенциальные сайты связывания иона Zn2+, включающие в себя аминокислоты, не характерные для нормального сайта связывания цинка в белке P53, а также было предсказано положение иона Zn2+ в найденных потенциальных сайтах.

Исследование конформационной подвижности мутантных форм белков

ИЦиГ СО РАН, Новосибирск

Непрерывно-дискретная полевая модель движения людей во время пожара является весьма ресурсоемкой.

Для моделирования движения одного человека в течение 1 мин. требуется около 20*107

расчетных шагов. При решении практических

задач эвакуации количество человек измеряется сотнями и тысячами.

Моделирование движения людейи расчет эвакуации

в задачах пожарной безопасности

ИВМ СО РАН, Красноярск

Теоретическое исследование перспектив использования графеноподобной планарной структуры BС3 в качестве

анодов для построения нового типа литий-ионных аккумуляторов

ИВМ СО РАН, Красноярск

Зависимость энергии адсорбирования лития внутри графита и ВС3 от его массовой доли

Геометрическая структура ВС3с адсорбированным литием

Развитие ресурсов центров и решаемые задачи

Институт динамики систем и теории управления СО РАН

Вычислительный кластерМВС-1000/1632 CPU Intel Xeon DP, интерконнект – Myrinet 2000 & Gigabit EthernetПиковая производительность ~ 0,17 TFlops

ДЕЙСТВУЮЩИЕ ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ

ИРКУТСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР

Вычислительный кластер «Blackford»40 CPU Quad-Core Intel Xeon E5345,интерконнект – 2 x Gigabit EthernetПиковая производ. ~ 1,5 TFlops Реальная производ.(HPL) – 924 GFlops

РАЗВИТИЕ ВЫЧИСЛИТЕЛЬНОЙ БАЗЫ

Кластер GPU-серверов “TESLA”Общее число GPU – 8Число потоковых ядер – 1920Интерконнект – GigaEthernetRpeak (GPU): 7,45 TFlops (SPI) 624 GFlops (DPI)

Запускается первая очередь кластерной вычислительной системы нового поколения на базе архитектуры x86_64(16-core CPU AMD Opteron 6276 Bulldozer) общей пиковой производительностью 33,7 TflopsПрогнозная реальная производительность на тесте LINPACK > 27 TFlops

Институт динамики систем и теории управления СО РАН

КластерМВС-10000,17 TFlops

Кластер“Blackford” на базе Intel Xeon QC1,5 TFlops

Серверы на базе GPU Tesla7,45 TFlops (SPI)

Кластер на базе AMDBulldozer33,7 TFlops

РАЗВИТИЕ ВЫЧИСЛИТЕЛЬНОЙ БАЗЫ

ИРКУТСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР

Институт динамики систем и теории управления СО РАН

• Биоинформатика, геномика, филогенетика

• Физика твердого тела, квантовая химия

• Физика высоких энергий, теория поля

• Дискретная математика, криптоанализ

• Оптимальное управление, методы оптимизации

ОБЛАСТИ ПРИМЕНЕНИЯ РЕСУРСОВ

ИРКУТСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР

Лимнологический институт СО РАН (биоинформатика, геномика, филогенетика, биология рыб, …)

~50%Институт динамики системи теории управления СО РАН (дискретная математика, криптография, физика плазмы, …)

~25%Институт геохимии им. А.П. Виноградова СО РАН (квантово-химические расчеты, физика твердого тела)

~20%ИрИХ СО РАН, ИГУ, ИрГТУ и другие

~5%

РАСПРЕДЕЛЕНИЕ МАШИННОГО ВРЕМЕНИ

КРАСНОЯРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРИнститут вычислительного моделирования СО РАН

ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ

1. МВС-1000/146 – производительность 0.65 Тflops, модернизирована в 2011 г.

2. МВС-1000/16 – тренажер

3. IBM System x 3755 (СФУ) – производительность 1 Тflops

4. Tesla C-2050 - три вычислительных комплекса, каждый производительностью 1 Тflops

5. Flagman RX 240T – производительность 8.24 Тflops, закуплен по проекту РФФИ в 2011 г.

Институт вычислительного моделирования СО РАН

СТАТИСТИКА МВС-1000/146

Направления научных

исследований

Запусков задач

ОрганизацияВклад в

загрузку (%)

Молекулярная динамика

1500 ИФ СО РАН 84

Молекулярная динамика

1050 ИХХТ СО РАН 14

Динамика вязких и

сыпучих сред220 ИВМ СО РАН 1

Газодинамика 87 ИВМ СО РАН 0.3

Прочее 2770ИВМ СО РАН, СибГТУ и др.

1

Всего 5540 100

КРАСНОЯРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТР

ТОМСКИЙ НАУЧНЫЙ ЦЕНТРИнститут сильноточной электроники СО РАН

СИСТЕМА ПЕРЕДАЧИ ДАННЫХТекущее состояние

сетевой инфраструктуры ТНЦ СО РАН

1) В 2011 году был реализован вариант расширения полосы пропускания данных с томским научно-образовательным комплексом за счет увеличения числа параллельных каналов, а также построение дополнительных линий связи. Выполненные работы дают возможность подключать вычислительные кластеры университетов как минимум на скоростях 1 Гб. 2) Запущен внешний поток ННЦ СО РАН – ТНЦ СО РАН для возможности подключения высокопроизводительных вычислительных ресурсов ТНЦ СО РАН и университетов Томска к распределенной GRID-сети СО РАН.

Кластер на базе процессоров Intel Itanium2 –5 вычислительных узлов (ВУ) + 1 управляющий узел (УУ)Характеристики ВУ кластера: - 2 процессора Intel Itanium2 Madison, 1595.706 Mгц; - оперативная память 4 Гб; - жесткий диск 40 Гб (SCSI); - сеть: Mellanox SDR Infiniband, Gigabit Ethernet.Вычисл-ная система на базе Tesla/Fermi – 4 ВУ + 1 УУ: - 2 ВУ с Tesla C2050; - 1 ВУ с Tesla C2070; - 1 ВУ с 2 Tesla C1060 (~ 1 ТФлопс каждый); - Quadro NVS 290; - сеть: Gigabit Ethernet.

ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ

ТОМСКИЙ НАУЧНЫЙ ЦЕНТР

РЕШАЕМЫЕ ЗАДАЧИ

Институт сильноточной электроники СО РАН

• Разработка и реализация параллельных вычисленийна распределенных вычислительных системах в рамках метода подвижных клеточных автоматов (ПКА).ИФПМ СО РАН

• Параллельная реализация алгоритма решения задач динамики пучков заряженных частиц для самосогласованного электромагнитного поля методом "частицы-в-ячейках" в r-z геометрии. ИСЭ СО РАН

• Моделирование развития пробоя газонаполненного диода импульсом напряжения наносекундной длительности. ИСЭ СО РАН

• Тестовый запуск модели Weather Research and Forecast(WRF ARW) версии 3.0 в многопроцессорном режимена кластере SGI Altix-4700 РСМЦ ЗС УГМА (г.Новосибирск),ИМКЭС СО РАН

ОМСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРОмский филиал Института математики СО РАН

ОСНОВНАЯ ТЕХНИЧЕСКАЯ БАЗА

2-х модульный суперкомпьютерный кластер Tesla Meijin. Построен с использованием четырехъядерного процессора Intel Core i7 Extreme на базе вычислителей NVIDIA Tesla C1060. Кластер в настоящее время состоит из 2 узлов, каждый из которых содержит по 3 вычислителя NVIDIA Tesla C1060;

Телекоммуникационные возможности компьютерной сети, созданной по проекту КС «ОКНО»; Кластерный суперкомпьютер МВС-1000/128 перенесен из ОФ ИМ СО РАН на факультет компьютерных наук Ом ГУ для обеспечения учебного процесса.

ОМСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРОмский филиал Института математики СО РАН

РЕШАЕМЫЕ ЗАДАЧИ

• Ведется разработка точного алгоритма решения USApHMP. В настоящее время реализована процедура локального поиска для USApHMP на основе технологии CUDA.

• Квадратичная задача о назначениях с минисуммным критерием для произвольного графа связей на древовидной сети с применением параллельного алгоритма динамического программирования.

• Разрабатываются параллельные многопоточные алгоритмы формирования табличных представлений данных по технологии OLAP.

• Создание моделирующих программ для стохастических моделей динамики социально-значимых заболеваний и выявления больных индивидуумов.

СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРИнститут вычислительной математики и математической геофизики СО РАН

Кластер HKC-160(hp rx1620)

168 процессор.Itanium 2,1,6 ГГц;InfiniBand,Gigabit Ethernet (GE); > 1 ТФлопс

Серверс общей памятью

(hp DL580 G5)4 процессора(16 ядер) Intel Xeon QuadCore Х7350, 2.93 ГГц; 256 ГБайт - общая память; 187,5 ГФлопс

СХДдля НКС-1603,2 Тбайт

СХД сервера с общей памятью9 Тбайт (max-48 Тбайт)

СИСТЕМЫ ХРАНЕНИЯДАННЫХ (СХД)

Параллельнаяфайловая система

IBRIXдля НКС-30Т

32 Тбайта

СХД для НКС-30Т36 Тбайт (max - 120 Тбайт)

СетьИВМиМГ

Сеть

Internet ННЦ

СистемноеОбщематематическое

Прикладное (ППП)

ВЫЧИСЛИТЕЛЬНЫЕ РЕСУРСЫ

GigabitEthernet InfiniBandGE

GE …………………………

!!! NEW Кластер

гибриднойархитектуры

HKC-30T+GPU

576 (2688 ядер) процессоровIntel Xeon Е5450/E5540/X5670

80 процессор.CPU (X5670) – 480 ядер;

120 процессор.GPU (Tesla M 2090) – 61440 ядер.

Общая пиковая производ.115 ТФлопс

HKC-30T

Сервер с общей памятью (hp DL980 G7)4 процессора (40 ядер) Intel Е7-4870,ОП - 512 Гбайт , 384 ГФлопс.Max: 8 процессоров (80 ядер), 2048 ГБайт, 768 ГФлопс

!!! NEW

СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРИнститут вычислительной математики и математической геофизики СО РАН

0,247 ТФлопс2006 г.

> 1 ТФлопс2007 г.

5,8ТФлопс2008 г.

7,1ТФлопс2009 г.

17,5ТФлопс2010 г.

0,246 ТФлопс2005 г.

31ТФлопс2011 г.

НКС-1601 ТФлопс

РОСТВЫЧИСЛИТЕЛЬНЫХРЕСУРСОВ

МВС-1000/32

МВС-1000/128М

НКС-160> 1 ТФлопс

НКС-30Т4,8 ТФлопс

НКС-30Т30 ТФлопс

НКС-30Т16,5 ТФлопс

НКС-160

НКС-160

116ТФлопс2012 г.

Гибридный кластер115 ТФлопс

29

СИБИРСКИЙ СУПЕРКОМПЬЮТЕРНЫЙ ЦЕНТРИнститут вычислительной математики и математической геофизики СО РАН

ИСПОЛЬЗОВАНИЕ ПРОЦЕССОРНОГО ВРЕМЕНИ 2011 г. (часы)

ОРГАНИЗАЦИИ НКС-160 НКС-30T ∑ % ИЦиГ   2401720,56 2401720,56 47,65 ИВМиМГ 8006,70 888407,04 896413,74 17,79 ИХиХТ (Красноярск) 126673,66 380176,56 506850,22 10,06 ИК 42701,40 400436,88 443138,28 8,79 НГУ 12157,30 134954,88 147112,18 2,92 ИХКиГ 37188,62 88826,16 126014,78 2,50 ИТПМ 59904,45 61830,24 121734,69 2,42 ИЯФ 25591,94 59264,64 84856,58 1,68 ИТ 176,74 62445,84 62622,58 1,24 СИСТЕМА 0,19 56874,24 56874,43 1,13 ИАТЭ (Обнинск)   54518,88 54518,88 1,08 ИХБиФМ   33858,96 33858,96 0,67 ИНХ   20860,80 20860,80 0,41 НГТУ 18734,13 89,76 18823,89 0,37 ИВТ   17819,28 17819,28 0,35 ИНГиГ 1316,84 10297,92 11614,76 0,23 НИЦЭВТ (Москва)   10430,88 10430,88 0,21 ИКЗ (Тюмень) 1605,49 8327,04 9932,53 0,20 СибНИА 6730,63  6730,63 0,13 ИФП   4945,44 4945,44 0,10 ИМ 1572,42 4,32 1576,74 0,03 Комп. Котес 916,51  916,51 0,02 ОФ ИМ (Омск)   437,28 437,28 0,01 Другие 134,76 2,40 137,16 0,003

ИТОГО 343411,76 4696530 5039941,76 100,00

Статистика по кластерам (НКС-160 + НКС-30Т) 2009 2010 2011

∑ производительность (тфлопс) 7,1 17,5 31,0

∑ CPU (час.) 1 924 308,38 2 908 834,93 5 039 941,76

∑ количество заданий 38 914 39 750 35 952

Суперкомпьютерная сеть ННЦ СО РАН сегодня

Результат ИВТ СО РАННовосибирск

Целевая программа «Телекоммуникационные и мультимедийные ресурсы Сибирского отделения РАН»

Потребности в развитии сетей связи: задачи

• Объединение вычислительных систем для решения сверхбольших задач и разделения ресурсов

• Распределение задач между вычислительными системами с целью балансировки нагрузки

• Перенос данных между вычислительными системами, доступ пользователей к данным

Объединение суперкомпьютеровв NumGrid

TCP/IP

0 1 2 … n-2 n-1

TCP/IP

TCP/IP

n n+1 n+2 …

WAN

Время решения волнового уравнения явным методом, сек.

Кластер 1

Кластер 2

«P (NxS)» означает «всего P ядер, из них N на кластере ССКЦ и S – на кластере НГУ»

NG-Gateway

NG-Gateway

Потребности в развитии сетей связи: ориентиры

• GridMPI (Япония): 1-10 Гб/с на расстоянии до 500 миль позволяют объединять суперкомьютеры для совместного решения задач

• Abilene Network (США):10 Гб/с между 230 центрами в 2004 г.

• TeraGrid (США) (проект 2004-2011): 10 Гб/с между вычислительными центрами

• National LambdaRail (США): 10 Гб/с -> 40 Гб/с -> 100, 280 центров

Спасибо за внимание!