Абрамов С.М. ИПС имени А.К.Айламазяна РАН 10 . 11 .2010 , Москва, CNews Forum

Институт программных систем имени А.К.Айламазяна РАН

Перспективы развития суперкомпьютерных технологий

в России на ближайшие годы: возможности для государства и

бизнеса

Абрамов С.М.ИПС имени А.К.Айламазяна РАН10.11.2010, Москва, CNews Forum


Суперкомпьютерные технологии

Роль и место суперкомпьютерных технологий

«Технологии, таланты и деньги доступны многим странам. Поэтому США стоит перед лицом непредсказуемых зарубежных экономических конкурентов.Страна, желающая победить в конкуренции, должна победить в вычислениях».Дебора Винс-Смит, Президент Совета по конкурентоспособности США.

“With technology, talent and capital now available globally, the U.S is facing unprecedented economic competition from abroad.The country that wants to out compete must out-compute,” –– Deborah Wince-Smith, President of the Council on Competitiveness.

Киберинфраструктура страны —забота государства

Новая инфраструктура государства — государственная система из мощных национальных суперкомпьютерных центров (СКЦ), объединенных сверхбыстрыми каналами связи в грид-систему

«Забота государства» и «Общественное благо» — создается либо исключительно за счет бюджета страны, либо при значительной доле участия государства

В 2005–2009 годы: США тратили на эти цели от 2 до 6 млрд. долларов в год

Бюджетная эффективность vs. коммерческой эффективности INCITE «суперкомпьютерные ресурсы в промышленность

США!»: 2010 — 1.6G CPU×h ≈ 15 лет работы всех суперкомпьютеров России’2010

Региональные СКЦ: Техас и Нью-Мексико, #8 и #17 в Top500 за июнь 2009 года.

СуперЭВМ в каждом из этих региональных суперкомпьютерных центров мощнее, чем самая мощная суперЭВМ в России

Потребности страны в суперкомпьютерных и грид-технологиях, облачных вычислениях — для ускоренного научно-технологического и инновационного развития экономики

Вычислительная математика и математическое моделирование на базе суперЭВМ, грид-сетей и систем облачных вычислений

Суперкомпьютерные сервисы и применение суперЭВМ в интересах науки, образования, различных отраслей экономики, социальной сферы и государственных нужд

Инструментальное и прикладное программное обеспечение для суперЭВМ, грид-сетей и систем облачных вычислений

Программные средства для сетей доступа к суперЭВМ, грид-систем и систем облачных вычислений

Системное программное обеспечение суперЭВМ

Элементная база, архитектуры и аппаратные средства суперЭВМ, ЦОД, грид-систем и систем облачных вычислений

Подготовка и пере-

подготовка кадров в

интересах всех секторов

супер-компьютер-ной отрасли

HPC Market — Цена вопроса ~$20GМир и Россия (~2.51%)

$K

2011 2012 2013 2014Всего (Мир) $17,734M $19,310M $20,625M $21,742MHW Total $7,091M $7,666M $8,153M $8,597MHW Supercomp. 500 х $3М avg $1,333M $1,403M $1,459M $1,504MNW High-End 3,000 х $750К $2,085M $2,246M $2,381M $2,493MHW Mid-Range 20,000 х $125К $1,922M $2,108M $2,275M $2,433MHW Entry-Level 75,000 х $30К $1,751M $1,909M $2,038M $2,166MВсего (Россия, оценка, ~2.51%) $445M $485M $518M $546M


Суперкомпьютерный потенциал России и

других стран

Развитие суперкомпьютерной отраслив мире и в России

100M flops

200M flops

500M flops

1G flops

2G flops

5G flops

10G flops

20G flops

50G flops

100G flops

200G flops

500G flops

1Tflops

2Tflops

5Tflops

10Tflops

20Tflops

50Tflops

100Tflops

200Tflops

500Tflops

1P flops

2P flops

06/9311/93

06/9411/94

06/9511/95

06/9611/96

06/9711/97

06/9811/98

06/9911/99

06/0011/00

06/0111/01

06/0211/02

06/0311/03

06/0411/04

06/0511/05

06/0611/06

06/0711/07

06/0811/08

06/0911/09

06/10

Иерархия киберинфраструктуры

#1–#20 Крупнейшие национальные центры

#21–#100 Крупнейшие региональные и отраслевые центры

#101–250 Крупные региональные и корпоративные центры

#251–#500 Центры предприятий и научных учреждений

СуперЭВМ небольших исследовательских компаний, лабораторий и научных подразделений

Иерархия киберинфраструктуры 2009.06

США Единая Европа Китай Россия Потребности

России

Top 1–20

13 шт.5,840 Tflops

3 шт.1,229 Tflops

1 шт..181 Tflops 2 шт.

Top 21–100

36 шт2,285 Tflops


1 шт..103 Tflops


Top101–250



11 шт..352 Tflops


Top251–500




Top1–500: ВСЕГО

291 шт13,721 Tflops


21 шт..788 Tflops


58–52 раза 28–22 раза 4.2–3.3 раза



России

Top 1–20


3 шт.1,274 Tflops

2 шт..744 Tflops

1 шт.350 Tflops 2–3 шт.

Top 21–100

34 шт2,912 Tflops


1 шт..103 Tflops

1 шт..107 Tflops 20–30 шт.

Top101–250



11 шт..366 Tflops

3 шт..118 Tflops 28-40 шт.

Top251–500



7 шт..167 Tflops

3 шт..71 Tflops 50-75 шт.


277 шт16,416 Tflops


21 шт..1,380 Tflops

8 шт..646 Tflops 100–150 шт.

35–25 раз 18–11 раз 2.6–2.1 раза



России

Top 1–20


4 шт.1,612 Tflops

3 шт.2,041 Tflops


Top 21–100

35 шт.3,207Tflops


2 шт.283 Tflops


Top101–250



10 шт.395 Tflops

2 шт.85 Tflops 28-40 шт.

Top251–500

143 шт.4,071Tflops


9 шт.272 Tflops

6 шт.171 Tflops 50-75 шт.





11 шт.815 Tflops 100–150 шт.

26–22 раз 12–9 раз 3.7–2.2 раза

15.06.1993

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 0.1 0.2 0.4 0.6 0.8 1.0 Tflops

Киберинфраструктура ведущих стран

15.11.1993

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 0.1 0.2 0.4 0.6 0.8 1.0 Tflops


15.06.1994

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 0.2 0.4 0.8 1.2 1.6 2.0 Tflops


15.11.1994

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 0.2 0.4 0.8 1.2 1.6 2.0 Tflops


15.06.1995

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 0.2 0.4 0.8 1.2 1.6 2.0 Tflops


15.11.1995

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 0.4 0.8 1.6 2.4 3.2 4.0 Tflops


15.06.1996

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 0.4 0.8 1.6 2.4 3.2 4.0 Tflops


15.11.1996

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 0.6 1.2 2.4 3.6 4.8 6.0 Tflops


15.06.1997

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 1.0 2.0 4.0 6.0 8.0 10.0 Tflops


15.11.1997

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 1.0 2.0 4.0 6.0 8.0 10.0 Tflops


15.06.1998

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 2.0 4.0 8.0 12.0 16.0 20.0 Tflops


15.11.1998

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 2.0 4.0 8.0 12.0 16.0 20.0 Tflops


15.06.1999

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 4.0 8.0 16.0 24.0 32.0 40.0 Tflops


15.11.1999

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 4.0 8.0 16.0 24.0 32.0 40.0 Tflops


15.06.2000

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 6.0 12.0 24.0 36.0 48.0 60.0 Tflops


15.11.2000

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 8.0 16.0 32.0 48.0 64.0 80.0 Tflops


15.06.2001

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 10 20 40 60 80 100 Tflops


15.11.2001

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 10 20 40 60 80 100 Tflops


15.06.2002

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 10 20 40 60 80 100 Tflops


15.11.2002

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 20 40 80 120 160 200 Tflops


15.06.2003

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 20 40 80 120 160 200 Tflops


15.11.2003

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 40 80 160 240 320 400 Tflops


15.06.2004

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 60 120 240 360 480 600 Tflops


15.11.2004

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 0.1 0.2 0.4 0.6 0.8 1.0 Pflops


15.06.2005

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 0.1 0.2 0.4 0.6 0.8 1.0 Pflops


15.11.2005

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 0.2 0.4 0.8 1.2 1.6 2.0 Pflops


15.06.2006

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 0.2 0.4 0.8 1.2 1.6 2.0 Pflops


15.11.2006

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 0.2 0.4 0.8 1.2 1.6 2.0 Pflops


15.06.2007

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 0.4 0.8 1.6 2.4 3.2 4.0 Pflops


15.11.2007

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 0.6 1.2 2.4 3.6 4.8 6.0 Pflops


15.06.2008

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 1.0 2.0 4.0 6.0 8.0 10.0 Pflops


15.11.2008

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 2.0 4.0 8.0 12.0 16.0 20.0 Pflops


15.06.2009

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 2.0 4.0 8.0 12.0 16.0 20.0 Pflops


15.11.2009

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 2.0 4.0 8.0 12.0 16.0 20.0 Pflops



15.06.2010

U S

U S

EU

EU

R U

R U

C H

C H

JP

JP

0 50 100 200 300 400 500 ш тук

0 2.0 4.0 8.0 12.0 16.0 20.0 Pflops

100M flops

200M flops

500M flops

1G flops

2G flops

5G flops

10G flops

20G flops

50G flops

100G flops

200G flops

500G flops

1Tflops

2Tflops

5Tflops

10Tflops

20Tflops

50Tflops

100Tflops

200Tflops

500Tflops

1P flops

2P flops

06/9311/93

06/9411/94

06/9511/95

06/9611/96

06/9711/97

06/9811/98

06/9911/99

06/0011/00

06/0111/01

06/0211/02

06/0311/03

06/0411/04

06/0511/05

06/0611/06

06/0711/07

06/0811/08

06/0911/09

06/10

Объективный размер бедствия. Отставание выхода на некий уровень производительности

5 лет

Объективный размер бедствия. Отставание выхода на некий уровень производительности

1 Tflops

10 Tflops

100 Tflops

1 Pflops

100 Pflops

10 Pflops

1 Gflops

10 Gflops

100 Gflops

Объективный размер бедствия. Суммарная производительность киберинфраструктуры

7 лет

Объективный размер бедствия. Суммарная производительность киберинфраструктуры


Реальные возможности: Суперкомпьютерный

потенциал России

Суперкомпьютерный потенциал России Институт точной механики и вычислительной техники имени С.А.Лебедева АН

СССР (ИТМиВТ) Научно-исследовательский центр электронной вычислительной техники (ОАО

«НИЦЭВТ») ФГУП НИИ «Квант». ИПМ имени М.В.Келдыша РАН «РОСАТОМ», РФЯЦ: Всероссийский НИИ экспериментальной физики — Институт

теоретической и математической физики (РФЯЦ ВНИИЭФ-ИТМФ, г. Саров и г. Снежинск)

Межведомственный суперкомпьютерный центр РАН (МСЦ РАН) Научно-исследовательский институт системных исследований РАН (НИИСИ РАН) Научно-исследовательский институт многопроцессорных вычислительных систем

(НИИ МВС) Разработчики систем на базе архитектуры микропроцессора серии «Эльбрус»

(ЗАО «Московский центр спарк технологий», «МЦСТ») Кооперация СКИФ-исполнителей — головной исполнитель от России

суперкомпьютерных программ «СКИФ» и «СКИФ-ГРИД» — Институт программных систем имени А.К.Айламазяна и 37+10 организаций России и Беларуси

За всю историю только восемь отечественных суперЭВМ вошли в мировой рейтинг Top500… Шесть из восьми — суперЭВМ «СКИФ»

2002 июньМВС 1000М0.734/1.024 Tflops

2003 ноябрьСКИФ К-5000.423/0.717 Tflops

2004 ноябрьСКИФ К-10002.032/2.534 Tflops

2008 майСКИФ Урал12.2/15.9 Tflops

2009 ноябрьЛомоносов 350.1/414 Tflops

2007 февральСКИФ Cyberia9.013/12.002 Tflops

2008 майСКИФ МГУ «Чебышев»47.1/60 Tflops

2009 ноябрьСКИФ-Аврора ЮУрГУ21.8/24 Tflops

100,000,000

1,000,000

100,000

10,000

1,000

100

LipackGflops

10

10,000,000

6

54

3

2

1

Top1Top10Top100Top200Top300Top400Top500Made in Russia

7

8

75–80% суперкомпьютеров отечественной разработки обеспечиваются суперЭВМ семейства СКИФ и

установками с использованием технологических решений семейства СКИФ

СКИФ

Доли в производительности отечественных суперЭВМ в СНГ

Установки семейства «СКИФ» и с использованием решений семейства «СКИФ» НИИ «Квант» Самостоятельная сборка кластеров пользователями Самостоятельные разработки компании Т-Платформы Другие российские компании

Опытный образец «СКИФ Аврора ЮУрГУ»

СКИФ/Н• 24 Tflops/шкаф• 0.25 Tflops/КВатт

СКИФ/В• 41 Tflops/шкаф• 0.36 Tflops/KВатт

СКИФ/С• 100 Tflops/шкаф• 1.0 Tflops/KВатт

СКИФ/П• 200 Tflops/шкаф• 1.37 Tflops/KВатт

2009 2010 2012

Планы развития систем СКИФ Ряда 4Линейки моделей

2011

2 апреля 2010

ноябрь 2009

Прикладные грид-сервисы ипилотные прикладные системы

НИИ, предприятия наукоемких отраслей1.НИИ КС2.СПбАЭП3.ЦНИИ МАШ4.НПЦ «Элвис»5.«Каледин и Партнеры»6.«РСК СКИФ»7.«Альт Линукс Технолоджи»8.«НИЦЭВТ»9.«ЮникАйСиз»10.«Сигма Технология»11.«Тесис»12.«Урал-Грид»13.«Кинтех»

Учреждения РАН1.Головной отРоссии:ИПС имени А.К.Айламазяна РАН 2.ИММ РАН3.ГЦ РАН4.ИКИ РАН5.ИСА РАН6.ИПМ имени М.В.Келдыша РАН7.ИППИ РАН8.ИБХФ РАН9.ИПХФ РАН10.ИХФ РАН

Программа «СКИФ-ГРИД». Второй этап (2009–2010).Российские участники — 37 организаций

ВУЗы и НИИ ВУЗов1.ЮУрГУ2.УГАТУ3.МТУСИ4.ННГУ5.СПбГПУ6.ТГУ7.ВлГУ8.ПензГУ9.ЧелГУ

МГУ имени М.В.Ломоносова:

10.ВМК МГУ11.НИИЯФ МГУ12.ХФ МГУ13.НИВЦ МГУ14.НИИФХБ МГУ

http://www.hpc-platform.ru

реализация государственно-частного партнерства инструмент осуществления научно-технической и

инновационной политики на приоритетном направлении технологической модернизации российской экономики

развитие и эффективное использование суперкомпьютерных и грид-технологий в интересах науки, образования, отраслей экономики, социальной сферы и государственных нужд


Начало пути России к экзафлопсному рубежу

Экзафлопсный рубеж… Зачем?

Видение Министерства энергетики США — Цель: энергетическая безопасность США в 2010–2020–2030

Увеличение коэффициента нефте- и газоизвлечения Россия — менее 27%, мировая практика — 40%-50% Моделирование отклика месторождения на комплексное тепло-газовое

и химическое воздействие — расчет одного воздействия (Приобское месторождение): три часа × 1Eflops

Извлечение нефти из нефтенсосных песков, сланцев Моделирование процессов сгорания новых видов топлива в

двигателях новых конструкций 15 лет — снижение потребления транспортом — 15%

Моделирование всей АЭС (от ТВЭЛ до утилизации отходов), требуемая производительность—10 –20 Eflops, 2024 г. 15 лет — снижение стоимости АЭС с $15G до $12G — 20%

Альтернативные источники 2020 — биотопливо сократит потребление бензина — 20% 2030 — доля ветроэнергии достигнет 20%

АкадемикВ.Б.Бетелин

Copyright © 2010 Intel Corporation. All rights reserved.

TIME TO PERFORMANCE

PERFORMANCE / CM3

What HPC Users Care About?

PERFORMANCE

PERFORMANCE / $

PERFORMANCE / WATT

IntelА.В.Семин


Power is Gating Every Part of ComputingIntelА.В.Семин


How much energy we’d need for an Exaflop system?

70MW

80MW

70MW

10MW

PUE ~2.0

Other misc. power consumption:

…Power supply losses

Cooling… etc

½ GW

Memory

Network

HDD

If everything goes as it goes today….

Processors

Source: Intel, for illustration and assumptions, not product representative

8-16MW

16MW

7MW

5MW

PUE ~1.2

~100MWSSD

If we implement all great ideas the engineers have today…

Other misc. power consumption:

…Power supply losses

Cooling… etc

Memory

Network

Processors

Efficient System Cooling is a Key to reduce power consumption

IntelА.В.Семин

Экзафлопсный рубеж… Проблемы…(академик В.Б.Бетелин)

обеспечение приемлемых (экономически и инженерно) энергопотребления и стоимости (изготовления и эксплуатации) суперЭВМ с миллиардом процессорных ядер

программирование для суперЭВМ с миллиардом процессорных ядер

парирование ошибок при одновременной работе миллиарда процессорных ядер

совместное (в едином цикле) проектирование и оптимизация архитектуры и технологии производства

АкадемикВ.Б.Бетелин

О чем нужно задуматься на пути к Exa...?

• Степень параллельности• Надежность• Энергопотребление• Модель программирования• Неоднородность• Сложная иерархия памяти• Сверхпараллельный ввод/вывод• Стек системного и прикладного ПО• …

Чл.-корр.В.В.Воеводин

Проблемы на пути к экзофлопсу

высокая плотность компоновки вычислителя сокращение физической длины соединений

снижение удельного потребления электроэнергии эффективный и надежный отвод тепла система обменов между вычислительными узлами с

низкой задержкой, высокой пропускной способностью, поддержкой интеграции очень большой системы (N×106)

мониторинг и управление большой системой устойчивость к отказу части оборудования поддержка использования неоднородных ядер и

ускорителей в составе вычислительных узлов новые подходы к организации параллельного выполнения

программ

100M flops

200M flops

500M flops

1G flops

2G flops

5G flops

10G flops

20G flops

50G flops

100G flops

200G flops

500G flops

1Tflops

2Tflops

5Tflops

10T flops

20T flops

50T flops

100Tflops

200Tflops

500Tflops

1P flops

2P flops

5P flops

10P flops

20P flops

50P flops

100P flops

200P flops

500P flops

1E flops

2E flops

5E flops

10E flops

06/9311/93

06/9411/94

06/9511/95

06/9611/96

06/9711/97

06/9811/98

06/9911/99

06/0011/00

06/0111/01

06/0211/02

06/0311/03

06/0411/04

06/0511/05

06/0611/06

06/0711/07

06/0811/08

06/0911/09

06/1011/10

06/1111/11

06/1211/12

06/1311/13

06/1411/14

06/1511/15

06/1611/16

06/1711/17

06/1811/18

06/1911/19

06/2011/20

06/21

СКИФ ряда 4: начало пути России к экзафлопсному рубежу

~2015~2012

~2019

06.2008


Спасибо за внимание!

? — !

Documents

Абрамов С.М. ИПС имени А.К.Айламазяна РАН 10 . 11 .2010 , Москва, CNews Forum