Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS

11

Институт программных систем Российской академии наук

Системное программное Системное программное обеспечение обеспечение

суперкомпьютеров суперкомпьютеров «СКИФ» и система «СКИФ» и система программирования программирования

OpenTSOpenTSАбрамов С. М.Абрамов С. М.

Научная сессия ОИТВСНаучная сессия ОИТВСМосква, ИПУ РАН, 2006-04-20Москва, ИПУ РАН, 2006-04-20

22

ССистема программирования истема программирования OpenTSOpenTSНаучные интересы — в области Научные интересы — в области

системного программирования:системного программирования: Программное обеспечение для региональных Программное обеспечение для региональных

компьютерных сетейкомпьютерных сетей Nadmin: Nadmin: система администрированиясистема администрирования Botik ToolsBotik Tools: пакет программ для абонентов (: пакет программ для абонентов (Botik Tester, Botik Tester,

Botik Key, Botik LookBotik Key, Botik Look)) BotikBotik Mon Mon и и BotikBotik Map Map — мониторинг и спец. ГИС— мониторинг и спец. ГИС

Метавычисления и их приложенияМетавычисления и их приложения функциональное программирование и реализация языка функциональное программирование и реализация языка

рефал (различных диалектов и на различных рефал (различных диалектов и на различных платформах)платформах)

теоретические основы информатикитеоретические основы информатики Системное программное обеспечение для Системное программное обеспечение для

параллельных архитектур (для суперкомпьютеров параллельных архитектур (для суперкомпьютеров семейства «СКИФ»)семейства «СКИФ»)

Т-Система — система программирования параллельных Т-Система — система программирования параллельных приложенийприложений

OpenTSOpenTS — Т-система с открытой архитектурой — Т-система с открытой архитектурой

Что войдет в докладЧто войдет в доклад

33


Суперкомпьютерная Суперкомпьютерная программа «СКИФ» Союзного программа «СКИФ» Союзного

государства.государства.

Системное программное Системное программное обеспечение для обеспечение для

суперкомпьютеров «СКИФ»суперкомпьютеров «СКИФ»

44

ССистема программирования истема программирования OpenTSOpenTSСуперкомпьютерный Суперкомпьютерный

проект СКИФ Союзного проект СКИФ Союзного государствагосударства 2000-2004 2000-2004

10 + 10 10 + 10 исполнителейисполнителей $10M ($10M (на 5 лет на 20 предприятий)на 5 лет на 20 предприятий) ИПС РАН — головной по РоссииИПС РАН — головной по России ОИПИ НАН Беларуси – головной по ОИПИ НАН Беларуси – головной по

БелоруссииБелоруссии HardwareHardware, , SoftwareSoftware, , Applications, Aux.Applications, Aux.

55

ССистема программирования истема программирования OpenTSOpenTSВыпуск образцов Выпуск образцов

(16)(16)

2000 2001 2002 2003 2004

“ВМ -5100”48/26G

16-2UIntel P-IV-1500

“M yrin”89/59G

8-1UIntel Xeon 2.8

“К-500”717/415G

64-1UIntel Xeon 2.8

“К-1000”2534/2030G

288-1U ; IB 4x; AM DO pteron 248(2.2)

“ТКС”403/230G

36-1UIntel Xeon 2.8

“Кардиология”9/5 G

3+1-1U +4UIntel P-IV-1266

“Первенец”20/11G

16-3U;Inte l P-III-600

“С тудент”11/6G

9-M iniTowerInte l P-III-600

“Первенец-M ”98/57G

16-3U ; AM DAthlonM P1800+

НИ И мех М ГУ49/28G

4+4-4U +5U ; AM DAthlonM P1800+

“T-Forge32”115/74G

16-2U; AM DOpteron 224(1.8)

“T-Forge48”230/184G

24-1U; IB 4x; AM DOpteron (2 .4)

“T-Bridge8i”45/37G

4-1U; IB 4x Inte l Itanium 2 (1.4)

“T-Forge20HB”88/70G

10-HB; IB 4x; AMDOpteron 248(2.2)

“Гибрид”2.4/1.2G2-4U +6U;

Intel P-III-800

“Первенец”20/11G

16-3U;Inte l P-III-600

66

ССистема программирования истема программирования OpenTSOpenTSLinpack-Linpack-производительность производительность

образцовобразцов

Перве-нец

ВМ5100

Кардио-логия

Перве-нец-М

Гиб-рид

НИИмех.МГУ

Сту-дент Myrin

T-Forge

32

T-Forge20HB

T-Forge

48

T-Bridge

8i

СКИФК-500

СКИФК-1000

ТКС ЕС1710.03

2000 2001 2002 2003 2004

2001 2002 2003 2004G Flops

20001000

100

10

1

11

57

472

2032

26

185 раз

77

ССистема программирования истема программирования OpenTSOpenTSФлагман:Флагман: «СКИФ К-1000»«СКИФ К-1000»

Пиковая производи-Пиковая производи-тельность:тельность: 2 2,,5 5 TflopsTflops

Linpack-Linpack-производи-производи-тельность:тельность: 2 2,0,0 TflopsTflops

КПДКПД=80=80..1 %1 %

Ноябрь 2004Ноябрь 2004: : Наиболее мощная Наиболее мощная машина на территории СССР машина на территории СССР (сегодня: второе место 2)(сегодня: второе место 2)

Ноябрь 2004Ноябрь 2004: : № № 98 98 в в Top500Top500

88

ССистема программирования истема программирования OpenTSOpenTSКомплект ПО КУ, литера Комплект ПО КУ, литера

«О«О11» » ядро ОС ядро ОС Linux-SKIFLinux-SKIF PVFS-SKIFPVFS-SKIF — параллельная — параллельная

файловая системафайловая система OpenPBS-SKIFOpenPBS-SKIF — система — система

очередейочередей FLAME-SKIFFLAME-SKIF — система — система

мониторинга и управления мониторинга и управления ((reset, power on/off)reset, power on/off) установками семейства установками семейства «СКИФ»«СКИФ»

99


«О«О11» » OpenTSOpenTS — Т-система с — Т-система с

открытой архитектуройоткрытой архитектурой компилятор TG++ для компилятор TG++ для

языка T++языка T++ транслятор TF2TCтранслятор TF2TC

((T-FortranT-Fortran T++T++)) TDBTDB — распределенный — распределенный

интерактивный отладчик интерактивный отладчик MPI-программ, с MPI-программ, с поддержкой отладки Т-поддержкой отладки Т-программ программ ((замена замена TotalView)TotalView)

1010


«О«О11» » 66 прикладных программных прикладных программных

систем в среде систем в среде OpenTSOpenTS 1212 адаптированных адаптированных

свободных пакетов, свободных пакетов, библиотек и приложенийбиблиотек и приложений

1414 приложений приложений собственной разработки (из собственной разработки (из них них 33 в области ИИ) в области ИИ)

СовместимостьСовместимость платформы платформы с коммерческими с коммерческими инженерными пакетами инженерными пакетами (более (более 66 отраслей реальных отраслей реальных применений)применений)

1111


Основные идеи Т-Системы Основные идеи Т-Системы и обзор архитектуры и обзор архитектуры Open Open

TSTS

1212

ССистема программирования истема программирования OpenTSOpenTSТ-Система. ИсторияТ-Система. История

Середина 80-ыхСередина 80-ыхОсновные идеи Т-СистемыОсновные идеи Т-Системы

1990-ые1990-ыеПервая реализация Т-СистемыПервая реализация Т-Системы

2000-20022000-2002, , Программа «СКИФ»Программа «СКИФ» GRACE — Graph Reduction Applied to GRACE — Graph Reduction Applied to Cluster Environment Cluster Environment

2003-2003-сегоднясегодня, , Программа «СКИФ»Программа «СКИФ»Open TS — Open T-systemOpen TS — Open T-system (открытая (открытая архитектура)архитектура)

1313

ССистема программирования истема программирования OpenTSOpenTSСравнение:Сравнение: Т-Система и Т-Система и

MPIMPIC/Fortran T-System

Assembler MPI

High-levelнесколько

ключевых слов(понятий)

Low-levelсотни

примитивов

Sequential Parallel

1414

ССистема программирования истема программирования OpenTSOpenTSOpen TS: Open TS: основные основные

свойствасвойства Автоматическое динамическое Автоматическое динамическое

распараллеливание программраспараллеливание программ Много платформ — один инструментМного платформ — один инструмент

разные ОС, разные ОС, multicore, SMP, multicore, SMP, кластеры, кластеры, GRIDGRID Сочетание парадигм: функциональной Сочетание парадигм: функциональной

и императивнойи императивной ( (ООПООП)) Высокоуровневое программирование: Высокоуровневое программирование:

Т++ язык — «диалект» Т++ язык — «диалект» C++C++незабытое старое: популярно с незабытое старое: популярно с 90-90-ыхых

1515

ССистема программирования истема программирования OpenTSOpenTSТ++Т++ новые ключевые словановые ключевые слова

tfuntfun —— Т-функцияТ-функция tvaltval—— Т-переменная (Т-значение)Т-переменная (Т-значение) tptrtptr—— Т-указательТ-указатель touttout —— Выходной параметрВыходной параметр ( (аналог аналог

&)&) tdroptdrop —— Разорвать связь поставщик-Разорвать связь поставщик-

потребитель (сделать готовым) потребитель (сделать готовым) twaittwait —— Редкое: ждать готовностиРедкое: ждать готовности tcttct —— Т-контекстТ-контекст

1616

ССистема программирования истема программирования OpenTSOpenTSТ-ПодходТ-Подход

«Чистые» функции«Чистые» функции (tfunc) (tfunc) — их вызовы — их вызовы способны порождать гранулы параллелизмаспособны порождать гранулы параллелизма

Т-Программы:Т-Программы: ФункциональныФункциональны – – на верхнем уровнена верхнем уровне Императивны Императивны – – на нижнем уровнена нижнем уровне (C/C++/ASM (C/C++/ASM

оптимизацииоптимизации)) C-C-совместимая модель исполнениясовместимая модель исполнения Неготовые значенияНеготовые значения, , многократные многократные

присваиванияприсваивания Гладкие расширения языков:Гладкие расширения языков: C C, , FortranFortran, ,

рефалрефал

1717

ССистема программирования истема программирования OpenTSOpenTSOpen TSOpen TS: полноценная : полноценная

система программированиясистема программирования Средства разработкиСредства разработки

T++ T++ Компилятор (входной модуль Компилятор (входной модуль gcc)gcc) T++ T++ C++ C++ конверторконвертор компиляторы для других языковкомпиляторы для других языков

Средства отладки и трассировки Средства отладки и трассировки ((TGDB, tracing)TGDB, tracing)

Микроядро Т-системы и библиотека Микроядро Т-системы и библиотека поддержки времени исполнения поддержки времени исполнения

1818

ССистема программирования истема программирования OpenTSOpenTSМногопоточность и Многопоточность и

коммуникациикоммуникации Легковесные потоки (Легковесные потоки (lightweight lightweight

threads)threads):: раскрепощение программиста раскрепощение программиста Пример программы: +Пример программы: +1 000 000 1 000 000 потоков на потоков на

процессорпроцессор Асинхронные Асинхронные взаимодействиявзаимодействия

Нити Нити AA требуется неготовое значениетребуется неготовое значение Передается асинхронный запрос (Передается асинхронный запрос (Active Active

messages & Signalsmessages & Signals), чтобы стимулировать ), чтобы стимулировать передачу данных к нити передачу данных к нити AA

Выделяется квант на коммуникации (нет ли Выделяется квант на коммуникации (нет ли чего в нашем процессоре?) и переход чего в нашем процессоре?) и переход ((context switchcontext switch)) на другую готовую нитьна другую готовую нить

Эффект сокрытия задержек (Эффект сокрытия задержек (Latency Latency Hiding)Hiding) в коммуникацияхв коммуникациях

1919

ССистема программирования истема программирования OpenTSOpenTS DMPIDMPI

Dynamic MPIDynamic MPI автоматический подбор реализацииавтоматический подбор реализации MPI MPI динамическая загрузка и связываниединамическая загрузка и связывание

((dynamic loading and linkingdynamic loading and linking)) Семь реализаций Семь реализаций MPI MPI поддержаныподдержаны::

LAMLAM MPICHMPICH SCALI MPISCALI MPI MVAPICHMVAPICH IMPIIMPI MPICH-G2MPICH-G2 PACX-MPIPACX-MPI

Еще: Еще: PVMPVM и и TCP/IPTCP/IP могут быть могут быть использованы использованы DMPI DMPI в качестве транспорта в качестве транспорта вместо вместо MPIMPI

для территориально-распределенных установок (GRID)

2020


2005 — Сравнение2005 — Сравнение::Open TS vs MPIOpen TS vs MPI

2121

ССистема программирования истема программирования OpenTSOpenTSЗаказчик: Заказчик: MicrosoftMicrosoft

2004: 2004: MicrosoftMicrosoft создал подразделение создал подразделение HPCHPC 2005: 2005: демонстрация намерений демонстрация намерений MicrosoftMicrosoft в в

области области HPCHPC Осень 2005: бета-версии Осень 2005: бета-версии Microsoft MPI Microsoft MPI и и

Microsoft Windows Computing Cluster ServerMicrosoft Windows Computing Cluster Server Осень 200Осень 20044:: знакомство знакомство Microsoft Microsoft с с OpenTSOpenTS 2005:2005: контракт контракт «Сравнение «Сравнение Open TS Open TS сс MPI MPI»» 2006:2006: контрактконтракт «Перенос «Перенос Open TSOpen TS на на

Microsoft Windows Computing Cluster ServerMicrosoft Windows Computing Cluster Server»»

2222

ССистема программирования истема программирования OpenTSOpenTSПриложенияПриложения

Популярные и широкоПопулярные и широко используемыеиспользуемые Разработаны независимыми Разработаны независимыми MPIMPI--

эксперта-ми (без «связей» с Т-Системой)эксперта-ми (без «связей» с Т-Системой)

PovRayPovRay – Persistence of Vision Ray-tracer, – Persistence of Vision Ray-tracer, С-пакет С-пакет ++ C/MPI-patchC/MPI-patch

ALCMD/MP_liteALCMD/MP_lite – – молекулярная молекулярная динамика динамика (Ames Lab)(Ames Lab)Фортран-программаФортран-программа + MP_Lite/MPI + MP_Lite/MPI

2323

ССистема программирования истема программирования OpenTSOpenTSКлючевой вопрос:Ключевой вопрос:

Позволяет ли Т-Система Позволяет ли Т-Система легко, удобнолегко, удобно создавать прикладные системы?создавать прикладные системы?

Экономится ли труд программиста?Экономится ли труд программиста? Действительно ли более читабельный и Действительно ли более читабельный и

более компактный код? (более компактный код? (less space for less space for bugs)bugs)

И при этом мы не сильно жертвуем И при этом мы не сильно жертвуем производительностью (до 30% от производительностью (до 30% от MPIMPI)?)?

2424

ССистема программирования истема программирования OpenTSOpenTST-PovRay vs MPI PovRay: T-PovRay vs MPI PovRay:

сложность кодасложность кода

ПрограммаПрограмма Объем исходного Объем исходного кодакода

MPI MPI модуль длямодуль дляPovRay 3.10gPovRay 3.10g 1,500 1,500 строкстрокMPI MPI «заплатка» для «заплатка» для PovRay 3.50cPovRay 3.50c 3,000 3,000 строкстрокT++ T++ модульмодуль ( (для для двух версий двух версий 3.10g 3.10g ии 3.50c)3.50c)

200 200 строкстрок

2525

ССистема программирования истема программирования OpenTSOpenTST-PovRay vs MPI PovRay: T-PovRay vs MPI PovRay:

производительностьпроизводительность

90%100%110%120%130%140%150%160%170%180%190%200%210%

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16Number of processors

Time MPI/Time OpenTS

16 dual Athlon 1800, AMD Athlon MP 1800+ RAM 1GB, FastEthernet, LAM 7.0.6

2626

ССистема программирования истема программирования OpenTSOpenTST-PovRay vs MPI PovRay: T-PovRay vs MPI PovRay: производительностьпроизводительность

90%100%110%120%130%140%150%160%170%180%190%200%210%



2CPUs AMD Opteron 248 2.2 GHz RAM 4GB, GigE, LAM 7.1.1

2727

ССистема программирования истема программирования OpenTSOpenTS

M PI

MPIM P_Lite

ALCMD

OpenTS

OpenTSM P_Lite

ALC MD

ALCMD/MPI vs ALCMD/MPI vs ALCMD/OpenTS ALCMD/OpenTS

Библиотека Библиотека MP_Lite MP_Lite (кусочек) (кусочек) переписана на переписана на T++T++

FortranFortran-код -код остался нетронутымостался нетронутым

2828

ССистема программирования истема программирования OpenTSOpenTSКлючевой вопрос:Ключевой вопрос:

Позволяет ли Т-Система Позволяет ли Т-Система легко, легко, удобноудобно создавать создавать библиотеки библиотеки (подобные (подобные MP_Light)MP_Light) для для дальнейшей разработки прикладных дальнейшей разработки прикладных систем?систем?

Экономится ли труд программиста?Экономится ли труд программиста? Действительно ли более читабельный Действительно ли более читабельный

и более компактный код? (и более компактный код? (less space less space for bugs)for bugs)

И при этом мы не сильно жертвуем И при этом мы не сильно жертвуем производительностью (до 30% от производительностью (до 30% от MPIMPI)?)?

2929

ССистема программирования истема программирования OpenTSOpenTSALCMD/MPI vs ALCMD/MPI vs

ALCMD/OpenTS : ALCMD/OpenTS : сложность кодасложность кода

ПрограммаПрограмма Объем исходного Объем исходного кодакода

MP_Lite/MPIMP_Lite/MPI ~3,500 ~3,500 строкстрок

MP_Lite/OpenTSMP_Lite/OpenTS 500 500 строкстрок

3030


ALCMD/OpenTS: ALCMD/OpenTS: производительностьпроизводительность

80%

90%

100%

110%



2CPUs AMD Opteron 248 2.2 GHz RAM 4GB, GigE, LAM 7.1.1, Lennard-Jones MD, 512000 atoms

3131


ALCMD/OpenTS: ALCMD/OpenTS: performanceperformance

80%

90%

100%

110%



2CPUs AMD Opteron 248 2.2 GHz RAM 4GB, InfiniBand,MVAMPICH 0.9.4, Lennard-Jones MD,512000 atoms

3232


Приложения, Приложения, написанные на написанные на Open TSOpen TS

3333

ССистема программирования истема программирования OpenTSOpenTSТ-ПриложенияТ-Приложения

MultiGen – MultiGen – оценка биологической оценка биологической активности веществактивности веществ

Дистанционное зондирование Земли (ДЗЗ)Дистанционное зондирование Земли (ДЗЗ) Моделирование плазмыМоделирование плазмы Моделирование белковМоделирование белков АэромеханикаАэромеханика Query engine for XMLQuery engine for XML ИИ-приложения (3 штуки)ИИ-приложения (3 штуки) и др.и др.

3434

ССистема программирования истема программирования OpenTSOpenTS MultiGenMultiGenЧелябинский Государственный Челябинский Государственный

УниверситетУниверситетLevel 0

Level 1

Level 2

Multi-conformation model

К0

К11 К12

К21 К22

3535

ССистема программирования истема программирования OpenTSOpenTS

MultiGen: SpeedupMultiGen: Speedup

Substance Atom number

Rotations number

Conformers Exectution time (min.:с)

1 node 4 nodes 16 nodes

NCI-609067 28 4 13 9:33 3:21 1:22

TOSLAB A2-0261 82 18 49 115:27 39:23 16:09

NCI-641295 126 25 74 266:19 95:57 34:48

National Cancer Institute USAReg.No. NCI-609067(AIDS drug lead)

TOSLAB company (Russia-Belgium)Reg.No. TOSLAB A2-0261(antiphlogistic drug lead)

National Cancer Institute USAReg.No. NCI-641295(AIDS drug lead)

3636

ССистема программирования истема программирования OpenTSOpenTSАэромеханикаАэромеханика

НИИ механики МГУ им. НИИ механики МГУ им. М.В.ЛомоносоваМ.В.Ломоносова

3737

ССистема программирования истема программирования OpenTSOpenTSАэромеханикаАэромеханика

НИИ механики МГУ им. НИИ механики МГУ им. М.В.ЛомоносоваМ.В.Ломоносова

3838

ССистема программирования истема программирования OpenTSOpenTSВосстановление изображения по данным Восстановление изображения по данным

бортовой РЛС («Алмаз»)бортовой РЛС («Алмаз»)

05

1015202530354045

1 4 8 12 16 20 24 28

3939

ССистема программирования истема программирования OpenTSOpenTSМоделирование перспективной Моделирование перспективной

широкополосной РЛСширокополосной РЛС

0

50

100

150

200

250

300

1 4 8 12 16 20 24 28

4040

ССистема программирования истема программирования OpenTSOpenTSКлассификация изображений Классификация изображений

((LandsatLandsat)) ВычислительнВычислительн

ый ый Web-Web-сервиссервис

4141

ССистема программирования истема программирования OpenTSOpenTSДальнейшие планыДальнейшие планы

Более глубокая поддержка многоядерныхБолее глубокая поддержка многоядерных CPU CPU (Территориально-) Распределенные системы(Территориально-) Распределенные системы

ПланировщикПланировщик Другие коммуникационные реализации Другие коммуникационные реализации DMPIDMPI Интерфейсы к Интерфейсы к Web-Web-сервисамсервисам

Счет, устойчивый к отказам (Счет, устойчивый к отказам (fault-tolerance)fault-tolerance) Перенос на другие архитектуры (Перенос на другие архитектуры (IBM Blue IBM Blue

Gene), Gene), оптимизация под различные оптимизация под различные современные современные CPUCPU

Скелеты алгоритмов, шаблоны и Скелеты алгоритмов, шаблоны и параллельные библиотеки высокого уровняпараллельные библиотеки высокого уровня:: sum = fold +sum = fold + minimum = fold minminimum = fold min prod = fold *prod = fold *

4242

ССистема программирования истема программирования OpenTSOpenTSЗа рамками докладаЗа рамками доклада

Другие Т-диалектыДругие Т-диалекты: T-Refal, T-Fortan: T-Refal, T-Fortan Мемоизация (табулирование) функцийМемоизация (табулирование) функций Автоматическое переключение между Автоматическое переключение между

call-call-стилем и стилем и fork-fork-стилем при вызове Т-стилем при вызове Т-функцийфункций

Контрольные точки (Контрольные точки (CheckpointingCheckpointing)) HeartbeatHeartbeat-механизм-механизм Ароматы (Ароматы (FlavoursFlavours) ) tptr-tptr-указателейуказателей: :

““normalnormal”, “”, “glueglue” and “” and “magneticmagnetic” ” — — ленивые, жадные и супержадные ленивые, жадные и супержадные передачи данныхпередачи данных

4343

ССистема программирования истема программирования OpenTSOpenTSБлагодарностиБлагодарности

Суперкомпьютерная программа «СКИФ» Суперкомпьютерная программа «СКИФ» Союзного государстваСоюзного государства

Программы РАНПрограммы РАН ОИВТС: «Высокопроизводительные ОИВТС: «Высокопроизводительные

вычислительные системы с новыми вычислительные системы с новыми принципами организации вычислительных принципами организации вычислительных процессов»процессов»

Президиум: «Создание основы для внедрения Президиум: «Создание основы для внедрения распределенных научных информационно-распределенных научных информационно-вычислительных сред на вычислительных сред на GRID GRID технологиях»технологиях»

РФФИ: грант РФФИ: грант 05-07-08005-офи_а05-07-08005-офи_а Microsoft – Microsoft – контракты «контракты «Open TS vs MPI case Open TS vs MPI case

studystudy» и «» и «Porting Open TSPorting Open TS @ Microsoft @ Microsoft Windows Computing Cluster ServerWindows Computing Cluster Server»»

4444


Спасибо за внимание...Спасибо за внимание...… … … … Готов ответить на вопросы Готов ответить на вопросы

… …… …

4545

ССистема программирования истема программирования OpenTSOpenTSТ-Система: иллюстрация Т-Система: иллюстрация

идеиидеи

4646


идеиидеи

4747


идеиидеи

4848


идеиидеи

4949


идеиидеи

5050


идеиидеи

5151


идеиидеи

5252


идеиидеи

Documents

Системное программное обеспечение суперкомпьютеров «СКИФ» и система программирования OpenTS