20
IBM Blue Gene 27.10.2009 Архитектура и программное обеспечение массивно-параллельной системы IBM Blue Gene/P Попова Н.Н., доцент, ВМК МГУ Федулова И., инженер-программист, IBM RSTL, выпускница ВМиК МГУ ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г. Молодежная школа «Суперкомпьютерные технологии в науке, промышленности и образовании»

Bgp архитектура

Embed Size (px)

Citation preview

Page 1: Bgp архитектура

IBM Blue Gene

27.10.2009

Архитектура и программное обеспечение массивно-параллельной системы IBM Blue Gene/P

Попова Н.Н., доцент, ВМК МГУФедулова И., инженер-программист, IBM RSTL, выпускница ВМиК МГУ

ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.

Молодежная школа «Суперкомпьютерные технологии в науке, промышленности и образовании»

Page 2: Bgp архитектура

IBM Blue Gene

История проекта Blue Gene Совместный проект

– IBM

– Lawrence Livermore National Laboratory

– United States Department of Energy

– Академические институты Blue Gene/L

– Начинался как массивно-параллельный компьютер для изучения фолдинга белков

– Первый прототип был собран в 2004 г.

– занял первую строчку в Top 500 с производительностью в 70.72 Тфлоп/с

– 2-х ядерный чип Blue Gene/P

– Продолжение линейки Blue Gene

– Увеличена частота процессора и объем памяти

– 4-х ядерный чип

– Самая большая система на основе Blue Gene/P установлена в Германии (JUGENE)

– 1 Пфлоп/с пиковая, 825 Тфлоп/с реальная Blue Gene/Q

– Ожидается в 2011 году, производительность ~20 Пфлоп/с

– 8-ядерный чип2 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31

октября 2009 г.

Page 3: Bgp архитектура

IBM Blue Gene

Основные характеристики системы Производительность

Масштабируемость

Эффективное энергопотребление

Компактность

Надежность

Простота программирования

3 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.

Page 4: Bgp архитектура

IBM Blue Gene

“Обязательный слайд” Картинка с масштабируемостью

4 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.

Page 5: Bgp архитектура

IBM Blue Gene

5 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.

Page 6: Bgp архитектура

IBM Blue Gene

6 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.

Page 7: Bgp архитектура

IBM Blue Gene

7 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.

Page 8: Bgp архитектура

IBM Blue Gene

8 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.

Page 9: Bgp архитектура

IBM Blue Gene

9 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.

Page 10: Bgp архитектура

IBM Blue Gene

Характеристики вычислительного узла 4 ядерный 32-битный процессор PowerPC

850 Мгц– Двойное устройство для работы с числами с

плавающей запятой двойной точности

– 2 Гб памяти

– Работает под управлением облегченной ОС

– Создание процессов и управление ими– Управление памятью– Отладка процессов– Ввод-вывод

– Объем виртуальной памяти равен объему физической

– 3 режима использования ядер

– SMP: 1 MPI процесс из 4 SMP нитей, 2 Гб памяти– DUAL: 2 MPI процесса по 2 SMP нити, 1 Гб памяти

на MPI процесс– VNM: 4 MPI процесс

10 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.

Page 11: Bgp архитектура

IBM Blue Gene

11 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.

Page 12: Bgp архитектура

IBM Blue Gene

3-мерный тор– Виртуальная аппаратная маршрутизация без буферизации

– 3.4 Гбит/с на всех 12 портах (5.1 ГБ/с на узле)

– Аппаратные задержки: 0.5 мс между соседними узлами, 5 мс между самыми далекими

– Задержки MPI: 3мс между соседними узлами, 10 мс между самыми далекими

– Основная коммуникационная сеть

–Используется в том числе для многих коллективных операций

Коллективная сеть – дерево– Для глобальной коммуникации один-ко-всем (broadcast,

reduction)

– 6.8 ГБ/с на порт

– Задержка на один проход дерева: аппаратная 1.3 мс, MPI 5 мс

– Соединяет все вычислительные узлы и узлы ввода-вывода

– Используется для коллективных операций и коммуникатора MPI_COMM_WORLD

Высокоскоростная сеть для глобальных прерываний

– Задержка на оповещение всех узлов: аппаратная 0.65 мс, MPI 5 мс

– Для MPI_Barrier12 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31

октября 2009 г.

Page 13: Bgp архитектура

IBM Blue Gene

Система памяти

13 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.

Page 14: Bgp архитектура

IBM Blue Gene

SIMD инструкции могут выполняться одновременно на двух FPU

Параллельные операции load/store Данные должны быть выровнены по 16-

байтовой границе– Иначе производительность будет значительно

снижена

– Даже хуже, чем при использовании только одного FPU

Компилятор сможет сгенерировать SIMD инструкции, только если данные в памяти расположены подряд (stride-one access)

– Хотя при более высоких (-O4, -O5) уровнях оптимизации компилятор попытается сгенерировать SIMD инструкции и для данных, расположенных не подряд

– -O3 –qarch=450d –qtune=450

Double Hammer FPU

14 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.

Page 15: Bgp архитектура

IBM Blue Gene

Узлы ввода-вывода Используются для связи вычислительных узлов с файловой системой

В целом точно такие же, как и вычислительные узлы, но есть отличия:

– Установлена полноценная ОС

– Отсутствует подключение к сети-тору

– Имеется подключение к 10 Гб сети Ethernet

15 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.

Page 16: Bgp архитектура

IBM Blue Gene

16 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.

Page 17: Bgp архитектура

IBM Blue Gene

IBM Blue Gene/P на ВМК 2 стойки по 1024 4-ядерных процессора

– Общий объем ОЗУ: 4Тб

– Пиковая производительность: 27.2 Тфлоп/с

– Реальная производительность по тесту Linpack:

23.2 Тфлоп/с

– 85% от пиковой

17 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.

Page 18: Bgp архитектура

IBM Blue Gene

ВСТАВИТЬ ТЕКСТ

18 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.

Page 19: Bgp архитектура

IBM Blue Gene

Примеры программных пакетов, установленных на Blue Gene

Computational Materials Science and Nanoscience– Electronic structure, First Principles : Qbox, LSMS, QMC– (mat) Molecular dynamics : CPMD, LJMD, ddcMD, MDCASK– Other materials : ParaDIS

Nuclear Energy Systems– Reactor core design and analysis ⇒ NEK5, UNIC– Neutronics, Materials, Chemistry ⇒ QMC, Sweep3D,

GAMESS

Computational Biology/Bioinformatics– (bio) Molecular dynamics ⇒ NAMD, Amber7/8, BlueMatter– Drug Screening ⇒ DOCK5, Autodock– Genome-analysis ⇒ mpiBLAST, mrBayes, CLUSTALW-mpi

Computational Physics and Hydrodynamics– Nuclear Theory : GFMC– Quantum chromo dynamics : QCD, MILC, CPS– Astrophysics/Cosmology : FLASH, ENZO– Multi-Physics/CFD ⇒ ALE3D, NEK5, Miranda, SAGE

19 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.

Page 20: Bgp архитектура

IBM Blue GeneОбзор алгоритмов и методов, реализованных на Blue GeneМатериаловедение и нанонауки, ядерная энергетика, биоинформатика, вычислительная физика, гидродинамика (© - IBM)

20 ННГУ им. Н.И. Лобачевского, Нижний Новгород, 26-31 октября 2009 г.