Технологии GRID на примере проекта ARC NorduGrid Установка и настройка вычислительного кластера, подключенного

Технологии GRID на примере проекта ARC NorduGridУстановка и настройка вычислительного кластера,

подключенного к ARC NorduGrid

Макаров Алексей

[email protected]

Санкт-Петербургский Государственный Университет, Физический Факультет Кафедра Вычислительной Физики

Научный руководитель:

кандидат физ.-мат. наук, доцент

Степанова Маргарита Михайловна

V Всероссийская межвузовская конференция молодых ученых – Апрель – 2008 – Санкт-Петербург

СПбГУ-Физический Факультет-Кафедра Вычислительной Физики

Почему ARC?

Стабильность работы

Поддержка ПО и продолжающаяся разработка

сообществом NorduGrid

Простая интеграция с кластерным и прикладным ПО

Легкая и простая в использовании клиентская часть

Компоненты ARC

Рисунок взят из “NorduGrid, the middleware and related projects”, NDGF/Lund University GRID06 - June 26, 2006 – Dubna, Oxana Smirnova


Создание вычислительного кластера

Настройка операционной системы (sshd, NFS, firewall) Установка и настройка менеджера ресурсов и системы очередей PBS

(TORQUE-2.1.6) на front-end сервере и вычислительных нодах Установка и настройка ПО, поддерживающего технологии параллельного

программирования MPI2 и OpenMP (MPICH-2.0 и gcc-4.2.0) Тестирование производительности вычислительного кластера

High Performance Linpack Benchmark – система тестирования производительности вычислительных кластеров

Top500 – список наиболее производительных кластеров в мире. Создается на основе тестирования системой HPL.

Производительность нашего кластера 5.136e+01 Gflops

Оборудование

GigEthernet LAN: CiscoCatalyst 2960G

Front-end сервер (ap8.gridzone.ru): Intel Pentium 4 Dual Core 3.2GHz2 x 1024MB DDR2 ECC

Вычислительные ноды (w3,w4,w7,w8): 2 x Intel Xeon Dual Core 3.0GHz 2 x 2048MB DDR ECC REG

OS: ScientificLinux 4.4

Структура сайта

ap8.gridzone.ru

Grid ManagerGrid InfosysGridFTPSSEGrid MonitorLocalCA

External DependencesARC MiddlewareSimpleCA

GPTGlobus Toolkit® packages VOMSPython, MySQL, libxml2 libraries

PBS ServerPBS SchedulerGanglia

Cluster 32 CPU

PBS ClientMPICH-2.0Gcc-4.2.0Ganglia client

Менеджер ресурсов и кластерное ПО устанавливается независимо от ПО ARC

ПО ARC Middleware устанавливается только на front-end сервер


Локальный центр авторизации

Пользовательские сертификаты для локально поддерживаемых пользователей

Сертификаты хоста предоставляющие возможность создавать локальную инфраструктуру Грид

Простота работы с локальными сертификатами (выдача, отзыв, продление)


Тестирование ARC front-end сервера

Информационная система

(LdapBrowser, ldapsearch, grid-monitor, ngtest)

Система передачи данных

(ngls, ngcp, ngrm, ngcat, ngtest)

Система работы с задачами

(ngsub, ngstat, ngget, ngresub, ngkill, ngrenew, ngtest)


Данные информационной системы через Ldap Browser


Системы мониторинга

Grid Monitor вэб-интерфес для информационной системы ARC NorduGrid

Ganglia масштабируемая система мониторинга для высокопроизводительных вычислительных систем, таких как кластеры

Nagios система мониторинга сервисов, состояния сети, серверов

Logger независимо разработанная система сбора статистической информации о задачах


Грид монитор

Спасибо за внимание.


Список использованной литературы

1. I. Foster, C. Kesselmann, S. Tuecke, «The Anatomy of the Grid», 2000

2. I. Foster, C. Kesselmann, S. Tuecke, J.M.Nick «The Physiology of the Grid», 2002

3. Oxana Smirnova, «NorduGrid, the middleware and related projects», NDGF/Lund University GRID06 - June 26, 2006 – Dubna

4. M. Ellert, A.Konstantinov, B. Kónya, O.Smirnova, A.Wäänänen. Architecture Proposal, NORDUGRID-TECH-1, 2002.

5. http://www.globus.org

6. http://www.nordugrid.org

7. http://www.gridcomputing.com

8. http://www.gridclub.ru


Ganglia

Documents

Технологии GRID на примере проекта ARC NorduGrid Установка и настройка вычислительного кластера, подключенного