Аппаратно-программная конфигурация ЦИВК

Аппаратно-программная конфигурация ЦИВК

Аппаратные ресурсы.

Программное обеспечение.

Организация работы пользователей.

Грид в ЦИВК, принципы работы.

http://lit.jinr.ru

Структурная схема ЦИВК Сетевые соединения

Сетевое окружение

1Gbit Ethernet - опорная сеть.

Маршрутизатор и коммутаторы 1GbE.

Не более 3-х коммутаций между любыми

2-мя машинами ЦИВК.

4-8 линий между 1-ым и 2-ым уровнями

(802.3ad – link aggregation).

10GbE до опорной сети ОИЯИ (план).

Вычислительные ресурсы -счетная ферма

60 машин: Xeon 5150, 8GB RAM, 64-х битная архитектура - x86_64.

2 x ЦПУ по 2 ядра = 4 ЦПУ на машину.

2 GB RAM на ядро (ЦПУ).

100 GB scratch на машину.

2730 SI2000 на ядро.

Всего: 240 ЦПУ; ~650 kSI2k.

Счетная ферма - расширение(март 2008)

20 машин: Xeon 5345, 16GB RAM, x86_64.

2 x ЦПУ по 4 ядра = 8 ЦПУ на машину =

160 ЦПУ.

2 GB RAM на ядро.

200 GB scratch на машину.

2700 SI2000 на ядро = 432 kSI2k.

Всего: 400 ЦПУ; > 1000kSI2k.

Дисковые ресурсы

Общий (физический) объем: > 120TB.

Аппаратный RAID5 (3ware/AMCC).

Программный RAID1 (AFS и т.п.).

Direct Attached SATA (счетные,

интерактивные машины и т.п.).

Доступный объем: 1.3TB - AFS; 82TB -

dCache.

Остальные ресурсы

4 машины для интерактивной работы: 2 - Intel Core 2 Duo; 2 - AMD Athlon.

Серверы AFS и NFS.

Серверы dCache.

Серверы общего назначения.

Серверы WLCG сайта (грид).

Остальные ресурсы (продолжение)

Архитектура серверов: от Intel Celeron и Pentium 3 до Atlon64 X2 и Core 2 Duo.

Всего серверов 64.

Архитектура и ЦПУ: uname -ip

подробнее – cat /proc/cpuinfo.

Объем RAM: free

Программное обеспечение

Основная ОС - Scientific Linux SL 4.5 (SL4) – клон RHEL4, на всех счетных машинах (cat /etc/redhat-release). Основная архитектура – x86_64, 64-х битная (uname -i). Установлены все пакеты совместимости для выполнения 32-х битных программ. Система пакетной обработки (batch): Torque + Maui.

Программное обеспечение (продолжение)

Рекомендуется для разработки ПО использовать SL4 x86_64 на lxpub01/02. Для совместимости: SL4 i386 на lxpub03; SL3 i386 на lxpub04. Разработка ПО для архитектуры i386 возможна, но не тривиальна. SL3 будет только до конца 2008. Предполагается полный переход на 64-х битную архитектуру.

Программное обеспечение Средства разработки ПО

Компиляторы, компоновщик и отладчик из SL4 версии 3.4.6: gcc; g++; f77; ld; gdb(gcc -v). Дополнительно из SL4: gcc4; g++4; gfortran. Дополнительно от Intel: icc; icpc; ifort; idb (icc -V). Средства разработки Intel дают ~15% повышения производительности ПО.

Программное обеспечение Средства разработки ПО (продолжение)

CERNlib 2006, архитектура x86_64 (gcc4).

ROOT 5.14.00e, архитектура x86_64.

OpenMPI 1.2.5, архитектура x86_64

(компиляторы Intel).

JINRlib (g77, gfortran и ifort).

Программное обеспечение Средства разработки ПО (продолжение)

Практически все -devel- RPM из SL4: glibc; libstd++ и т.д, архитектура x86_64 (некоторые - i386) (file /lib64/libc-2.3.4.so; file /lib/libc-2.3.4.so).

Perl, Python, Tcl, Tk (только x86_64).

Средства разработки для графических

оболочек: xorg; kde; gnome.

Программное обеспечение Средства поддержки - графика

Рекомендуется использовать kde.

Графические оболочки: xorg; kde;

gnone.

Терминал: xterm; konsole.

WWW/FTP: firefox; konqueror; gftp.

Редакторы: gvim; emacs; nedit.

Mail: kmail; thunderbird.

Программное обеспечение Средства поддержки – графика (прод)

Документы: ooffice; acroread; ggv; kpdf; kghostview.

Калькулятор: qalc; kcalc.

Разработка: kdevelop; bluefish (www) .

Текст: Tex/LaTex.

Изображения: gimp; xfig; kuickshow.

Программное обеспечение Средства поддержки - текст

Рекомендуется использовать putty (ssh) для входа из Windows.

WWW/FTP: links; lynx; wget; lftp; pftp.

Редакторы: vim; pico.

Mail: alpine (pine); mutt.

Структурная схема ЦИВКПотоки данных и задач

Организация работы пользователей

Подробное описание – на сайте: http://lit.jinr.ru. Интерактивная работа: lxpub01 -:- lxpub04 – User Interface. Разработка и отладка ПО, не счет. Работа с графикой. Подготовка документации. Mail, WWW и т.п. Интерактивный вход на остальные машины запрещен.

Организация работы пользователей (продолжение)

Все счетные задачи работают через batch систему (qsub, qstat, qpeek, qdel).

Приоритеты и порядок запуска –

планировщик Maui (“умный” алгоритм).

Желательно указывать для batch:

время CPU; RAM; размер scratch.

Как правило: одна задача – 1 CPU.

Организация работы пользователей (продолжение)

Максимальное количество задач пользователя = 170.

Максимальные параметры задач:

CPU=400 часов;RAM=2GB;scratch=25GB.

Параллельные задачи – особый случай.

Примеры задач для batch - на сайте LIT:

http://lit.jinr.ru

Регистрация и ресурсы пользователей

Регистрируются в базе kerberos5. Домашние директории в AFS. Хранение данных в dCache. Возможно выделение дополнительного места в AFS под большое ПО для группы/пользователя. На UI есть scratch: /scr/u/... На счетных машинах задача должна работать в scratch: cd $TMPDIR

Структурная схема ЦИВКПотоки данных и задач

WLCG грид в ЦИВК

ЦИВК имеет общие ресурсы с сайтом WLCG – JINR-LCG2: счетные машины и дисковые массивы в dCache. Единый сервер запуска задач в batch. Интерактивные машины работают как User Interface для WLCG. 16 машин обслуживают инфраструктуру сайта JINR-LCG2. Работают 9 Виртуальных Организаций - VO.

WLCG грид в ЦИВКпользователям грид

Преимущества грид (потенциальные): неограниченные компьютерные ресурсы всего мира. Необходимо: получить сертификат и стать членом Виртуальной Организации. Задачи должны удовлетворять достаточно жестким требованиям: использовать стандартные для грид протоколы.

WLCG грид в ЦИВКиспользование

WLCG работает c ПО промежуточного уровня gLite, версия 3.1. Запуск и проверка заданий: . /opt/ui/etc/profile.d/grid-env.sh (только на lxpub01/02) voms-proxy-init -voms dteam glite-wms-job-submit -a -o t1 t1.jdl glite-wms-job-status -i t1 glite-wms-job-output -i t1

Заключение

Материалы с дополнениниями и примерами будут опубликованы на http://lit.jinr.ru “Вычисл. & Инф. Ресурсы” -> “ЦИВК”. В 20-ых числах февраля все вычислительные и дисковые ресурсы будут не доступны в связи с модернизацией сетевой структуры ЦИВК.