Аппаратно-программная конфигурация ЦИВК

Аппаратные ресурсы.

Программное обеспечение.

Организация работы пользователей.

Грид в ЦИВК, принципы работы.

Структурная схема ЦИВК Сетевые соединения

Сетевое окружение

1Gbit Ethernet - опорная сеть.

Маршрутизатор и коммутаторы 1GbE.

Не более 3-х коммутаций между любыми

2-мя машинами ЦИВК.

4-8 линий между 1-ым и 2-ым уровнями

(802.3ad – link aggregation).

10GbE до опорной сети ОИЯИ (план).

Вычислительные ресурсы -счетная ферма

60 машин: Xeon 5150, 8GB RAM, 64-х битная архитектура - x86_64.

2 x ЦПУ по 2 ядра = 4 ЦПУ на машину.

2 GB RAM на ядро (ЦПУ).

100 GB scratch на машину.

2730SI2000 на ядро.

Всего: 240 ЦПУ; ~650 kSI2k.

Счетная ферма - расширение(март 2008)

20 машин: Xeon 5345, 16GB RAM, x86_64.

2 x ЦПУ по 4 ядра = 8 ЦПУ на машину =

160 ЦПУ.

2 GB RAM на ядро.

200 GB scratch на машину.

2700SI2000 на ядро = 432kSI2k.

Всего: 400 ЦПУ; > 1000kSI2k.

Дисковые ресурсы

Общий (физический) объем: > 120TB.

Аппаратный RAID5 (3ware/AMCC).

Программный RAID1 (AFS и т.п.).

Direct Attached SATA (счетные,

интерактивные машины и т.п.).

Доступный объем: 1.3TB - AFS; 82TB -

dCache.

Остальные ресурсы

4 машины для интерактивной работы: 2 - Intel Core 2 Duo; 2 - AMD Athlon.

Серверы AFS и NFS.

Серверы dCache.

Серверы общего назначения.

Серверы WLCG сайта (грид).

Остальные ресурсы (продолжение)

Архитектура серверов: от Intel Celeron и Pentium 3 до Atlon64 X2 и Core 2 Duo.

Всего серверов 64.

Архитектура и ЦПУ: uname -ip

подробнее – cat /proc/cpuinfo.

Объем RAM: free

Программное обеспечение

Основная ОС - Scientific Linux SL 4.5 (SL4) – клон RHEL4, на всех счетных машинах (cat /etc/redhat-release).Основная архитектура – x86_64, 64-х битная (uname -i).Установлены все пакеты совместимости для выполнения 32-х битных программам.Система пакетной обработки (batch): Torque + Maui.

Программное обеспечение (продолжение)

Рекомендуется для разработки ПО использовать SL4 x86_64 на lxpub01/02.Для совместимости: SL4 i386 на lxpub03; SL3 i386 на lxpub04.Разработка ПО для архитектуры i386 возможна, но не тривиальна.SL3 будет только до конца 2008.Предполагается полный переход на 64-х битную архитектуру.

Программное обеспечение Средства разработки ПО

Компиляторы, компоновщик и отладчик из SL4 версии 3.4.6: gcc; g++; f77; ld; gdb(gcc -v).Дополнительно из SL4: gcc4; g++4; gfortran.Дополнительно от Intel: icc; icpc; ifort; idb (icc -V).Средства разработки Intel дают ~15% повышения производительности ПО.

Программное обеспечение Средства разработки ПО (продолжение)

CERNlib 2006, архитектура x86_64 (gcc4).

ROOT 5.14.00e, архитектура x86_64.

OpenMPI 1.2.5, архитектура x86_64

(компиляторы Intel).

JINRlib (g77, gfortran и ifort).

Программное обеспечение Средства разработки ПО (продолжение)

Практически все -devel- RPM из SL4: glibc; libstd++ и т.д, архитектура x86_64 (некоторые - i386) (file /lib64/libc-2.3.4.so; file /lib/libc-2.3.4.so).

Perl, Python, Tcl, Tk (только x86_64).

Средства разработки для графических

оболочек: xorg; kde; gnome.

Программное обеспечение Средства поддержки - графика

Рекомендуется использовать kde.

Графические оболочки: xorg; kde; gnone.

Терминал: xterm; konsole.

WWW/FTP: firefox; konqueror; gftp.

Редакторы: gvim; emacs; nedit.

Mail: kmail; thunderbird.

Программное обеспечение Средства поддержки – графика (прод)

Документы: ooffice; acroread; ggv; kpdf; kghostview.

Калькулятор: qalc; kcalc.

Разработка: kdevelop; bluefish (www) .

Текст: Tex/LaTex.

Изображения: gimp; xfig; kuickshow.

Программное обеспечение Средства поддержки - текст

Рекомендуется использовать pytty (ssh) для входа из Windows.

WWW/FTP: links; lynx; wget; lftp; pftp.

Редакторы: vim; pico.

Mail: alpine (pine); mutt.

Структурная схема ЦИВКПотоки данных и задач

Организация работы пользователей

Подробное описание – на сайте: http://lit.jinr.ru.Интерактивная работа: lxpub01 -:- lxpub04 – User Interface.Разработка и отладка ПО, не счет.Работа с графикой.Подготовка документации.Mail, WWW и т.п.Интерактивный вход на остальные машины запрещен.

Организация работы пользователей (продолжение)

Все счетные задачи работают через batch систему (qsub, qstat, qpeek).

Приоритеты и порядок запуска –

планировщик Maui (“умный” алгоритм).

Желательно указывать для batch: время

CPU; RAM; размер scratch.

Как правило: одна задача – 1 CPU.

Организация работы пользователей (продолжение)

Максимальное количество задач пользователя = 170.

Максимальные параметры задач:

CPU=400 часов;RAM=2GB;scratch=25GB.

Параллельные задачи – особый случай.

Примеры задач для batch - на сайте LIT:

http://lit.jinr.ru

Регистрация и ресурсы пользователей

Регистрируются в базе kerberos5.Домашние директории в AFS.Хранение данных в dCache.Возможно выделение дополнительного места в AFS под большое ПО для группы/пользователя.На UI есть scratch: /scr/u/...На счетных машинах задача должна работать в scratch: cd $TMPDIR