Сессия Ученого совета ОФВЭ 26 декабря 2007 года

Сессия Ученого совета ОФВЭ Сессия Ученого совета ОФВЭ 26 декабря 2007 года26 декабря 2007 года

Деятельность отдела вычислительных систем Деятельность отдела вычислительных систем (ОВС)(ОВС)

в 2007 году и в ближайшем будущемв 2007 году и в ближайшем будущем

А. Е. ШевельА. Е. Шевель

Андрей Е ШевельАндрей Е Шевель 22

План презентацииПлан презентации

Исторические даты компьютеризации Исторические даты компьютеризации ОтделенияОтделения

Сферы деятельности ОВССферы деятельности ОВС Локальная сеть ОтделенияЛокальная сеть Отделения Электронная почта ПИЯФЭлектронная почта ПИЯФ Компьютерный кластер ОтделенияКомпьютерный кластер Отделения РазноеРазное


Исторические даты Исторические даты компьютеризации Отделениякомпьютеризации Отделения

В текущем году исполняется 15 лет первым В текущем году исполняется 15 лет первым подключениям в Отделении (и скорее всего в подключениям в Отделении (и скорее всего в Институте) в стандарте Ethernet (тонкий Институте) в стандарте Ethernet (тонкий круглый коаксиальный кабель, разъём BNC). круглый коаксиальный кабель, разъём BNC). Так начиналась локальная сеть ПИЯФ.Так начиналась локальная сеть ПИЯФ.

В текущем году исполняется 10 лет начала В текущем году исполняется 10 лет начала проекта проекта BCFpc (см. описание на страницах BCFpc (см. описание на страницах http://hepd.pnpi.spb.ru/pcfarmhttp://hepd.pnpi.spb.ru/pcfarm, список публикаций на , список публикаций на эту тему см. на странице эту тему см. на странице http://hepd.pnpi.spb.ru/CSD/CSDPublications.shtmlhttp://hepd.pnpi.spb.ru/CSD/CSDPublications.shtml). ). Так Так начинались вычислительные кластеры начинались вычислительные кластеры России типа России типа BeowulfBeowulf для пакетной обработки. для пакетной обработки.


Основные сферы деятельности отдела Основные сферы деятельности отдела

Разработка эффективных информационно-вычислительных Разработка эффективных информационно-вычислительных архитектур для использования в физике высоких энергийархитектур для использования в физике высоких энергий

Поддержка разработанных и реализованных вычислительных Поддержка разработанных и реализованных вычислительных систем систем ОФВЭОФВЭ и и институтаинститута

Локальная сеть Локальная сеть ОФВЭОФВЭ на 7 и 2 корпусах (три узла на 7 корпусе и 6 узлов на на 7 и 2 корпусах (три узла на 7 корпусе и 6 узлов на 2 корпусе).2 корпусе).

Вычислительный кластер Вычислительный кластер ОтделенияОтделения (pcfarm.pnpi.spb.ru).(pcfarm.pnpi.spb.ru). Mail сервер Mail сервер институтаинститута ии главный DNS сервер главный DNS сервер институтаинститута

(mail.pnpi.spb.ru).(mail.pnpi.spb.ru). WWW, FTP сервер WWW, FTP сервер ОтделенияОтделения, дополнительный DNS сервер , дополнительный DNS сервер институтаинститута

и и списки рассылкисписки рассылки ОтделенияОтделения и и институтаинститута (dbserv.pnpi.spb.ru). (dbserv.pnpi.spb.ru). Коммутатор локальной сети Коммутатор локальной сети институтаинститута на 7 корпусе, обеспечивающий на 7 корпусе, обеспечивающий

интеграцию сетей интеграцию сетей институтаинститута на скорости 100 Мбит/сек на скорости 100 Мбит/сек Прокси сервер Прокси сервер ОтделенияОтделения и центральных подразделений и центральных подразделений институтаинститута для для

работы с Интернет по наземному каналу 100Mbit (proxyter.pnpi.spb.ru).работы с Интернет по наземному каналу 100Mbit (proxyter.pnpi.spb.ru). ССетевые принтеры етевые принтеры ОтделенияОтделения..

В отделе 5 человек.В отделе 5 человек.


Локальная сеть ОФВЭ на 7 и 2 Локальная сеть ОФВЭ на 7 и 2 корпусахкорпусах

Общее число компьютеров в локальной Общее число компьютеров в локальной сети сети ОтделениОтделенияя увеличилось до 374. увеличилось до 374.

В будущем (2008) с ростом сетевых потоков В будущем (2008) с ростом сетевых потоков Отделения потребуется установка гигабитного Отделения потребуется установка гигабитного коммутатора в аппаратной корпуса 7 (коммутатора в аппаратной корпуса 7 (мы это мы это повторяем начиная с 2004 годаповторяем начиная с 2004 года).). Существующий Существующий коммутатор находится в эксплуатации с коммутатор находится в эксплуатации с 19981998 года. года.


Центр локальной сети Центр локальной сети институтаинститута в аппаратной 7 корпуса в аппаратной 7 корпуса

Локальная сеть институтаЛокальная сеть института на 7 корпусе строится на на 7 корпусе строится на базе 4-х слотного коммутатора 3Com CoreBuilder 3500, базе 4-х слотного коммутатора 3Com CoreBuilder 3500, который обеспечивает интеграцию сетей института на который обеспечивает интеграцию сетей института на скорости 100 Мбит/с. скорости 100 Мбит/с. ОФВЭ ОФВЭ ОНИОНИ (7, 1, 85 корпуса); (7, 1, 85 корпуса); ОТФОТФ (85 корпус); (85 корпус); ОМРБОМРБ (50 корпус); (50 корпус); конструкторский отдел ПИЯФ. конструкторский отдел ПИЯФ.

Этот коммутатор необходимо обновить.Этот коммутатор необходимо обновить.


Электронная почта ИнститутаЭлектронная почта Института На сервере зарегистрировано 680 пользователей На сервере зарегистрировано 680 пользователей

(сотрудники (сотрудники ОФВЭОФВЭ, , ОНИОНИ и центральных и центральных подразделений подразделений институтаинститута).).С краткой информацией по работе с почтой на этом сервере С краткой информацией по работе с почтой на этом сервере

можно ознакомиться на страницеможно ознакомиться на странице http://hepd.pnpi.spb.ru/help/mail.html

Мероприятия по повышению надёжностиМероприятия по повышению надёжностиВ конце ноября 2007 года дисковая память мейл-сервера В конце ноября 2007 года дисковая память мейл-сервера

института переведена на режим «зеркалирования» (RAID-1).института переведена на режим «зеркалирования» (RAID-1).Был приобретен и установлен блок бесперебойного питания Был приобретен и установлен блок бесперебойного питания

для мейл-сервера.для мейл-сервера. Адреса электронной почты зарегистрированных Адреса электронной почты зарегистрированных

сотрудников института упорядоченных по алфавиту сотрудников института упорядоченных по алфавиту можно найти на страницеможно найти на странице http://www.pnpi.spb.ru/win/eml/mlist.htm


Безопасность почтовых сообщенийБезопасность почтовых сообщений

Антивирусная защита на сервере организована с Антивирусная защита на сервере организована с использованием Dr.Web для использованием Dr.Web для sendmailsendmail. Продление . Продление лицензии выполняется четвёртый год. лицензии выполняется четвёртый год.

Работать без антивирусной защиты почты Работать без антивирусной защиты почты невозможно, т.к. в сутки на сервер приходит от невозможно, т.к. в сутки на сервер приходит от 220 до 1000 мейлов с вирусами. 0 до 1000 мейлов с вирусами.

Второй год мы работаем с системой анти-Второй год мы работаем с системой анти-СПАМ. В настоящее время 97% входящего СПАМ. В настоящее время 97% входящего мейловского трафика это СПАМ.мейловского трафика это СПАМ.


Вычислительный кластер Отделения Вычислительный кластер Отделения (pcfarm.pnpi.spb.ru)(pcfarm.pnpi.spb.ru)

Кластер состоит из главного и периферийных Кластер состоит из главного и периферийных компьютеров, на которых запускаются задания с компьютеров, на которых запускаются задания с использованием системы пакетной обработки SGE. использованием системы пакетной обработки SGE.

Файл-серверФайл-серверыы (центральный компьютер (центральный компьютер++pcfarm11pcfarm11) ) организованорганизованыы на базе системного блока Intel Xeon 2.4 на базе системного блока Intel Xeon 2.4 GHz (533 MHz/HT), оперативной памятью 2 ГБайта. GHz (533 MHz/HT), оперативной памятью 2 ГБайта. Связь периферийных компьютеров с главным Связь периферийных компьютеров с главным осуществляется через коммутатор Ethernet 1 Гбит.осуществляется через коммутатор Ethernet 1 Гбит.

Общая дисковая память составляет около 1 TB Общая дисковая память составляет около 1 TB ((SCSISCSI)) и около 3 TB и около 3 TB ((SATASATA)). Итого 4 ТБ.. Итого 4 ТБ.


Вычислительный кластер ОтделенияВычислительный кластер Отделения(продолжение)(продолжение)

В настоящее время на кластере В настоящее время на кластере зарегистрировано около 180 пользователей зарегистрировано около 180 пользователей (около 50 логируются в течение месяца много (около 50 логируются в течение месяца много раз, 20 – каждый день). раз, 20 – каждый день).

Все компьютеры кластера работают под Все компьютеры кластера работают под управлением операционной системы SL 4.4. управлением операционной системы SL 4.4. Среди установленных системных компонентов Среди установленных системных компонентов можно отметить AFS, SUN Gridware Engine можно отметить AFS, SUN Gridware Engine (SGE), CERNlib, (SGE), CERNlib, ROOT, ROOT, etc.etc.

Связь с внешним миром осуществляется по Связь с внешним миром осуществляется по наземному каналу примерно 80 Mbit.наземному каналу примерно 80 Mbit.


Disk array

Gbit switch

UPS

KVM

Disk arrays

DLT8000

Cluster HEPD PNPI

SDLT


Использование вычислительного кластераИспользование вычислительного кластерапакетнымипакетными заданиями в 2007 году заданиями в 2007 году

Статистика с 1.1.2007 года по 19.12.2007 Статистика с 1.1.2007 года по 19.12.2007 года (в часах CPU)года (в часах CPU)

• fomin 19260 • sherman 2704• riabovyg 2338• vao 1222• dair 1096 • saran 712• obrant 680• arnis 160• tverskoy 140• voropaev 131• komkov 96 • kozlenko 13

19249 заданий


Компьютеры в кластереКомпьютеры в кластере

Всего в 2007 году поступило 2 компьютера Всего в 2007 году поступило 2 компьютера (последний заказ в исполнении). (последний заказ в исполнении). Эти машины приобретаются Эти машины приобретаются для заменыдля замены ранее ранее

взятых из кластера на взятых из кластера на восстановлениевосстановление вышедших вышедших из строя из строя ввэб сервера Отделения и прокси-сервера эб сервера Отделения и прокси-сервера Отделения.Отделения.

В настоящее время в кластере работает 12 В настоящее время в кластере работает 12 машин. машин.

Кондиционер необходим ASAP.Кондиционер необходим ASAP.


Рекомендации по ближайшим Рекомендации по ближайшим мероприятим на кластеремероприятим на кластере

Следует планировать оптический канал 1 Gbit на Следует планировать оптический канал 1 Gbit на АТС ПИЯФ (АТС ПИЯФ (в настоящее время примерно 80 Mbitв настоящее время примерно 80 Mbit).).

Предполагается, что в ближайшее время (вместе с Предполагается, что в ближайшее время (вместе с освоением методов работы с данными LHC) освоением методов работы с данными LHC) Отделение будет нуждаться в дисковой памяти Отделение будет нуждаться в дисковой памяти (примерно 20-30 TB в 2008/20(примерно 20-30 TB в 2008/200909 год годахах - - околооколо $20- $20-30K, 30K, можно добавлять квантами по $5-6Kможно добавлять квантами по $5-6K).).

Более важен вопрос об эффективности архитектуры, Более важен вопрос об эффективности архитектуры, чем о числе машин (чем о числе машин (следует обновлять примерно 1/3 следует обновлять примерно 1/3 машин кластера каждый год, увеличивая при этом машин кластера каждый год, увеличивая при этом дисковое пространстводисковое пространство). В нашем случае следует ). В нашем случае следует приобретать ежегодно 3-4 новые машины и столько приобретать ежегодно 3-4 новые машины и столько же выводить из кластера. же выводить из кластера.


Финансирование в 2007 годуФинансирование в 2007 году

В самом начале 2007 года мы представили план по В самом начале 2007 года мы представили план по

модернизациям и расходным материалам на 694K модернизациям и расходным материалам на 694K

рублей.рублей.

В течение годВ течение годаа мы получили лишь 367К рублей мы получили лишь 367К рублей

(52%).(52%).

Наиболее крупные приобретенияНаиболее крупные приобретения

Магнитофон SDLT Магнитофон SDLT ((300GB/cartridge300GB/cartridge)) – 109.5 K – 109.5 K

рублейрублей

Две машины в кластер (на замену использованных Две машины в кластер (на замену использованных

в прокси-сервере и в прокси-сервере и ввэб сервере) – 60 К рублейэб сервере) – 60 К рублей


ЗаключениеЗаключение

Я полагаю, что отдел работает Я полагаю, что отдел работает исключительно эффективно (исключительно эффективно (мне мне неизвестно с кем сравнить, например, по неизвестно с кем сравнить, например, по

параметру параметру price/performanceprice/performance). Хотелось ). Хотелось бы увеличить это соотношение.бы увеличить это соотношение.


Дополнительные слайдыДополнительные слайды


Список компьютеров подключенных ОВС Список компьютеров подключенных ОВС к сети в 2007 годук сети в 2007 году

1.1. mpl-10 mpl-10 192.168.14.62 192.168.14.62 к.2, к.306 к.2, к.306 Бекренев В.С.Бекренев В.С.2.2. oppr oppr 192.168.14.64 192.168.14.64 к.7, к.131 к.7, к.131 Ясюкевич В. И.Ясюкевич В. И.3.3. lmanote lmanote 192.168.14.63 192.168.14.63 к.7, к.231 к.7, к.231 Иванов Ю. М.Иванов Ю. М.4.4. lma8 lma8 192.168.14.65 192.168.14.65 к.7, к.126 к.7, к.126 Желамков А. В.Желамков А. В.5.5. lma9 lma9 192.168.14.76 192.168.14.76 к.7, к.319 к.7, к.319 Желамков А. В.Желамков А. В.6.6. lma lma 192.168.14.74 192.168.14.74 к.7, к.419 к.7, к.419 Вайшнене Л. А.Вайшнене Л. А.7.7. mcf3 mcf3 192.168.14.69 192.168.14.69 к.2, к.318 к.2, к.318 Левченко М. П.Левченко М. П.8.8. mcf4 mcf4 192.168.14.70 192.168.14.70 к.2, к.318 к.2, к.318 Маев Е. М.Маев Е. М.9.9. pnpialice2 pnpialice2 192.168.14.71 192.168.14.71 к.7, к.415 к.7, к.415 Поляков В. В.Поляков В. В.10.10. rnpl3 rnpl3 192.168.14.73 192.168.14.73 к.7, к.414 к.7, к.414 Кришень Е. Л.Кришень Е. Л.11.11. neutron-vme neutron-vme 192.168.14.75 192.168.14.75 к.2, к.309 к.2, к.309 Фетисов А. А.Фетисов А. А.12.12. eppl10 eppl10 192.168.14.78 192.168.14.78 к.7, к.221 к.7, к.221 Соболевская М. М.Соболевская М. М.13.13. eppl-11 eppl-11 192.168.14.79 192.168.14.79 к.7, к.213 к.7, к.213 Ким В. Т.Ким В. Т.14.14. accdep03 accdep03 192.168.14.80 192.168.14.80 к.2а, УО, к.301 к.2а, УО, к.301 Горкин Г. И.Горкин Г. И.15.15. accdep04 accdep04 192.168.14.81 192.168.14.81 к.2а, УО, к.206 к.2а, УО, к.206 Сухоруков Л. А.Сухоруков Л. А.16.16. accdep05 accdep05 192.168.14.82 192.168.14.82 к.2, УО, к.119 к.2, УО, к.119 Гресь В. П.Гресь В. П.17.17. accdep06 accdep06 192.168.14.83 192.168.14.83 к.2, УО, к.209 к.2, УО, к.209 Ястребцева В. Ф.Ястребцева В. Ф.18.18. pc2m5 pc2m5 192.168.14.66 192.168.14.66 к.2, медики, к.16 к.2, медики, к.16 Герценштейн В. Я.Герценштейн В. Я.19.19. pc2m6 pc2m6 192.168.14.67 192.168.14.67 к.2, медики, к.14 к.2, медики, к.14 Пушкарева Т. В.Пушкарева Т. В.20.20. pc2m7 pc2m7 192.168.14.68 192.168.14.68 к.2, медики, к.8 к.2, медики, к.8 Скугарева Н. А.Скугарева Н. А.21.21. lib3 85.lib3 85. 142.10.205 142.10.205 к.7, науч.библ. к.7, науч.библ. Спиридонова И. Г.Спиридонова И. Г.22.22. fdep01 fdep01 192.168.14.72 192.168.14.72 к.7, 1 отдел, к.314 к.7, 1 отдел, к.314 Сильников В. В.Сильников В. В.23.23. sctrl02 sctrl02 192.168.15.9 192.168.15.9 к.8, служба контр. к.8, служба контр. Креслов В. В.Креслов В. В. +7 компьютеров в ОРБ+7 компьютеров в ОРБ


Антивирусная политикаАнтивирусная политика

Период опроса новых вирусных записей в базе данных Период опроса новых вирусных записей в базе данных Dr.Web установлен в 15 минут. Если появились новые Dr.Web установлен в 15 минут. Если появились новые записи, то производится пересылка на мейл-сервер.записи, то производится пересылка на мейл-сервер.

Информация о заражённом мейле поступает только Информация о заражённом мейле поступает только администратору.администратору.

При каждом скачивании новых вирусных записей При каждом скачивании новых вирусных записей осуществляется сканирование всех входных ящиков осуществляется сканирование всех входных ящиков пользователей. Если обнаружены мэйлы с вирусом, то пользователей. Если обнаружены мэйлы с вирусом, то автоматически запускается скрипт на удаление автоматически запускается скрипт на удаление заражённых мейлов. заражённых мейлов.

Как можно быстрее следует приобрести лицензию на Как можно быстрее следует приобрести лицензию на антивирусную программу для прокси-сервера ПИЯФ.антивирусную программу для прокси-сервера ПИЯФ.


Наши публикации по кластерам в Наши публикации по кластерам в

2007 году2007 году Вышли труды международной конференции Вышли труды международной конференции

«Computing in High Energy and Nuclear Physics «Computing in High Energy and Nuclear Physics

2006», где был мой с Roy Lacey (SUNYSB) 2006», где был мой с Roy Lacey (SUNYSB)

стендовый доклад.стендовый доклад.

Вышел мой обзор весенней сессии HEPIX Вышел мой обзор весенней сессии HEPIX

spring 2007 в журнале «Открытые системы» spring 2007 в журнале «Открытые системы»

№8.№8.

Documents

Сессия Ученого совета ОФВЭ 26 декабря 2007 года