Сессия Ученого совета ОФВЭ 24 декабря 2008 года

Сессия Ученого совета ОФВЭ Сессия Ученого совета ОФВЭ 24 декабря 2008 года24 декабря 2008 года

Деятельность отдела вычислительных систем Деятельность отдела вычислительных систем (ОВС)(ОВС)

в 2008 году и в ближайшем будущемв 2008 году и в ближайшем будущем

А. Е. ШевельА. Е. Шевель

24 декабря 200824 декабря 2008 А.Е. ШевельА.Е. Шевель 22

План презентацииПлан презентации

Исторические даты компьютеризации Исторические даты компьютеризации ОтделенияОтделения

Сферы деятельности ОВССферы деятельности ОВСЛокальная сеть ОтделенияЛокальная сеть ОтделенияЭлектронная почта ПИЯФЭлектронная почта ПИЯФКомпьютерный кластер ОтделенияКомпьютерный кластер Отделения

РазноеРазное


Исторические даты Исторические даты компьютеризации Отделениякомпьютеризации Отделения

В В наступающем (2009)наступающем (2009) году исполняется 15 году исполняется 15 лет первлет первомуому подклю подключению в Интернет, чению в Интернет, которым пользовались десятки человек в которым пользовались десятки человек в ПИЯФПИЯФ.. Пропускная способность модемного Пропускная способность модемного канала была около 14 Кбит.канала была около 14 Кбит.


Основные сферы деятельности отдела Основные сферы деятельности отдела и его состави его состав

Разработка эффективных информационно-вычислительных архитектур для Разработка эффективных информационно-вычислительных архитектур для использования в физике высоких энергийиспользования в физике высоких энергий

Поддержка разработанных и реализованных вычислительных систем Поддержка разработанных и реализованных вычислительных систем ОФВЭОФВЭ и и институтаинститута

Локальная сеть Локальная сеть ОФВЭОФВЭ на 7 и 2 корпусах (три узла на 7 корпусе и 6 узлов на 2 на 7 и 2 корпусах (три узла на 7 корпусе и 6 узлов на 2 корпусе).корпусе).

Вычислительный кластер Вычислительный кластер ОтделенияОтделения (pcfarm.pnpi.spb.ru).(pcfarm.pnpi.spb.ru). Mail сервер Mail сервер институтаинститута ии главный DNS сервер главный DNS сервер институтаинститута ( (для зоны для зоны pnpi.spb.ru).pnpi.spb.ru). WWW, FTP сервер WWW, FTP сервер ОтделенияОтделения, дополнительный DNS сервер , дополнительный DNS сервер институтаинститута и и списки списки

рассылкирассылки ОтделенияОтделения и и институтаинститута (dbserv.pnpi.spb.ru). (dbserv.pnpi.spb.ru). Аппаратный Центр Аппаратный Центр локальной сети локальной сети институтаинститута на 7 корпусе, обеспечивающий на 7 корпусе, обеспечивающий

интеграцию сетей интеграцию сетей институтаинститута на скорости 100 Мбит/сек на скорости 100 Мбит/сек Прокси сервер Прокси сервер ОтделенияОтделения и центральных подразделений и центральных подразделений институтаинститута для работы с для работы с

Интернет по наземному каналу 100Mbit (proxyter.pnpi.spb.ru).Интернет по наземному каналу 100Mbit (proxyter.pnpi.spb.ru). ССетевые принтеры етевые принтеры ОтделенияОтделения..

В отделе 5 человек.В отделе 5 человек. Инфо об отделе на странице Инфо об отделе на странице hepd.pnpi.spb.ru/CSDhepd.pnpi.spb.ru/CSD


Локальная сеть ОФВЭ на 7 и 2 Локальная сеть ОФВЭ на 7 и 2 корпусахкорпусах

Общее число компьютеров в Ethernet в Отделении Общее число компьютеров в Ethernet в Отделении увеличилось до 3увеличилось до 38080..

Список всех компьютеров подключённых в 2008 годуСписок всех компьютеров подключённых в 2008 году

1.1. mcf5 192.168.14.85 к.2, ОРЭ, к.209 Орищин Еmcf5 192.168.14.85 к.2, ОРЭ, к.209 Орищин Е.М..М.

2.2. eppl-12 192.168.14.86 к.7, к.213 Инглесси eppl-12 192.168.14.86 к.7, к.213 Инглесси А.Г.А.Г.

3.3. tdd02 192.168.14.87 k.2, к.300 Майсузенко Дtdd02 192.168.14.87 k.2, к.300 Майсузенко Д.А..А.

4.4. rnpl4 192.168.14.88 к.7, к.414 Котов Дrnpl4 192.168.14.88 к.7, к.414 Котов Д.О..О.

5.5. pck431a 192.168.14.89 к.7, к.431 Рощин Еpck431a 192.168.14.89 к.7, к.431 Рощин Е.В..В.

6.6. fdep02 192.168.14.84 к.7, Первый отд., к.338 Орлов Вfdep02 192.168.14.84 к.7, Первый отд., к.338 Орлов В.П..П.

7.7. shop02 192.168.11.23 ЦЭТО, к.13 Рабинский Лshop02 192.168.11.23 ЦЭТО, к.13 Рабинский Л.Ш..Ш.

8.8. orb08 192.168.11.58 к.86, ОРБ, к.214 Щукин Юorb08 192.168.11.58 к.86, ОРБ, к.214 Щукин Ю.Н..Н.


Центр локальной сети Центр локальной сети институтаинститута в аппаратной 7 корпуса в аппаратной 7 корпуса

Локальная сеть институтаЛокальная сеть института на 7 корпусе строится на базе 4-х на 7 корпусе строится на базе 4-х слотного коммутатора 3Com CoreBuilder 3500, который слотного коммутатора 3Com CoreBuilder 3500, который обеспечивает интеграцию сетей института на скорости 100 обеспечивает интеграцию сетей института на скорости 100 Мбит/с. Мбит/с. ОФВЭ ОФВЭ ОНИОНИ (7, 1, 85 корпуса); (7, 1, 85 корпуса); ОТФОТФ (85 корпус); (85 корпус); ОМРБОМРБ (50 корпус); (50 корпус); конструкторский отдел ПИЯФ. конструкторский отдел ПИЯФ.

Существующий коммутатор находится в эксплуатации с Существующий коммутатор находится в эксплуатации с 19981998 года года настоятельно требуется заменанастоятельно требуется замена. Дирекция . Дирекция ПИЯФ сообщила, что понимает проблему.ПИЯФ сообщила, что понимает проблему.


Электронная почта ИнститутаЭлектронная почта Института На сервере зарегистрировано примерно 700 На сервере зарегистрировано примерно 700

пользователей (сотрудники пользователей (сотрудники ОФВЭОФВЭ, , ОНИОНИ и и центральных подразделений центральных подразделений институтаинститута).).С краткой информацией по работе с почтой на этом сервере С краткой информацией по работе с почтой на этом сервере

можно ознакомиться на страницеможно ознакомиться на странице hepd.pnpi.spb.ru/help/mail.htmlhepd.pnpi.spb.ru/help/mail.html

Адреса электронной почты зарегистрированных сотрудников Адреса электронной почты зарегистрированных сотрудников института упорядоченных по алфавиту можно найти на страницеинститута упорядоченных по алфавиту можно найти на странице www.pnpi.spb.ru/win/eml/mlist.htmwww.pnpi.spb.ru/win/eml/mlist.htm

Мероприятия по повышению надёжностиМероприятия по повышению надёжности В В начале года были обновлены лицензии на антивирус и антиспам начале года были обновлены лицензии на антивирус и антиспам

((немало времени потребовалосьнемало времени потребовалось).). В начале осени была введена в действие процедура В начале осени была введена в действие процедура

автоматического механизма отвергания ряда серверов (автоматического механизма отвергания ряда серверов (relay hosts).relay hosts).


Сетевая безопасностьСетевая безопасность

• В 2008 году были предприняты большие усилия по В 2008 году были предприняты большие усилия по

повышению безопасности компьютеров Отделения и повышению безопасности компьютеров Отделения и

Института Института

– Введён ряд ограничений на подключение извне ПИЯФ к Введён ряд ограничений на подключение извне ПИЯФ к

серверам (серверам (mail, pcfarm, proxy, dbservmail, pcfarm, proxy, dbserv).). Количество Количество

недружественных подключений к мейл серверу уменьшено недружественных подключений к мейл серверу уменьшено

примерно в примерно в 100 (сто)100 (сто) раз. раз.

– Разработаны и введены в действие автоматические Разработаны и введены в действие автоматические

процедуры по опознанию и блокированию недружественных процедуры по опознанию и блокированию недружественных

сетевых вторжений. сетевых вторжений.


Безопасность на мейл сервереБезопасность на мейл сервереReport for Tue, 23 Dec 2008 11:56:10 +0300


Вычислительный кластер ОтделенияВычислительный кластер Отделения

В настоящее время на кластере зарегистрировано около 1В настоящее время на кластере зарегистрировано около 1880 0 пользователей (около пользователей (около 440 логируются 0 логируются в течение месяца много в течение месяца много раз, 20 – каждый деньраз, 20 – каждый день). ).

В 2008 году были заменены два старых сервера на два новых.В 2008 году были заменены два старых сервера на два новых. Все компьютеры кластера работают под управлением Все компьютеры кластера работают под управлением

операционной системы SL 4.4. Среди установленных операционной системы SL 4.4. Среди установленных системных компонентов можно отметить системных компонентов можно отметить XenXen, , AFS, SUN AFS, SUN Gridware Engine (SGE), CERNlibGridware Engine (SGE), CERNlib, , etc.etc.

Связь с внешним миром осуществляется по наземному каналу Связь с внешним миром осуществляется по наземному каналу примерно примерно 80 Mbit80 Mbit..


Disk array

Gbit switch

UPS

KVM

Disk arrays

DTL8000

Cluster HEPD PNPI

SDTL


Использование вычислительного кластераИспользование вычислительного кластерапакетнымипакетными заданиями в 200 заданиями в 20088 году году

Статистика с 1.1.200Статистика с 1.1.20088 года по года по

1818.12.200.12.20088 года (в часах CPU) года (в часах CPU)

1.1. saran saran 41142 41142

2.2. fomin fomin 26275 26275

3.3. gridnev gridnev 1518 1518

4.4. vao vao 1332 ( 1332 (студент)студент)

5.5. dair dair 368368

6.6. murzin murzin 246 246

7.7. arnis arnis 114114

8.8. tverskoy tverskoy 107 107

9.9. aezhilov aezhilov 104 104 (студент) (студент)

10.10. sherman sherman 82 82

11.11. komkov komkov 10 10

12.12. esv esv 7 7 (студент) (студент)

13.13. kozlenko kozlenko 5 5


Компьютеры в кластереКомпьютеры в кластере

Всего в 200Всего в 20088 году году поступил поступил 11 компьютер ( компьютер (и и ещё один по заказу прошлого 2007 годаещё один по заказу прошлого 2007 года). ).

В настоящее время в кластере работает 12 В настоящее время в кластере работает 12 физических машинфизических машин и 3 и 3 виртуальные машинывиртуальные машины. .

Установлен кондиционерУстановлен кондиционер..


Рекомендации по ближайшим Рекомендации по ближайшим мероприятим на кластеремероприятим на кластере

Следует планировать оптический канал 1 Gbit на Следует планировать оптический канал 1 Gbit на АТС ПИЯФ (АТС ПИЯФ (в настоящее время примерно 80 Mbitв настоящее время примерно 80 Mbit).).

Предполагается, что в ближайшее время (вместе с Предполагается, что в ближайшее время (вместе с освоением методов работы с данными LHC) освоением методов работы с данными LHC) Отделение будет нуждаться в дисковой памяти Отделение будет нуждаться в дисковой памяти (примерно 20 TB в 200(примерно 20 TB в 20099/20/201010 году - примерно $20K, году - примерно $20K, можно добавлять квантами по $5-6Kможно добавлять квантами по $5-6K).).

Более важен вопрос об эффективности архитектуры, Более важен вопрос об эффективности архитектуры, чем о числе машин (чем о числе машин (следует обновлять примерно 1/3 следует обновлять примерно 1/3 машин кластера каждый год, увеличивая при этом машин кластера каждый год, увеличивая при этом дисковое пространстводисковое пространство). В нашем случае следует ). В нашем случае следует приобретать ежегодно 3-4 новые машины и столько приобретать ежегодно 3-4 новые машины и столько же выводить из кластера. же выводить из кластера.


Финансирование в 200Финансирование в 20088 году году

В самом начале 200В самом начале 20088 года мы представили план по года мы представили план по

приобретениям оборудованияприобретениям оборудования и расходным и расходным

материалам на материалам на 764764KK рублей. рублей.

В течение годВ течение годаа мы получили лишь мы получили лишь 229229КК рублей рублей

((чуть меньше 30чуть меньше 30%% от запрошенной суммы от запрошенной суммы).).

Наиболее крупные приобретенияНаиболее крупные приобретения

Один сервер в кластер;Один сервер в кластер;

Кондиционер;Кондиционер;

Компьютерные сетевые коммутаторы.Компьютерные сетевые коммутаторы.


ЗаключениеЗаключение 2008 2008

Благодаря проведённым нами мероприятиям Благодаря проведённым нами мероприятиям заметно выросла компьютерная безопасность заметно выросла компьютерная безопасность Отделения и Института.Отделения и Института.

Была освоена и начала использоваться технология Была освоена и начала использоваться технология виртуальных машин.виртуальных машин.

Финансирование обновления оборудования Финансирование обновления оборудования вычислительной инфраструктуры Отделения вычислительной инфраструктуры Отделения находится находится ниже уровня поддержкиниже уровня поддержки..


Дополнительные слайдыДополнительные слайды


Антивирусная политикаАнтивирусная политика

Период опроса новых вирусных записей в базе данных Dr.Web Период опроса новых вирусных записей в базе данных Dr.Web за пределами ПИЯФ за пределами ПИЯФ установлен в 15 минут. Если появились установлен в 15 минут. Если появились новые записи, то производится новые записи, то производится пересылка пересылка новых записей новых записей на на наш наш мейл-сервер.мейл-сервер.

При каждом скачивании новых вирусных записей При каждом скачивании новых вирусных записей осуществляется сканирование всех входных ящиков осуществляется сканирование всех входных ящиков пользователей. Если обнаружены мэйлы с вирусом, то пользователей. Если обнаружены мэйлы с вирусом, то автоматически запускается автоматически запускается разработанный разработанный скрипт на удаление скрипт на удаление заражённых мейлов. заражённых мейлов. ЗамечаниеЗамечание: : антивирус, антиспам, другие автоматические процедуры антивирус, антиспам, другие автоматические процедуры

безопасности потребляют вычислительную мощность. безопасности потребляют вычислительную мощность. 95%95% загрузки загрузки компьютера по каналам ввода/вывода и по процессору - совсем не компьютера по каналам ввода/вывода и по процессору - совсем не редкость (периодами по полчаса и более).редкость (периодами по полчаса и более).

За счёт центральной дирекции удалось За счёт центральной дирекции удалось приобреприобрестисти лицензи лицензиюю на на антивирусную программу для прокси-сервера ПИЯФ.антивирусную программу для прокси-сервера ПИЯФ.


Что происходит с вычислениями в Что происходит с вычислениями в

миремире• Появились и используются «Появились и используются «облачные вычисленияоблачные вычисления» »

((cloud computingcloud computing) – ) – предоставление любого рода предоставление любого рода

компьютерных ресурсов на основе технологии компьютерных ресурсов на основе технологии

виртуальных машин - виртуальных машин - http://aws.amazon.com/ec2/http://aws.amazon.com/ec2/ - -

elastic compute cloudelastic compute cloud (17 (17c/hour)c/hour) – – очень перспективноочень перспективно..

• Дополнительная инфо по кластерам, «облакам», Дополнительная инфо по кластерам, «облакам»,

«гридам» - «гридам» - http://www.ClusterGate.RUhttp://www.ClusterGate.RU


Наши публикации по кластерам в Наши публикации по кластерам в

2008 году2008 году

Вышел мой обзор «Вышел мой обзор «Комплект пакетов Комплект пакетов

gLite gLite в в Scientific LinuxScientific Linux» в журнале » в журнале

««Linux Format (Russian)Linux Format (Russian)» №» №11, 11, №12.№12.

Documents

Сессия Ученого совета ОФВЭ 24 декабря 2008 года