Проведение а нализ а данных ATLAS с применением программы GANGA

22 декабря 2006 г. 1Рабочее совещание ATLAS

Проведение аПроведение анализнализаа данных данных

ATLAS с применением ATLAS с применением

программы GANGAпрограммы GANGA

Шиякова Мария МариноваНЭОВП - ATLAS


● Данные ATLAS будут храниться в

разных вычислительных центрах

(ВЦ) (~50).

● Доступ к данным будет

осуществляться только средствами

Грид

● Задачи анализа будут запускаться

в тех же ВЦ, где находятся

данные, и для это нужно

подходящее программное

обеспечение.


Запуск задачи анализа без Запуск задачи анализа без применения программы-интерфейсаприменения программы-интерфейса1.1. Найти, где находятся анализируемые данныеНайти, где находятся анализируемые данные

2.2. Проверить, установлено ли в этом ВЦ требуемое программное Проверить, установлено ли в этом ВЦ требуемое программное

обеспечение соответствующей версии обеспечение соответствующей версии

3.3. Написать сценарий на языке JDL, который будет управлять Написать сценарий на языке JDL, который будет управлять

удаленным запуском конкретной задачиудаленным запуском конкретной задачи

4.4. Запустить задачу на выполнение командами LCGЗапустить задачу на выполнение командами LCG

5.5. Проверить, что задача выполненаПроверить, что задача выполнена

6.6. Скопировать выходные файлы на локальный компьютер или SE Скопировать выходные файлы на локальный компьютер или SE

ГридГрид

7.7. При необходимости создать новый набор данных (dataset), и При необходимости создать новый набор данных (dataset), и

зарегистрировать в нем свои файлызарегистрировать в нем свои файлы

8.8. Повторить все действия для каждого набора анализируемых данных Повторить все действия для каждого набора анализируемых данных

и процедуры анализаи процедуры анализа


Prodsys – ориентирована на массовые вычисления

(моделирование Монте-Карло). Мало пригодна для запуска

задач анализа

Panda – – создана американскими учеными и ориентирована на создана американскими учеными и ориентирована на

американские ВЦ и Грид (OSG)американские ВЦ и Грид (OSG)

GANGAGANGA – – создана в ЦЕРНе для работы в LCG. Пригодна для создана в ЦЕРНе для работы в LCG. Пригодна для

запуска как задач анализа, так и задач пользовательского запуска как задач анализа, так и задач пользовательского

моделированиямоделирования

Для упрощения раcпределенного

анализа данных ATLAS существуют

программы:


Задача с точки зрения GANGAЗадача с точки зрения GANGA

Приложение

(Athena)

Вычислительная

платформа

Входной набор данных

Выходной набор данных

Исходные данные

Результаты вычислений

Грид, локальная ферма ...

Какую программу запустить

зад

ача


Ganga формирует сценарий запуска задачи в гриде и его Ganga формирует сценарий запуска задачи в гриде и его

выполняетвыполняет::

находит исходные данныенаходит исходные данные

посылает задачу на вычисление в соответствующий ВЦ посылает задачу на вычисление в соответствующий ВЦ

и возвращает результат.и возвращает результат.

Одновременно обеспечивается мониторинг.Одновременно обеспечивается мониторинг.

Ganga ориентирована на тех физиков, которые хотят использовать Грид для Ganga ориентирована на тех физиков, которые хотят использовать Грид для

вычислений, но не хотят разбираться в деталях его устройствавычислений, но не хотят разбираться в деталях его устройства. .


Способы работы с GANGAСпособы работы с GANGA

Командная строка Командная строка

gangaganga Ctrl+dCtrl+d Графическая оболочка Графическая оболочка

ganga --guiganga --gui меню Job/Quitменю Job/Quit

22 декабря 2006 г. Рабочее совещание ATLAS 8

Задача в командной строке

j = Job()j = Job()

j.name='athena_lcg_dq2, LYON, DQ2_LOCAL, 5300'j.name='athena_lcg_dq2, LYON, DQ2_LOCAL, 5300'

j.application=Athena()j.application=Athena()

j.application.prepare()j.application.prepare()

j.application.option_file='/afs/cern.ch/user/s/shiykov/athena/testarea/11.0.5/j.application.option_file='/afs/cern.ch/user/s/shiykov/athena/testarea/11.0.5/InstallAra/jobOptions/UserAnalysis/AnalysisSkeleton_jobOptions.pyInstallAra/jobOptions/UserAnalysis/AnalysisSkeleton_jobOptions.py''

j.inputdata=DQ2Dataset()j.inputdata=DQ2Dataset()

j.inputdata.type='DQ2_LOCAL'j.inputdata.type='DQ2_LOCAL'

j.inputdata.dataset="user.MariyaShiyakova.DrellYan.v001"j.inputdata.dataset="user.MariyaShiyakova.DrellYan.v001"

j.outputdata=DQ2OutputDataset()j.outputdata=DQ2OutputDataset()

j.outputdata.outputdata=['AnalysisSkeleton.root']j.outputdata.outputdata=['AnalysisSkeleton.root']

j.backend=LCG()j.backend=LCG()

#j.backend.CE='cclcgceli02.in2p3.fr:2119/jobmanager-bqs-short'#j.backend.CE='cclcgceli02.in2p3.fr:2119/jobmanager-bqs-short'

j.submit()j.submit()


Все команды с предыдущего слайда можно Все команды с предыдущего слайда можно

объединить в исполняемой файл объединить в исполняемой файл primer.pyprimer.py и и

запустить в командной строке Ganga:запустить в командной строке Ganga:In[1]: execfile('/afs/cern.ch/user/s/shiykov/primer.py') In[1]: execfile('/afs/cern.ch/user/s/shiykov/primer.py')

j.submit()j.submit()

другие командыдругие команды::jobsjobs

print jobs[25]print jobs[25]

j26=j25.copy()j26=j25.copy()

jobs[25].kill()jobs[25].kill()

jobs[25].remove()jobs[25].remove()


При запуске задачи Athena можно При запуске задачи Athena можно

дополнительно указать параметры:дополнительно указать параметры:

-Версия Athena-Число событий-Файл с

дополнительными

опциями-Название файла с

выходными данными

-Вычислительный центр (CE)-Системные требования (время CPU, …)-Версия программного обеспечения Грид


Графическая среда GUIГрафическая среда GUI






Где искать выходные данные?Где искать выходные данные?

GANGA может скопировать выходные файлы на компьютер, с GANGA может скопировать выходные файлы на компьютер, с

которого запускалась задача. В этом случае по завершении задачи которого запускалась задача. В этом случае по завершении задачи

результат можно найти в директории результат можно найти в директории

~/.gangadir/workspace/output/<jobId>~/.gangadir/workspace/output/<jobId>

Либо может оставить файлы на хранение в удаленном ВЦ, Либо может оставить файлы на хранение в удаленном ВЦ,

зарегистрировав их в каталоге Грид и создав новый набор данных зарегистрировав их в каталоге Грид и создав новый набор данных

( dataset ) в DQ2:( dataset ) в DQ2:

user.username.ganga.jobiduser.username.ganga.jobid

Удобно при больших объемах выходных данныхУдобно при больших объемах выходных данных

Доступ к данным средствами DQ2 ( Доступ к данным средствами DQ2 ( dq2_ls, dq2_getdq2_ls, dq2_get …) …)


Что нужно, чтобы запустить GANGA прямо Что нужно, чтобы запустить GANGA прямо

сейчассейчас

ДействительнДействительныый сертификатй сертификат пользователя пользователя Грид Грид

Доступ к уДоступ к установленностановленномуму программно программномуму обеспечени обеспечениюю (Athena, (Athena,

DQ2, LCG, Ganga)DQ2, LCG, Ganga)

установлено на установлено на lxplus.cern.ch, lxpub.jinr.ru …lxplus.cern.ch, lxpub.jinr.ru …

Иметь свою программу анализа и знать какие данные Иметь свою программу анализа и знать какие данные

анализироватьанализировать

Для работы в командной строке нужно иметь представление о Для работы в командной строке нужно иметь представление о

языке Pythonязыке Python


ЗаключениеЗаключение

В ОИЯИ накоплен опыт использования программы GANGA для В ОИЯИ накоплен опыт использования программы GANGA для

запуска задач анализа данных ATLASзапуска задач анализа данных ATLAS

Желающие использовать эту программу в своей работе могут Желающие использовать эту программу в своей работе могут

обращаться с вопросами ко мне (обращаться с вопросами ко мне ([email protected]@jinr.ru, т.63996, 4 корпус , т.63996, 4 корпус

ЛЯП, комната 330)ЛЯП, комната 330)

... или на форум ... или на форум http://atlasinfo.jinr.ru/forumhttp://atlasinfo.jinr.ru/forum

Можно организовать практическое учебное занятиеМожно организовать практическое учебное занятие

Documents

Проведение а нализ а данных ATLAS с применением программы GANGA