Интеграция программных системподдержки
астрофизических наблюдений
. . , . . , ОП Желенкова ВН Черненков. . , . . , . . ВС Шергин ТА Пляскина ВВ
Витковский
, Специальная астрофизическая обсерватория РАН Нижний Архыз
ИнструментыАрхивыданных
патрульные миссии
Результаты
Сервисыработы
с данными---------------
Анализ, раскопки данных,
целевой поиск
Цифровыебиблиотеки
Виртуальнаяобсерватория
RCDL-2012, Переславль-Залесский2
Астрономическая информация
RCDL-2012, Переславль-Залесский3
Этапы выполнение астрофизической задачи
4
HST Scheduling Process
ESO Data Flow System
RCDL-2012, Переславль-Залесский5
DFS поддерживает сервисы:
(1) подготовка заявок на наблюдения;
(2) проверка и рецензирование заявок с планированием наблюдений;
(3) условия наблюдений для принятых заявок и передача их параметров в систему для последующего выполнения;
(4) динамическое планирование наблюдений с учетом требований пользователя и погодных условий;
(5) сбор данных и on-line архивирование;
(6) обработка данных с обеспечением проверки качества и создание готовых к научному анализу данных;
(7) долгосрочное хранение данных с обеспечением быстрого доступа;
(8) предоставление данных заявителям программ, а также исследователям, работающим с архивными данными.
RCDL-2012, Переславль-Залесский6
Система базируется на :• Блок наблюдений – соединение цели наблюдений
и инструментальные требования • Конвейер для каждого инструмента, чтобы
обеспечить калибровку в реальном времени• Активное планирование наблюдений и мониторинг
погоды• Оперативный архив и научный архив • Контроль качества (данных, калибровок, состояния
инструментов)
DFS
ESO Data Flow System
RCDL-2012, Переславль-Залесский7
Уровни архивной системы:• Level 1 : bits in/bits out• Level 2 :
—Storage + processing—Data Association
• Level 3 :—Archive projects—Meta-data construction—Data mining tools
Virtual Observatory Functions
Proposal Preparation and
SubmissionObservation Preparation
ObservationScheduling
Monitor and Control System
Antenna Feed Receiver IF System
Local Oscillator
Fiber Optics Transmission
System
Correlator
Image PipelineData Archive Data Post-Processing
Principal EVLA Subsystems
NRAO Data Management Group (e2e project)
Canadian Partner
EVLA Project
Primary data flow
Control and monitor flow
CBE
RCDL-2012, Переславль-Залесский10
постановка астрофизической задачи (выбор объектов, выбор метода наблюдений)планирование наблюдательного времени (подача заявки, рецензирование, планирование наблюдательного времени)подготовка наблюдательного экспериментанаблюдение (управление телескопом, управление приемниками, регистрация и сбор наблюдательных данных, протокол наблюдений)архивизация наблюдательных данных (помещение в область постоянного хранения, контроль корректности параметров, доступ к данным)получение научных данных (первичная обработка, фотометрическая и координатная калибровка)доступ к данным (веб-доступ, ВО-доступ)интерпретация полученных результатов (анализ, сравнение с другими данными, сравнение с теоретическими моделями)публикация
Наблюдательный цикл
RCDL-2012, Переславль-Залесский11
Планирование наблюдательного времени – система on-line заявки на наблюдательное время и составление расписания наблюдений
RCDL-2012, Переславль-Залесский12
Наблюдение – Веб-приложение для интерактивного заполнения журнала наблюдений БТА и архивизации протоколов ночи
RCDL-2012, Переславль-Залесский13
Архивизация наблюдательных данных – архивная система обсерватории
файлы -289375файлы с объектами – 215437Небесные объекты, разрешаемык через CDS – 3909Количество целей - 11023Число записей в БД - 536958
14
Архивная система включает область хранения (SF) и информационно-
поисковую систему (SIS)
SF
CD/DVD (I)
CD/DVD (II)
Prim
ary
copi
es
of C
D/D
VD
dis
ks
CD/DVD disks description
CD/DVD disks logs
Soft & Docs
SIS
sto
rage
are
a
SIS
USB disk
RCDL-2012, Переславль-Залесский
Схема таблиц и web-интерфейс ИПС архивной системы обсерватории
RCDL-2012, Переславль-Залесский15
Обработка данных Коррекция инструментальных эффектов Коррекция атмосферных эффектов Выделение научных данных из фона и шума
Астрономические стандарты (привязка положения, потока)
Инструментальные стандарты
RCDL-2012, Переславль-Залесский16
Обработка наблюдений
1. Необработанное изображение
2. «плоское» поле
3. Оценка фона неба
4. Коррекция FF и вычитание фона
5. Сложение нескольких кадров
6. Астрометрия и фотометрия
RCDL-2012, Переславль-Залесский17
Получение научных данных – координатная калибровка Автоматическая координатная привязка прямых изображений с использованием веб-сервисов IVOA
Освоение и/или разработка основных модулей автоматической координатной коррекции прямых снимков;
Комплексирование в автоматический процесс;
Получение science-ready изображений и каталогов в WCS;
Публикация в AstroGrid на локальном SkyNodeИспользуемые технологии и программные средства: HTTP+XML-RPC(C, bash, Python) Linux, Apache, Tomcat+Java+PostgreSQL Gestalt (J.Brewer), DSA,ADQL (AstroGrid) wcstools(D.Mink),SExtractor,SWarp(E.Bertin)
RCDL-2012, Переславль-Залесский18
Оптимизация количества суммируемых
кадров
Оцифровка сигнала ТВ-камеры
Система управлениядинамическимдиапазоном
Маскирование «горячих» пикселей, фильтрация периодических помех,
растровая коррекция,вычитание фона
Формирование FITS сWCS параметрами
на J2000
A , Z , PARA, DEC, Т,метео-данные,status
СУ БТА
FTP, HTTP
Верхняя научная площадкаОбработка в реальном времени
RCDL-2012, Переславль-Залесский19
Архивизация
FITS
Статус СУ БТА
Коррекция WCS
WCSfix - клиент WCSfix-сервер
Выделение звёзд,генерация каталогаопорных источниковЗапрос каталога поля
Кроссидентификация
Вычисление Коэффициентовлинейной трансформации
VO
SkyNodeADQL
Сложениеполей, генерация атласа и
каталога
Среда AstroGrid
Обработка в квазиреальномвремени
RCDL-2012, Переславль-Залесский20
RCDL-2012, Переславль-Залесский21
Спасибо за внимание!Работа поддержана грантами РФФИ 07-10-00412 , 07-11-00108 и 12-07-00503
RCDL-2012, Переславль-Залесский22