Интеграция программных систем поддержки...

Интеграция программных системподдержки

астрофизических наблюдений

. . , . . , ОП Желенкова ВН Черненков. . , . . , . . ВС Шергин ТА Пляскина ВВ

Витковский

, Специальная астрофизическая обсерватория РАН Нижний Архыз

ИнструментыАрхивыданных

патрульные миссии

Результаты

Сервисыработы

с данными---------------

Анализ, раскопки данных,

целевой поиск

Цифровыебиблиотеки

Виртуальнаяобсерватория

RCDL-2012, Переславль-Залесский2

Астрономическая информация

RCDL-2012, Переславль-Залесский3

Этапы выполнение астрофизической задачи

4

HST Scheduling Process

ESO Data Flow System

RCDL-2012, Переславль-Залесский5

DFS поддерживает сервисы:

(1) подготовка заявок на наблюдения;

(2) проверка и рецензирование заявок с планированием наблюдений;

(3) условия наблюдений для принятых заявок и передача их параметров в систему для последующего выполнения;

(4) динамическое планирование наблюдений с учетом требований пользователя и погодных условий;

(5) сбор данных и on-line архивирование;

(6) обработка данных с обеспечением проверки качества и создание готовых к научному анализу данных;

(7) долгосрочное хранение данных с обеспечением быстрого доступа;

(8) предоставление данных заявителям программ, а также исследователям, работающим с архивными данными.

RCDL-2012, Переславль-Залесский6

Система базируется на :• Блок наблюдений – соединение цели наблюдений

и инструментальные требования • Конвейер для каждого инструмента, чтобы

обеспечить калибровку в реальном времени• Активное планирование наблюдений и мониторинг

погоды• Оперативный архив и научный архив • Контроль качества (данных, калибровок, состояния

инструментов)

DFS

ESO Data Flow System

RCDL-2012, Переславль-Залесский7

Уровни архивной системы:• Level 1 : bits in/bits out• Level 2 :

—Storage + processing—Data Association

• Level 3 :—Archive projects—Meta-data construction—Data mining tools

Virtual Observatory Functions

Proposal Preparation and

SubmissionObservation Preparation

ObservationScheduling

Monitor and Control System

Antenna Feed Receiver IF System

Local Oscillator

Fiber Optics Transmission

System

Correlator

Image PipelineData Archive Data Post-Processing

Principal EVLA Subsystems

NRAO Data Management Group (e2e project)

Canadian Partner

EVLA Project

Primary data flow

Control and monitor flow

CBE

RCDL-2012, Переславль-Залесский10

постановка астрофизической задачи (выбор объектов, выбор метода наблюдений)планирование наблюдательного времени (подача заявки, рецензирование, планирование наблюдательного времени)подготовка наблюдательного экспериментанаблюдение (управление телескопом, управление приемниками, регистрация и сбор наблюдательных данных, протокол наблюдений)архивизация наблюдательных данных (помещение в область постоянного хранения, контроль корректности параметров, доступ к данным)получение научных данных (первичная обработка, фотометрическая и координатная калибровка)доступ к данным (веб-доступ, ВО-доступ)интерпретация полученных результатов (анализ, сравнение с другими данными, сравнение с теоретическими моделями)публикация

Наблюдательный цикл

RCDL-2012, Переславль-Залесский11

Планирование наблюдательного времени – система on-line заявки на наблюдательное время и составление расписания наблюдений

RCDL-2012, Переславль-Залесский12

Наблюдение – Веб-приложение для интерактивного заполнения журнала наблюдений БТА и архивизации протоколов ночи

RCDL-2012, Переславль-Залесский13

Архивизация наблюдательных данных – архивная система обсерватории

файлы -289375файлы с объектами – 215437Небесные объекты, разрешаемык через CDS – 3909Количество целей - 11023Число записей в БД - 536958

14

Архивная система включает область хранения (SF) и информационно-

поисковую систему (SIS)

SF

CD/DVD (I)

CD/DVD (II)

Prim

ary

copi

es

of C

D/D

VD

dis

ks

CD/DVD disks description

CD/DVD disks logs

Soft & Docs

SIS

sto

rage

are

a

SIS

USB disk

RCDL-2012, Переславль-Залесский

Схема таблиц и web-интерфейс ИПС архивной системы обсерватории

RCDL-2012, Переславль-Залесский15

Обработка данных Коррекция инструментальных эффектов Коррекция атмосферных эффектов Выделение научных данных из фона и шума

Астрономические стандарты (привязка положения, потока)

Инструментальные стандарты

RCDL-2012, Переславль-Залесский16

Обработка наблюдений

1. Необработанное изображение

2. «плоское» поле

3. Оценка фона неба

4. Коррекция FF и вычитание фона

5. Сложение нескольких кадров

6. Астрометрия и фотометрия

RCDL-2012, Переславль-Залесский17

Получение научных данных – координатная калибровка Автоматическая координатная привязка прямых изображений с использованием веб-сервисов IVOA

Освоение и/или разработка основных модулей автоматической координатной коррекции прямых снимков;

Комплексирование в автоматический процесс;

Получение science-ready изображений и каталогов в WCS;

Публикация в AstroGrid на локальном SkyNodeИспользуемые технологии и программные средства: HTTP+XML-RPC(C, bash, Python) Linux, Apache, Tomcat+Java+PostgreSQL Gestalt (J.Brewer), DSA,ADQL (AstroGrid) wcstools(D.Mink),SExtractor,SWarp(E.Bertin)

RCDL-2012, Переславль-Залесский18

Оптимизация количества суммируемых

кадров

Оцифровка сигнала ТВ-камеры

Система управлениядинамическимдиапазоном

Маскирование «горячих» пикселей, фильтрация периодических помех,

растровая коррекция,вычитание фона

Формирование FITS сWCS параметрами

на J2000

A , Z , PARA, DEC, Т,метео-данные,status

СУ БТА

FTP, HTTP

Верхняя научная площадкаОбработка в реальном времени

RCDL-2012, Переславль-Залесский19

Архивизация

FITS

Статус СУ БТА

Коррекция WCS

WCSfix - клиент WCSfix-сервер

Выделение звёзд,генерация каталогаопорных источниковЗапрос каталога поля

Кроссидентификация

Вычисление Коэффициентовлинейной трансформации

VO

SkyNodeADQL

Сложениеполей, генерация атласа и

каталога

Среда AstroGrid

Обработка в квазиреальномвремени

RCDL-2012, Переславль-Залесский20

RCDL-2012, Переславль-Залесский21

Спасибо за внимание!Работа поддержана грантами РФФИ 07-10-00412 , 07-11-00108 и 12-07-00503

RCDL-2012, Переславль-Залесский22