Новые сервисные функции общего

архива наблюдательных данных САО РАН

Желенкова О.П., ПляскинаТ.А., Витковский В.В., Шергин В.С., Черненков В.Н., Малькова

Г.А. САО РАН (Нижний Архыз)

BRIS-VII, 22-25 июля 2014 1

Общий архив наблюдательных данных САО РАН

Основной архив

Форматы данных: FITS, RFLEX, BINARY

Локальные архивы: 16

Оптика: 225 CD/DVD

Радио: 7CD

Итого: 232 CD/DVD

Среднесуточный поток данных

100 MB 1 MB

Объем архива (compressed)

329 GB 4 GB

Число файлов 352000 46000

оптика радио

Локальные архивы

BRIS-VII, 22-25 июля 2014 2

Архив Телескоп Число CD/DVD

Число файлов

Объем (MB, gzip)

Период

LYNX 6m 8 2106 1806 1996.02 - 2002.05

NES 6m 48 22113 76351 1998.03-2011.09

PFES 6m 6 2296 1993 1996.08 - 2001.01

MPFS 6m 27 17998 31030 1996.08 – 2009.10

IFP 6m 2 4503 1090 1997.05 - 2000.03

MOFS 6m 1 1059 642 1997.03 - 2001.08

SCORPIO 6m 46 122557 128333 2000.09 – 2013.11

UAGS 6m 9 21696 4698 1994.11-2005.10

CCD 6m 4 6011 2493 1996.02 - 2000.04

SP124 6m 3 11676 1421 1996.02 – 2000.12

MSS 6m 10 14214 10192 1996.05 – 2012.02

ZMCCD z1000 31 91633 63970 1996.12 – 2013.11

ZUAGS z1000 10 17418 4906 1998.04 - 2012.02

CEGS z1000 3 611 947 1997.03 – 2010.10

Z600 z600 8 15951 4928 1996.01 - 2001.06

RATAN RATAN 7 45921 1735 1996.06 - 1999.01

3BRIS-VII, 22-25 июля 2014

Характеристики локальных архивов

Объем и темп прироста данных

Состав общего архива наблюдений САО

По типу наблюдений:Прямые снимки 48%Эшелле-спектры 10%Длинная щель 16%Мультиобъектная спектроскопия 14%Фабри-Перо 12%Не определяются алгоритмом <0.1%

По локальным архивам (к-во файлов):

Примеры наблюдательных данных

BRIS-VII, 22-25 июля 2014 5

BRIS-VII, 22-25 июля 20146

Архивная система включает область хранения (SF) и информационно-поисковую систему (SIS)

SFCD/DVD (I)

CD/DVD (II)

PR

IME

(ори

гина

лы

C

CD

/DV

D д

иск

ов)

CD/DVD disks description

CD/DVD disks logs

Soft & DocsDA

TA

(дан

ные,

по

дго

товл

енны

е д

ля

ИП

С)

SIS

backup ИПС

USB-disk (DATA+programs

)

ОБЛАСТЬ ХРАНЕНИЯ АРХИВНОЙ СИСТЕМЫ

2 копии архивных данных на CD/DVD-дисках – MASTER (I) и COPY (II); на выделенном сервере для рабочего варианта ИПС - PRIME и DATA (объем ~1ГБ); на файл-сервере для тестового варианта ИПС - PRIME и DATA (объем ~1ГБ); копия DATA+программный пакет на USB-накопителе полный back-up ИПС, включающий две копии данных,

сервисные файлы и программное обеспечение.

BRIS-VII, 22-25 июля 2014 7

Основные требования к организации данных в архиве

BRIS-VII, 22-25 июля 2014

8

Архивный CD/DVD диск включает метку диска и каталоги с данными Каталог на диске содержит наблюдения одной даты Имя каталога – это дата наблюдений Одно наблюдение – один файл Нет ограничений на формат файлов

СТАНДАРТНЫЕ ЗАПРОСЫ дата наблюдений координаты имя источника название программы наблюдений заявитель программы фильтр тип файла тип наблюдений

OASIS (Observation Archive Search Information System) информационно-поисковая система общего архива наблюдений

ИПС архивной системы (архитектура «клиент-сервер приложений-сервер БД) =>база данных (ОС Fedora 12, СУБД PostgreSQL 8.4), включающая 17 таблиц и представлений, web-интерфейс (Perl, CGI, DBD/DBI), реализующий набор стандартных запросов (по дате, координатам, имени объекта, автору программы, типу файла, программе наблюдений) и http-копирование данных

Стандартные запросы, кроме выбора данных по дате наблюдения, из-за отсутствия необходимых параметров в заголовках файлов реализуются к части наблюдательных файлов:Нет значений координат 17%Нет имени объекта 4%Не определено название программы 30%Не определен заявитель 29%Не определены наблюдатели 29%BRIS-VII, 22-25 июля 2014 9

Схема таблиц ИПС OASIS

Каждый файл описывается в ИПС набором из ~60 параметров, которые используются для динамического формирования веб-интерфейса, установления соответствия параметров FITS-заголовка и атрибутов таблиц ИПС , идентификации файлов, определения типа файла и т.п.Одни таблицы схемы являются справочниками, другие - содержат параметры, описывающие каждый наблюдательный файл.

BRIS-VII, 22-25 июля 2014 10

Веб-интерфейс ИПС архива наблюдений (I)

BRIS-VII, 22-25 июля 2014 11

Веб-интерфейс ИПС архива наблюдений (II)

BRIS-VII, 22-25 июля 2014 12

Модернизация веб-интерфейса OASIS

13

I. Обновлен сервис визуализации данных с возможностью контроля координатной привязки.II. Проведена массовая коррекция FITS-заголовков архива SCORPIO (~120 тыс. файлов) и привязка прямых снимков (~22 тыс. файлов).III. Авторизованный доступ для заявителей и наблюдателей к закрытым данным.

Веб-интерфейс ИПС архива наблюдений (IV)

BRIS-VII, 22-25 июля 2014 14

Модернизация веб-интерфейса OASISи FITS-заголовок для прямых снимков

15

BITPIX = 16 / No. of bits per pixelNAXIS = 2 / No. of axes in matrixNAXIS1 = 1044 / No. of pixels in XNAXIS2 = 1046 / No. of pixels in YBSCALE = 1.00 / REAL = TAPE*BSCALE + BZEROBZERO = 32768.0 / DATAMAX = 9448.0 / MAX PIXEL VALUEDATAMIN = 78.0 / MIN PIXEL VALUEDATE = '2011-03-31T21:15:58.673' / UTC date this file was writtenCREATOR = 'CCDServer v2.1' / ACQUSITION SYSTEMDATE-OBS= '2011-03-31T21:15:43.007' / UTC date of Observation startTELESCOP= 'BTA 6-meter' / TELESCOPE NAMEINSTRUME= 'SCORPIO ' / INSTRUMENTOBSERVER= 'Makarov, Uklein' / OBSERVERSOBJECT = ' G18.1+2' / NAME OF IMAGEPROG-ID = 'Groups of dwarf galaxies' / observational programAUTHOR = 'Makarov ' / AUTHOR OF PROGRAMFILE = 'S8560202.FTS' / original name of input fileIMAGETYP= 'obj' / object, flat, dark, bias, scan, eta, neon, pushORIGIN = 'SAO RAS ' / observatorySTART = '01:15:47' / measurement start time (local) (hh:mm:ss)EXPTIME = 10.0 / actual integration time (sec)CAMTEMP = 143.251 / camera temperature (K)DETECTOR= 'EEV CCD42-40' / detectorRATE = 160.0 / readout rate (KPix/sec)GAIN = 1.946 / gain, electrons per aduNODE = 'B' / output node (A, B, AB)BINNING = '2x2' / binningPXSIZE = '27.0 x 27.0' / pixel size (mkm x mkm)UTC = 76543.200 / UTC at exposure start (sec) 21:15:43.20LST = 45424.730 / Local sidereal time (sec) 12:37:04.73RA = 165.3988782 / Right Ascension (degr.) 11:01:35.73DEC = 30.5988931 / Declination (degr.) +30:35:56.0EPOCH = 2000.0 / EPOCH OF RA AND DECZ = 22.9 / zenith distanceA = 63.0 / azimuthPARANGLE= 48.4 / parallactic angleROTANGLE= 127.7 / field rotation angleSEEING = ' 1.5 ' / seeingFILTER = ' ' / filterFOCUS = 40.63 / focus of telescope (mm)IMSCALE = '0.355 x 0.355' / image scale ("/Pix x "/Pix)SLITWID = / slit width (")MIRRTEMP= 2.4 / mirror temperature (C)DOMETEMP= 0.7 / dome temperature (C)OUTTEMP = 0.6 / outside temperature (C)WIND = 5.3 / wind (m/s)CLOUDS = 0 / clouds (%)PRESSURE= 596.1 / pressureMODE = 'Image ' / mode of instrumentDISPERSE= ' ' / disperser, dispersion A/pxSPERANGE= ' ' / spectral coverageSLITMASK= / slit maskSLITPOS = / slit coordinates in 2x2 mapORDER = / order of dispersion TILTPOSTILTPOS = ' ' / tilt positionFILTERS = ' ' / name of both wheelsFILTPOS1= 0 / position of wheel number 1FILTPOS2= 0 / position of wheel number 2POLAMODE= / CAMFOCUS= 5.59 / focus of reducer (mm)COLFOCUS= / FOCUS OF COLLIMATORQGCONST = / Queensgate constantLSCAN = / wavelength of IFP scanCHANNEL = / IFP channelHISTORY COMMENT ' MJD-OBS = 55651.8859144 / Modified Julian Date of observationAIRMASS = 1.08538 / airmass for current zenith distanceWCSAXIS = 2 / Number of WCS axesCTYPE1 = 'RA---TAN' / RA-Gnomic projectionCUNIT1 = 'deg' / RA units - degreesCRPIX1 = 466.3 / X reference pixelCRVAL1 = 165.3988782 / RA of reference pixelCTYPE2 = 'DEC--TAN' / Decl-Gnomic projectionCUNIT2 = 'deg' / Decl units - degreesCRPIX2 = 551.0 / Y reference pixelCRVAL2 = 30.5988931 / Decl of reference pixelEQUINOX = 2000.0 / Equinox of equatorial coordinatesRADECSYS= 'FK5' / using FK5 coordinates systemCD1_1 = -0.0000592925 / rotation matrix coefficient [1,1]CD1_2 = 0.0000786492 / rotation matrix coefficient [1,2]CD2_1 = 0.0000786492 / rotation matrix coefficient [2,1]CD2_2 = 0.0000592925 / rotation matrix coefficient [2,2]HISTORY scorpio_wcs: dA=0.01dgr. Scale=0.3546 dX=-54.7 dY=30.0 END

Веб-интерфейс OASIS – on-fly визуализация

16

17

планирование наблюдательного времени (подача заявки, рецензирование, составление расписания наблюдений)подготовка наблюдательного экспериментанаблюдение (телевизионный контроль погодных условий и телескопа, управление телескопом, управление приемниками, регистрация и сбор наблюдательных данных, протокол наблюдений)архивизация наблюдательных данных (помещение в область постоянного хранения, контроль корректности параметров, доступ к данным)получение научных данных (первичная обработка, фотометрическая и координатная калибровка)доступ к данным (веб-доступ, доступ, совместимый со стандартами виртуальной обсерватории)

Наблюдательный цикл

18

Планирование наблюдательного времени – on-line заявка на наблюдательное время и составление расписания наблюдений

6-м телескоп БТА (с 2003 г.) Цейсс-1000 (с 2000 г.)

Цейсс-2000 (2005 г.)

On-line заявка. Веб-интерфейс (I)

Поддерживается архив заявокс 1993 года. Текстовые версии заявок импортировались в базу данных с помощью авторской утилиты.

В системе реализованы функции для трех групп пользователей с разным уровнем привилегий при работе с информацией и соответственно с отличающимися по функциональности веб-интерфейсами:user – доступ только к своим заявкам, просмотр расписания;expert – просмотр всех заявок и расписания;administrator – доступ ко всем данным, составление расписания, поддержка системы.

On-line заявка. Веб-интерфейс (II)

Составление расписания. Веб-интерфейс (I)

Составление расписания. Веб-интерфейс (II)

23

Веб-приложение для интерактивного заполнения журнала наблюдений БТА и архивизации протоколов ночи

Спасибо за внимание!

Работа поддержана грантами РФФИ: 07-07-00415, 10-07-00412 и 11-07-00108

Информационно-поисковая система архива наблюдений обсерватории: http://oasis.sao.ru/oasis/cgi-bin/fetch?lang=ru

BRIS-VII, 22-25 июля 2014 24