Параллельная поисковая машина для сверх-больших баз...

Параллельная поисковая машина для сверх-больших баз данных по окружающей

среде

Михаил Жижин, ИФЗ РАН

jjn@wdcb.ru

Eric Kihn, NGDC NOAA

ekihn@ngdc.noaa.gov

План семинара

Генератор погодных сценариев ESG и нечеткий поиск данных

Интерактивный ресурс данных по солнечно-земной физике SPIDR и моделирование космической погоды

Архив изображений Земли из космоса SABR

Ключевые слова и технологии

ООП, параллельные вычисления, распределенные базы данных

Искусственный интеллект и нечеткие множества

Компьютерные кластеры Linux, Web (DHTML), XML, Java, JSP, RMI,

SOAP, Web services Переносимость и масштабируемость Open Source

Что мы храним и ищем?

Пользователи Проекты Среды

Флот ESG Океан

Авиация, экология, метеорология

Климат и атмосфера

Связь и навигация, GPS

SPIDR Ионосфера

Спутниковые операторы

Магнитосфера и космос

Наблюдения Земли из космоса

SABR Спутники

Параллельная поисковая машина

Ищет события как определенные условия и/или тренды в архивах данных

Реализована на вычислительном кластере с распределенными базами данных и параллельными алгоритмами их обработки

Подключение сетевых клиентов к поисковой машине не требует особых вычислительных затрат и трафика

Основные модели данных

Временные ряды на сетке - BLOBS Гранулирование по времени BLOBS зависит от

приложений: 1 год для климатических данных, 1 день космической погоды

Метаданные в формате XML, включая символьные выражения и формулы для виртуальных параметров (напр., скорость ветра)

Проекция на общую терминологическую базу метаданных

Протоколы и интерфейсы

JDBC (доступ к кластеру баз данных) Java RMI, JAX-RPC (модели данных

высокого уровня и распределенные синхронные сервисы)

JMS, JAXM (асинхронные сервисы на EJB платформe)

SMTP, Java Mail (синхронизация региональных узлов)

HTTP (доступ пользователей)

Модель данных ESG

N-CPU ClusterPressure level parametersSurface level parameters

Tim

e In

terlv

al 2

Tim

e In

terv

al N

...T

ime

inte

rval

1

CPU4D Grid

1-1

Distributed Environmental Data Model

CPU4D Grid

2-1

CPU4D Grid

N-1

CPU5D Grid

1-2

CPU5D Grid

2-2

CPU5D Grid

N-2

Time interval 1 =[Year 1, Year 2]

Time interval 2 =[Year 2, Year 3]

Time interval N =[Year N-1, Year N]

4D Grid =time X lat X lon X

parameter

5D Grid =time X lat X lon Xlevel X parameter

Поиск событий в ESG

Поиск и отбор источников данных Редактор сценариев нечеткого поиска Параллельный запрос в базы данных Нечеткий поиск событий Визуализация результатов поиска Экспорт данных, внешние сервисы

Поиск и отбор источников данных

Узлы и области на сетке

Временные ряды в узле

5-мерная визуализация в области

Поиск событий в терминах нечеткой логики

«классическое»множество

«нечеткое»множество

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.2

0.4

0.6

0.8

1

WSG lingustic variables

Mem

bers

hip

Gra

des Large

VeryLarge

SmallVerySmall

Medium

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.2

0.4

0.6

0.8

1

WSG numeric variables

X = normalized variable values

Mem

bers

hip

Gra

des

> 0.7< 0.2

0.4 < x < 0.6

~ 0.3

Нечеткие термины

Языковые Числовые

Очень большой Больше X0

Большой Равно X0

Средний Между X0 и X1

Малый Меньше X0

Очень малый

Нечеткая логика

First operand: fuzzy set A

Second operand: fuzzy set B

Fuzzy NOT

Fuzzy AND

Fuzzy OR

AA 1

BABA ,min

BABA ,max

Нечеткое И: Т-нормаОпределение:

)ityassociativ()),,(()),(,(

)itycommutativ(,,

)ymontonicit(,,and

)boundary(,1)1,(,00,0

,1,01,01,0:

cbaTTcbTaT

abTbaT

dcTbaTdbca

aaTaTT

xxTxT BABA

Примеры:

)productalgebraic(,

)minimum(),min(,min

abbaT

bababaT

ap

Формулы Ягера (Yager)

1,,1min,,

1,11,1min1,,1

1

qbaqbaS

qbaqbaT

q

q

qqY

qqY

Пределы:

maximum)(),max(,,lim

sum)bounded()(11,,

minimum)(),min(,,lim

product)bounded()1(01,,

baqbaS

babaS

baqbaT

babaT

Yq

Y

Yq

Y

Определение:

Гладкость норм Ягера

0

0.5

1(a) Two fuzzy sets A and B

A B

0

0.5

1(b) T-norm of A and B

0

0.5

1(c) T-conorm (S-norm) of A and B

a) Нечеткие функции принадлежностимножеств A и B;

b) T-нормы (И) для q = 1, 2, 5, и 50;

c) T-конормы (ИЛИ)для q = 1, 2, 5, и 50

Случай двух переменных

Многомерный поиск в ESG

Многомерные функции принадлежности в ESG задаются как конъюнкции (И) одномерных функций принадлежности для каждого параметра и узла

Например, «сильный ветер» И «средняя температура» И «влажность 60%»

В качестве оператора И используется Т-норма Ягера при q=5

January Wind Speed Record

0

5

10

15

20

1/1/97 1/6/97 1/11/97 1/16/97 1/21/97 1/26/97 1/31/97

Date

Win

d S

pee

d (

kts)

January Temperature Record

0

5

10

15

20

25

30

1/1/97 1/6/97 1/11/97 1/16/97 1/21/97 1/26/97 1/31/97

Date

Tem

per

atu

re (

deg

C)

January Relative Humidity Record

0

20

40

60

80

100

1/1/97 1/6/97 1/11/97 1/16/97 1/21/97 1/26/97 1/31/97

Date

Rel

. Hu

mid

ity

(%)

“High” Wind

“Average”Temperature

“About” 60%Humidity

Нечеткий запрос

Сценарий ESG

Результат нечеткого поиска

Интерактивное моделирование

Заполнить форму на счет модели

Собрать данные из сети

Рассчитать модель Визуализировать

результаты Вернуть ссылки на

графику и данные

Ocean API

Model run request

ESG Web/JSP server

SPIDR API

ESG visualization serverION - Java IDL wrapper

ESG API

NOAA Modeling cluster

Model runvisualiaztion and

output

Климатические модели ESG NCEP/NCAR CDAS/Reanalysis Project

Output Parameters: 1) pressure level data on 10 isentropic surfaces: horizontal winds, omega (dP/dt), geopotential height, specific/relative humidity, absolute vorticity and divergence on standard pressure levels every 6 hours; 2) total cloud cover, convective and total precipitation; 3) surface wind stress, latent/sensible heat flux, soil temperature/moisture, gravity wave drag, SST, 2m temperature, 2m humidity, 10m winds, runoff, mean sea level pressure, surface pressure, and snow. The data is available every 6 hours. The above list is not complete. URL: http://wesley.wwb.noaa.gov/reanalysis.html

COAMPS - Coupled Ocean/Atmosphere Mesoscale Prediction System Output Parameters: Similar to NCEP/NCAR modelURL: http://www.nrlmry.navy.mil/projects/coamps/

ACMES - Advanced Climate Modeling and Environmental Simulations Output Parameters: Similar to NCEP/NCAR modelURL: http://www.meso.com/meso/research/acmes/acmes.html

MM5 – 5th generation mesoscale model of atmospheric circulationOutput Parameters: Similar to NCEP/NCAR modelURL: http://www.mmm.ucar.edu/mm5/mm5-home.html

Космические модели ESG IRI - International Reference Ionosphere Model

Output Parameters: Electron density, electron temperature, ion temperature, ion composition (O+, H+, He+, NO+, O+2) URL: http://nssdc.gsfc.nasa.gov/space/model/models/iri.html

AMIE - Assimilative Mapping of Ionospheric Electrodynamics ModelOutput Parameters: Ionospheric electric potential distributionURL: http://www.hao.ucar.edu/public/research/tiso/amie/AMIE_head.html

MSM - Magnetospheric Specification ModelOutput Parameters: Electron and ion fluxes in the inner and middle magnetosphere; fluxes of electrons precipitating into the ionosphere; ionospheric electric fields; magnetic-field mapping informationURL: http://rigel.rice.edu/~freeman/dmb/index.html

PIM - Parameterized Ionospheric Specification ModelOutput Parameters: Electron density profiles (EDPs) between 90 and 25000 km altitude, corresponding critical frequencies and heights for the ionospheric E and F2 regions, and Total Electron Content (TEC)URL: http://users.primushost.com/~cpibos/

IONSCINT - Ionospheric Scintillation Simulation AlgorithmOutput Parameters: A simulated prediction of scintillation intensity throughout a specified theater for communication with a specified satellite.

Запрос модели IONSCINT

Результат моделирования