WP 2.1 Zdalny dostęp do bibliotek naukowych

POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER

WP 2.1WP 2.1 Zdalny dostęp Zdalny dostępdo bibliotek naukowychdo bibliotek naukowych

Udział w projekcie: 6,51%

Osoby kontaktowe:

PCSS: Maciej Brzeźniak maciekb@man.poznan.pl

TASK: Rafał Tylman traf@task.gda.pl

Projekt celowy SGIProjekt celowy SGI

POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER

WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowychplan prezentacjiplan prezentacji

• Wprowadzenie do tematyki zadania:

– motywacje dla powstania systemów Grid RPC

– działanie Grid RPC

– API systemów Grid RPC

• Prezentacja prac w ramach zadaniai podziału nad podzadania

• Harmonogram prac

POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER

WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowychwprowadzeniewprowadzenie - motywacje dla Grid RPC - motywacje dla Grid RPC

• Fakt 1: Aplikacje naukowe wykonują skomplikowane obliczenia.

• Fakt 3: Istnieją biblioteki funkcji matematycznych (często używanych funkcjonalności matematycznych)

dla języków C i Fortran

przykłady: BLAS, LAPACK, SCALAPACK ...

• Fakt 2: Użytkownicy chcą wykonywać obliczenia. Nie chcą implementować algorytmów numerycznych.

POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER

WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowychwprowadzenie wprowadzenie - motywacje dla Grid RPC- motywacje dla Grid RPC

• Pytanie: Jak dać użytkownikom dostęp

do bibliotek naukowych?

• Rozwiązanie 1: wywołanie funkcji lokalnej biblioteki

• Rozwiązanie 2: uruchamianie aplikacji obliczeniowej w systemach kolejkowych lub przez usługi systemu Globus

Stacja użytkownikaKomputer dużej mocySystem kolejkowy

POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER

WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowychwprowadzenie wprowadzenie - motywacje dla Grid RPC- motywacje dla Grid RPC

• Pytanie: Jak dać użytkownikom dostęp

do bibliotek naukowych?

• Rozwiązanie 3: GRID RPC

GRID RPC = RPC mechanism tailored to Grid

Realizacje Grid RPC: NetSolve (icl.cs.utk.edu/netsolve) Ninf (ninf.apgrid.org)

• Rozwiązanie 1: wywołanie funkcji lokalnej biblioteki

• Rozwiązanie 2: uruchamianie aplikacji obliczeniowej w systemach kolejkowych lub przez Globus GRAM

POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER

Podejście Grid RPC - Podejście Grid RPC - ilustracjailustracja

GridRPC

Maszyna użytkownikaMaszyna użytkownika

Agent systemu Grid RPC

Monitorow. & predykcja

Odkrywaniezasobów

UruchamianieUruchamianieZadańZadań

Szeregowanie

Środowisko GridŚrodowisko Grid

AplikacjaAplikacja

POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER

Oryginalna aplikacja Zmodyfikowana aplikacja

Przejście z lokalnego wywołania na API Grid RPC Przejście z lokalnego wywołania na API Grid RPC (przykład NetSolve)(przykład NetSolve)

POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER

API API systemów opartych osystemów opartych o Grid RPC Grid RPC

• API języka C:– NetSolve:

• synchroniczne: netsl (func_name, ...)

• asynchroniczne: netsnbl (func_name, ...)netslpb (...), netslwt (...)

– Ninf:• synchroniczne: Ninf_call (func_name,...)

• asynchroniczne: Ninf_call_async (func_name,...)Ninf_wait (...)

• inne API:– NetSolve: C, Fortran, Mathematica, Matlab, Unix shell, Java GUI– Ninf: C, Fortran, Mathematica, Excel

POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER

WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowychpodzadaniapodzadania

• Praca wejścia - PCSS:

– wdrożenie systemów Grid RPC i testy

– zebranie informacji o bibliotekach matematycznych w Polsce

• Prace po stronie klienta systemu - TASK:– mechanizm automatycznej adaptacji

istniejących aplikacji do korzystania z Grid RPC

– mechanizm dla niezawodności zdalnych wywołań

• Prace po stronie systemu - PCSS:– mechanizmy szeregowania (predykcja czasu wykonania)

– integracja z systemami kolejkowymi

POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER

WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowychPraca wejściaPraca wejścia

• Wykonuje - PCSS

• Zakres prac:

– instalacja systemów Grid RPC i testy

• instalacja systemów w PCSS i TASK

• testy funkcjonalności systemów i sprawności mechanizmów

– zebranie informacji o bibliotekach mat. w Polsce

• jakie są wykorzystywane, statystyki...

• sprawdzenie zgodności wykorzystywanych bibliotek z systemami Grid RPC

– opracowanie koncepcji systemu udostępniania

POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER

WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowychMechanizmy po stronie klienta systemuMechanizmy po stronie klienta systemu

• Wykonuje - TASK

• Zakres prac: prace po stronie klienta systemu

– mechanizm automatycznej adaptacji istniejących aplikacji do korzystania z Grid RPC

• prekompilator kodu źródłowego aplikacji:

wywołania lokalne funkcji -> wywołania poprzez Grid RPC

• narzędzia wspomagające dla użytkownika:

– narzędzie interaktywne wspomagające podmianę wywołań

– narzędzie do analizy wydajności

– mechanizm dla niezawodności zdalnych wywołań

• awaryjne, lokalne wykonanie funkcji matematycznej

POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER

WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowychMechanizmy po stronie systemuMechanizmy po stronie systemu

• Wykonuje - PCSS

• Zakres prac: prace po stronie systemu

– mechanizmy szeregowania (predykcja czasu wykonania)

• udoskonalenie metod predykcji czasu wykonania funkcji

• predykcja oparta na wiedzy: zbieranie informacji o czasach wykonania funkcji + analiza informacji

– integracja z systemami kolejkowymi

• umożliwienie systemom Grid RPC korzystania z zasobów pracujących pod kontrolą systemów kolejkowych

• mechanizmy uruchamiania funkcji matematycznych w kolejkach oraz monitorowania/predykcji stanu zasobów

POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER

WP 2.1WP 2.1 Zdalny dostęp do bibliotek naukowych Zdalny dostęp do bibliotek naukowych

Harmonogram pracHarmonogram prac

POZNAŃ SUPERCOMPUTING AND NETWORKING CENTER

WP 2.1WP 2.1 Zdalny dostęp Zdalny dostępdo bibliotek naukowychdo bibliotek naukowych

Dziękuję za uwagę.Dziękuję za uwagę.

Osoby kontaktowe:

PCSS: Maciej Brzeźniak maciekb@man.poznan.pl

TASK: Rafał Tylman traf@task.gda.pl

Projekt celowy SGIProjekt celowy SGI