Virtuális szuperszámítógép szolgáltatás kialakítása az akadémiai hálózat...

1

Virtuális szuperszámítógép szolgáltatás kialakítása az

akadémiai hálózat felhasználásával

Kacsuk Péterkacsuk@sztaki.hu

www.lpds.sztaki.hu

2

• Partnerek: – Koord.: MTA SZTAKI

– BME IIT (Irányítástech. és Inf. Tsz.)

– BME IK (Inf. Központ)

– INNOTECH Kft.

• Célok:– Virtuális szuperszámítógép (metacomputer) létrehozására

használható különböző eszközök és módszerek vizsg.-a

– a Globus és Condor rendszerek tesztelése, értékelése

– rájuk alapozva egy hazai grid infrastrukturális szolgáltatás kidolgozása klaszterek összekapcsolásával.

A projekt jellemzői

3

A metaszámítógép eredeti két célja

• Nagyobb teljesítményt elérni, mint az egyedi szuperszámítógépek és klaszterek tudnak biztosítani (high-speed computing)

• A gridben lévő számítógépek szabad ciklusainak kihasználása

(high throughput computing)

Globus-MPIGlobus-MPI

CondorCondor

Alkalmazások

Alkalmazási toolkitek

DUROC globusrunMPI Nimrod/GCondor-G HPC++

NetSolve Cactus

Grid szolgáltatásokGRAM

GSI HBM

Nexus

I/O GASSGSI-FTPMDS

A Globus réteges architektúrája

Grid szerkezet

LSF

Condor

NQEPBS

TCP

NTLinux

UDP

Solaris DiffServ

5

yourworkstation

personalCondor

Condorjobs

High throughput Computing: Condor

• Cél: A gridben lévő számítógépek szabad ciklusainak kihasználása

• Megvalósítási lépések (1): A személyes PC v. munkaállomás átalakítása személyes Condor géppé

6

yourworkstation

personalCondor

Condorjobs

SZTAKI klaszterCondor csoport

High throughput Computing: Condor

• Megvalósítási lépések (2): Intézeti Condor csoport létrehozása

7

yourworkstation

Barátságos BMECondor csoport

personalCondor

Condorjobs

SZTAKI klaszterCondor csoport

High throughput Computing: Condor

• Megvalósítási lépések (3): Intézeti Condor csoport összekapcsolása más “barátságos” Condor csoportokkal.

8

yourworkstation

Barátságos BMECondor csoport

personalCondor

Condorjobs

Magyaro.-i Grid

Condor

SZTAKI klaszterCondor csoport

glide-ins

• Megvalósítási lépések (4): Grid erőforrások ideiglenes kihasználása

9

NUG30 kvadratikus allokálási probléma

Processzorokszáma

• Megoldva 7 nap alatt 10.9 év helyett

• Az első 600K másodperc …

10

• SZTAKI installálta a Globus rendszert és erre épülve részt vett a European Grid Forum Cactus testbedjének kialakításában.

• Ennek célja volt: az európai grid kutatási potenciál demonstrálása a dallasi supercomputing konferencián

• Feladat: feketelyukak ütközésekor kialakuló gravitációs hullámok szimulációja

• Grid futtatási környezetek:– A program futtatása párhuzamosan több európai

központban– Vándorló alkalmazás futtatása

I. félévi eredmények: Globus

11

3D hullámegyenlet megoldása grid környezetben

Supercomputing’00 Dallas

SZTAKI, AEI, PSC, BSC,

ZIB, FU

SZTAKI

12

• A European Grid Forum Cactus testbedjének résztvevői 2001 áprilisában beadtak egy 5. Keretprogram pályázatot GridLab néven.

• Ennek célja: általános Grid programozási rendszer kidolgozása az MPI-hoz hasonló API-val. A szükséges Middleware rétegek (info rendszer, monitor rendszer, portál, stb. továbbfejlesztésével).

• SZTAKI feladata: monitor rendszer munkacsoport vezetése és részvétel az info rendszer kidolgozásában.

• A projekt a legjobb értékelést kapta a beadott Grid témájú 5. Keretprogram pályázatok között és jelenleg a szerződéskötés fázisában van.

I. félévi eredmények

13

• A BME IIT és IK munkatársai telepítették a Condor rendszert a helyi gépfarmokon.

• A farm mérete a felhasználástól függően változik max. 28 processzorig.

• Megkezdődtek a teszt ill. pilot alkalmazások tesztjei.• Elkezdték a teljesítmény mérésére alkalmas tesztek

kidolgozását.

I. félévi eredmények: Condor

Központi ütemező

• SZTAKI létrehozott egy 58 processzorból álló Condor poolt.

• SZTAKI Condor pool aktív használata: ~200000 job

14

II. félévi eredmények

Mester ütemező

IIT IK SZTAKI

• Condor pool-ok összekapcsolása:

• Condor M/W univerzum tesztelése (IIT)

• Condor flocking tesztelése (IIT)

15

II. félévi eredmények

• Klaszterek összekapcsolása Globusszal:

• Condor glide-in tesztelése (SZTAKI)

• Condor-G tesztelése (SZTAKI)

• Condor + MPI tesztelése (SZTAKI)

IIT

IK

SZTAKI

16

Grid programozási rétegek

PVM MW

Condor-G

Globus

Grid middlewareréteg

Grid fizikai réteg

Alacsonyszintűpárhuzamosítási réteg

Grid szintű job ütemező réteg

MPI

Lokális job ütemező réteg

Klaszterek

Condor

Klaszterek

Condor

Klaszterek

Condor

Klaszterek

Condor

17

Disszeminációs tevékenység

• Félnapos szeminárium a projekt első féléves eredményeiről:– Helyszín: MTA SZTAKI, Victor Hugo u. 18-22.– időpont: 2001. január 26. de. 10.00 - 13.30– Program és előadásanyagok letölthetők:

www.lpds.sztaki.hu

• Félnapos szeminárium a projekt második féléves eredményeiről:– Helyszín: MTA SZTAKI, Victor Hugo u. 18-22.– időpont: 2001. október 12. du. 14.00 - 17.30– Program és előadásanyagok letölthetők:

www.lpds.sztaki.hu

18

Disszeminációs tevékenység

• 1st US-Hungarian Workshop on Cluster and Grid Computing– Helyszín: Univ. of Wisconsin (UoW)– időpont: 2001. Márc. 15. előadások -16. demok– Program: Globus, Condor, P-GRADE, Harness– támogatók: US-Hungarian Action Fund, OM, UoW

• 2nd US-Hungarian Workshop on Cluster and Grid Computing– Helyszín: MTA SZTAKI, Budapest– időpont: 2002. Március eleje– támogatók: US-Hungarian Action Fund, OM, SZTAKI

19

Továbbfejlesztések: Magyar Grid Projektek

NI2000 DemoGrid

Globus, Condor Adat biztonság

Gridmonitorozás

Elosztott adatkezelés

Futó magyar projektek

IKTA-4

Portálfejlesztés Gépidő Számlázás

P-GRADE/CondorBiztonság

Magyar Szuperszámítógépes Grid

20

Grid programozási rétegek

P-GRADE

PVM MW

Condor-G

Globus

SUN HPC

Compaq AlphaServer

Compaq AlphaServer

Klaszterek

Grid middlewareréteg

Grid fizikai réteg

Magasszintűpárhuzamosítási réteg

Alacsonyszintűpárhuzamosítási réteg

Grid szintű job ütemező réteg

Condor, LSF, Sun Grid Engine

Condor, PBS, LSF

Condor

MPI

GRID portal

Web alapú GRID elérés és használat

Condor, PBS, LSF

Lokális job ütemező réteg

21

Egységes programfejlesztő és futtató rendszer a párhuzamos és elosztott rendszerek teljes

skálájára

2100

Szuper-számítógép

2100 2100 2100 2100

2100 2100 2100 2100

Klaszter Grid

GFlops

Számítógépek

Mainframe számítógép

P-GRADE

G-GRADE

P-GRADE

22

Magyar és nemzetközi GRID projektek kapcsolata

CERN LHC Grid

NI2000 DemoGrid

SuperGridCondor

CERNDataGrid

SYMBEX UK e-science

INFN Grid

GridLab

Cactus

23

Köszönöm a figyelmüketKöszönöm a figyelmüket

?

További információ: www.lpds.sztaki.hu