Didelio našumo kompiuteriaiDidelio našumo kompiuteriai

Klasteriai, superkompiuteriai, GRID

11 paskaita

Našių skaičiavimo sistemų tipai� Mainframe – didelio našumo ir patikimumo monolitinės

architektūros kompiuteriai, naudojami didelėse organizacijose architektūros kompiuteriai, naudojami didelėse organizacijose kritinėms aplikacijoms vykdyti: finansinės transakcijos (bankai, draudimo bendrovės) verslo-gamybos valdymo sistemos. � IBM System Z, HP NonStop, Unisys ClearPath, Fujitsu Nova

� Superkompiuteriai – didelio galingumo komercinių gamintojų kompiuteriai, dažniausiai naudojami mokslinės pakraipos uždaviniams spręsti. � Cray XT3, IBM SP, HP 9000, NEC TX-7, Fujitsu Primepower� Cray XT3, IBM SP, HP 9000, NEC TX-7, Fujitsu Primepower

� Klasteriai – tai atskirų kompiuterių rinkinys, skirtas moksliniams skaičiavimams.

� Grid – tai geografiškai paskirstytų skaičiavimų sistema, galinti apjungianti šimtus tūkstančių procesorių. Komunikacijoms naudojama Internet infrastruktūra.

Mainframe ir HPC sistemų lyginimas

� Abi sistemos atlieka darbus lygiagrečiai: mainframe –operacijos dažnai paprastos, HPC – sudėtingos. Mainframe operacijos dažnai paprastos, HPC – sudėtingos. Mainframe pridėjus papildomą procesorių, gaunamas pagreitėjimas.

� Superkompiuteriai optimizuoti sudėtingiems skaičiavimams, kurie dažniausiai atliekami atmintyje. Mainframe optimizuoti darbui su dideliais duomenų kiekiais.

� Superkompiuteriai dažniausiai griežtai specializuoti t.y. sukurti specialiam tikslui. Mainframe – universalios paskirties sistemos.specialiam tikslui. Mainframe – universalios paskirties sistemos.

� Mainframe turi daug pagalbinių procesorių (I/O, monitoringo, darbui su atmintimi). Superkompiuteriuose stengiamasi tokių procesorių nenaudoti.

Superkompiuteriai

Vektoriniai kompiuteriai - tai SIMD architektūros kompiuteriai.Vektoriniai kompiuteriai - tai SIMD architektūros kompiuteriai.

Glaudžiai sujungti kompiuterių klasteriai - tai daugelio procesoriųmašinos, dažniausiai NUMA architektūros, kuriose naudojami specialūs procesorių sujungimai. Procesoriai ir tinkliniai komponentai yra projektuojami specialiai šioms mašinoms. Šios mašinos dar vadinimos bendros paskirties superkomputeriais arba MPP (masively parallel processing).MPP (masively parallel processing).

Klasteriai – tai didelis kiekis stalinių arba pradinio lygio (entry-level)serverių sujungtų į greitą (Infiniband, Myrinet, 1-10Gb Ethernet) LAN.

MPP ir SMP

Superkompiuteriai iki 2001

Superkompiuteriai iki 2009

Dideliems skaičiavimams – dideli skaičiuojamieji resursai

Pagrindiniai didelių tarnybinių stočių gamintojai (IBM, CRAY, SGI,...) jau keletą dešimtmečių gamina didelio našumo sistemas (HPC).jau keletą dešimtmečių gamina didelio našumo sistemas (HPC).

Iki ~2000 m. HPC sistemos buvo ne tik našios bet ir brangios

Greičiausių pagal Linpack testą superkompiuterių sąrašas:www.top500.org

IBM Blue Gene/L

Galingiausias pasaulyje kompiuteris 2005-2008

• Greitis – 478 TFlops. Teorinis max našumas - 596 TFlops• Procesorių skaičius: 212.992

Pagreitėjimas

Pagal Amdahl dėsnį efektyvus pagreitėjimas (speedup) išreiškiamas taip: išreiškiamas taip:

S = 1 / ((1-f) + f/k),kur f - lygiagretaus kodo dalis, k - vektorinio procesoriaus

santykinis greitis skaliarinio procesoriaus atžvilgiu.

Vektorinio, ypač multiprocesoriaus bendras našumas žymiai priklauso nuo ryšių, sisteminės programinės įrangos ir kt. faktorių. Todėl galima rašyti, kad lygiagretaus skaičiavimo laikas:faktorių. Todėl galima rašyti, kad lygiagretaus skaičiavimo laikas:

Tp(n) = cp(n) + op(n),kur cp - skaičiavimo laikas, op - laiko nuostoliai (overhead), p -

procesorių skaičius, o n - duomenis charakterizuojantis dydis (uždavinio dydis).

Pagreitėjimas

Tada pagreitėjimas Sp rodys, kiek kartų p procesorių turinti sistema išspręs uždavinį greičiau už vieną procesorių: išspręs uždavinį greičiau už vieną procesorių:

Sp = T1 / Tp.Paprastai pagreitėjimas

1 ≤≤≤≤ Sp ≤≤≤≤ p.

Buvo pasiūlyta Amdahl dėsnio modifikacija, kai skiriami laiko nuostoliai Tpo , išlygiagretinama dalis Tpp ir neišlygiagretinama nuostoliai po , išlygiagretinama dalis pp ir neišlygiagretinama dalis Tps.

Tada pagreitėjimas Sp vieno procesoriaus atžvilgiu išreiškiamas taip:

Sp = T1 / (Tpo + Tpp / p + Tps).

Pagreitėjimas

� S(N,P) įvertina pagreitėjimą, kurį pasiekiame spręsdami lygiagrečiai� Paprastai: S(N, P) ≤ P. (papildomos sąnaudos, overhead).� Paprastai: S(N, P) ≤ P. (papildomos sąnaudos, overhead).� Tiesinis (Ideal speedup): S(N, P) = P

Efektyvumas, pertekliškumas

Efektyvumu Ep vadinsime santykį p

Ep = Sp / p = T1 / (p Tp)rodantį, kiek multiprocesoriuje atskiri procesoriai apkrauti lyginant

su vienu procesoriumi. Tai rodo skaičiavimų ekonominį efektyvumą.

Pertekliškumu Rp vadinsime p procesoriuose įvykdytų operacijų skaičiaus santykį su operacijų skaičiumi, reikalingu uždaviniui išspręsti paprastame procesoriuje : išspręsti paprastame procesoriuje :

Rp = Op / O1 .Rp visuomet didesnis už vienetą (dėl valdymui reikalingų laiko

nuostolių).

Klasteriai

Klasteris – lygiagrečioji arba paskirstytoji sistema, kurią Klasteris – lygiagrečioji arba paskirstytoji sistema, kurią sudaro keli tarpusavyje susieti kompiuteriai, naudojama kaip vieningas unifikuotas kompiuterinis resursas.

Klasteris – sistema, dirbanti kaip vieninga visuma, garantuojanti aukštą patikimumą, turinti centralizuotą visų garantuojanti aukštą patikimumą, turinti centralizuotą visų resursų valdymą ir bendrą failų sistemą, užtikrinanti konfigūracijos lankstumą ir lengvą resursų plečiamumą.

Klasteriai

� Kiekviename klasterio mazge veikia sava OS kopija. � Mazgas gali būti paprastas kompiuteris arba � Mazgas gali būti paprastas kompiuteris arba multiprocesorinis kompiuteris; klasterį sudarantys kompiuteriai gali turėti skirtingas konfigūracijas (skirtingą procesorių skaičių, skirtingos talpos atmintis ir diskus).

� Klasterio mazgai gali būti sujungiami naudojant įprastas jungimo į tinklą priemones (Ethernet, FDDI, Fibre Channel) jungimo į tinklą priemones (Ethernet, FDDI, Fibre Channel) arba specialius nestandartinius sujungimus. Tokie sujungimai įgalina mazgus bendrauti tarpusavyje nepriklausomai nuo išorinio tinklo tipo. Vidiniais klasterio kanalais mazgai ne tik keičiasi informacija, bet ir kontroliuoja vienas kito darbingumą.

Paprasčiausias klasterisLokalus tinklas

Vidinis klasterio tinklas

Sudėtingesnis klasteris

Valdymo stotis

Komp. N 1 Komp. N 2 Komp. N 3 Komp. N 4

Kaupiklis N 1 Kaupiklis N 2

Heterogeninis klasteris

Kaupikliai

Klasteris

Klasterio mazgų tinklas

Klasterio ryšių sparta

Persiuntimo sparta

Klasterio ryšių sparta

Technologija Pralaidumas MByte/s

Vėlinimas mks/paketui

Plokštės kaina / 8 portų komutat.

Platformų palaikymas

Pastabos

Fast Ethertnet 12.5 158 50/200 Linux, UNIX, Windows

Populiari iki 2005

Gigabit Ethernet

125 33 150/3500 Linux, UNIX, Windows

Lengvai moder-nizuojama

Myrinet 245 6 1500/5000 Linux, UNIX, Windows

Atviras standar-tas, populiari

VI (сLAN, firma Giganet)

150 8 800/6500 Linux, Windows

Pirmoji aparatinėpramoninė VI

realizacija

SCI 400 1.5 1200/5000* Linux, UNIX, Windows

Standartizuota, plačiai Windows plačiai

naudojama

QsNet 340 2 N/A** True64 UNIX AlphaServer SC ir Quadrics sistemos

Memory Channel

100 3 N/A True64 UNIX Naudojama Compaq

AlphaServer

Beowulf klasteris

Servisas Komponentas

Architektūra x86

Op. sistema Linux

Tinklas Ethernet arba Myrinet

Failų dalinimasis NFS

Eilių sistema PBS programinė įranga

MPI MPICH, LAM-MPIMPI MPICH, LAM-MPI

Kompiatorius GNU

Valdymo įrankiai Ganglia, PBS/MAUI

MPI (Message Passing Interface)

Pranešimo siuntimas

Procesas A siunčia pranešimą procesui B, kuris veikia mazge B ir priima pranešimą. Taip vyksta siuntinėjimaisi tarp visų procesų. Pranešime būna duomenys: skaliarinis, vektorinis kintamasis, siuntėjo ir gavėjo adresai, duomenys: skaliarinis, vektorinis kintamasis, siuntėjo ir gavėjo adresai, pranešimo žymė, duomenų dydis baitais ir dar kita reikalinga informacija.

HPC operacinės sistemos

� Microsoft Compute Cluster Server 2003� Microsoft Compute Cluster Server 2003� Linux

� OSCAR� ROCKS Cluster Distribution� Red Hat Cluster Suite Software

� UNIX� Sun Cluster Software� Sun Cluster Software� IBM Cluster system management (CSM), � HP Open VMS Cluster software

MS HPC Server 2008

� MS MPI - Microsoft Message Passing Interface (MS-MPI) . Argonne � MS MPI - Microsoft Message Passing Interface (MS-MPI) . Argonne National Labs Opon Source MPI2 realizacijos versija.MS-MPI turi C, Fortran77, ir Fortran90 programavimo kalbų palaikymą (Microsoft Visual Studio® ), turi lygiagretų derintoją (debugger), kuris veikia su MS-MPI. Gali leisti savo MPI aplikacijas daugelyje skaičiavimo mazgų tiesiai iš Visual Studio aplinkos, ir tada Visual Studio automatiškai prisijungia prie procesų kiekviename mazge, leidžiant programuotojui individualiai laikinai stabdyti ir analizuoti programos kintamuosius kiekviename mazge.

� Planuotojas (Scheduler) - Compute Cluster Job Manager leidžia � Planuotojas (Scheduler) - Compute Cluster Job Manager leidžia vartotojams planuoti darbus, paskirti resursus, ir keisti užduotis ir savybes susijusias su darbu.

� Saugumas, vartotojai – Active Directory

� Klasterio valdymo įrankiai - Compute Cluster Administrator

MS HPC Server 2008

Rocks Cluster Distribution

� Rocks Cluster Distribution - tai laisvai platinamas atvirojo kodo programinių paketų rinkinys, skirtas personalinių kompiuterių programinių paketų rinkinys, skirtas personalinių kompiuterių klasteriams kurti. Šiame projekte dalyvauja žmonės iš įvairių kompanijų t.y. SDSC, UC Berkeley, SCS Enterprise Systems, The Open Scalable Cluster Environment bei visa eilė savanorių.

� Pagrindiniai Rocks Cluster paketai:de facto standartiniai klasterio paketai (MPI, PVM, PBS/Maui)Rocks paketai (klasterio instaliavimas)Rocks paketai (klasterio instaliavimas)Rocks bendruomenės paketai (Ganglia, SSH, GRID)

VGTU IBM SP2

� IBM SP2 (Daumantas)� 4 Thin nodes; High Performance Switch

� Mazgo specifikacija:

� RISC POWER2 120 MHz processor� 128MB RAM� 4,5 GB SCSI-2 HDD� 110 MB/s Enhanced Switch Adapter� 110 MB/s Enhanced Switch Adapter� 155 Mb/s ATM adapter� 36.4 GB SSA disks array� AIX v.4.3.3� POE v.2.4 (MPI implementation from IBM)

VGTU PC klasteris “Vilkas”

Vilkas (vilkas.vgtu.lt) (132 Core)Intel® Core™2 Quad processor Q6600 @ 2.4 GHz (15 vnt)Intel® Core™2 Quad processor Q6600 @ 2.4 GHz (15 vnt)

x86_64 architektūra 4 GB DDR2-800 RAM 300 GB HDD SATA Gigabit Ethernet NIC

Intel® Core™ i7-860 @ 2.80 GHz (9 vnt.)Intel® Core™ i7-860 @ 2.80 GHz (9 vnt.)x86_64 architektūra 4 GB DDR3-1600 RAM 500 GB HDD SATA Gigabit Ethernet NIC

Atlikus HPL testą, pasiektas rekordinis Lietuvoje klasterio galingumas 81.90 GFlop/s (2006.03.20). Šiuo metu klasterio našumas 512.8 GFlop/s

HPC Vilniaus universitete

SGI Altix 4700 NUMA superkompiuteris• 32-jų Intel Itanium2 procesorių ( 64 branduoliai)SUN klasteris• 84-ių AMD Opteron procesoriai (168 branduoliai)• 8 TB FC NAS duomenų saugykla

NEC Earth Simulator (Nr. 1 top500.org 2002-2004)

NEC Earth Simulator

� Manufacturer : NECNumber processors : 5120� Number processors : 5120

� Processor type : NEC vector processor,� 500 MHz, 8 GFLOPS (peak)� Number nodes : 640 (each with 8 processors)� Main memory : ca. 10 TB (16 GB per node)� Disk space : 700 TB, 1,6 PB background memory� Disk space : 700 TB, 1,6 PB background memory� Peak-Performance : 40 TFLOPS� HPL Rmax : 35.86 TFLOPS � Space requirement : 4 tennis courts on 3 floors� Price : ca. 400 Mio $

NEC Earth Simulator architektūra

IBM Blue Gene/L (Nr. 1 top500.org 2005-2008)

20052005• Greitis – 280,6 TFlops. Theoretical peak - 367 TFlops• procesorių skaičius: 131.072

2008• Greitis – 478 TFlops. Teorinis max našumas - 596 TFlops• Procesorių skaičius: 212.992

IBM Blue Gene/L

IBM Blue Gene/L

� Manufacturer : IBM� Manufacturer : IBM� Number processors : 131.072� Processor type : PowerPC 440 core with FP

enhancements,� 700 MHz, 2.8 GFLOPS (peak)� Number nodes : 65.536 (each with 2 processors)� Main memory : 32.768 TB (0.5 GB per node)� Main memory : 32.768 TB (0.5 GB per node)� Disk space : 700 TB, 1,6 PB background memory� Space requirement : 2.500 square feet (232.25 m2)� Power consumption : 1.5 MW

IBM Blue Gene/L architektūra

� Networks:32x32x64 3D-Torus communication network (e.g. MPI point-topoint)� 32x32x64 3D-Torus communication network (e.g. MPI point-topoint)

� Collective network for fast collective operations (broadcast, reduction, scan operations) and I/O to special I/O nodes

� Barrier and notification network for fast synchronization operations� I/O network (Gigabit Ethernet) on I/O nodes� Administrative network (Fast Ethernet; diagnostics, debugging,

initialization)� Further hardware support in network interfaces for:

� Small messages (<32 bytes)� Multicast along any torus dimension

� Compute nodes run downsized Linux as OS (micro-kernel)� Special front-end computer (compiling, service), service node (analysis,

diagnostics) and dedicated I/O nodes

IBM Roadrunner (Nr. 1 top500.org

2008-2009)

Viso: 12240 PowerXCell 8i procesoriai, 6562 AMD Opteron procesoriai

“Hybrid computing” perspektyvosHeterogeniai procesoriai – IBM Cell , AMD Fusion, Intel Polaris, NVidia G8800– IBM Cell , AMD Fusion, Intel Polaris, NVidia G8800

TGDaily article: • According to Intel, the "manycore" design of the chip would be able to house different

processor cores, including "general purpose" cores that are necessary, for example, to

efficiently run traditional applications such as an operating system. In this view, Intel's

approach has some similarity to AMD's design approach of the "Fusion“ processor, which

is expected to merge general purpose cores with graphics and cores. Intel, however, did

not say whether it plans to integrate graphics capability into its 80-core chip.

Hybrid technologijos:– Akseleratoriai

• FPGAs, GPU, Clearspeed CSX600, IBM Cell, XtremeData XD1000, Nvidia G8800,AMD Stream Processor

– Sujungimai • AMD Torrenza, Intel/IBM Geneseo, AMD HyperTransport Initiative

– Programavimas• RapidMind, Peakstream, Impulse C, Standford’s Sequoia, NVidia CUDA, Clearspeed

C, IBM Roadrunner ALF & DaCS libraries, stream programming

Skaičiuojamasis GRID tinklas

GRID tinklas - tai geografiškai paskirstytų kompiuterinių resursų GRID tinklas - tai geografiškai paskirstytų kompiuterinių resursų visuma, apjungtų į virtualų superkompiuterį.

GRID resursus dažniausiai sudaro klasteriai, priklausantys GRIDtinklo partneriams, kurie skiria visus arba dalį klasterio mazgų GRIDvartotojų uždaviniams skaičiuoti.

GRID tinkle ypač aktuali saugumo problema, kuri leistų lokalių resursų administratoriams pasitikėti GRID vartotojais bei jų grupėmis resursų administratoriams pasitikėti GRID vartotojais bei jų grupėmis (virtualiomis organizacijomis) ir užtikrintų saugų vartotojų prisijungimą bei tinkamą resursų naudojimą.

Įprastinis resursų naudojimas

Iki atsirandant GRID:

• Skaičiavmai atskiruose superkompiuteriuose ir klasteriuose• Peer2Peer sistemos – Seti@Home, Napster, eMule, Kazaa, eDonkey• Atskiras priėjimas prie resursų

GRID – nauja IT infrastruktūra

GRID tinkluose:

•Resursų georgrafija nesvarbi• “plug-n-play” tipo priėjimas prie resursų

Kas yra GRID?Lygiagrečiųjų ir paskirstytų skaičiavimų tinklas (angl. GRID) -tai IT infrastruktūra, leidžianti dalintis skaičiuojamaisiais resursais t. y.:tai IT infrastruktūra, leidžianti dalintis skaičiuojamaisiais resursais t. y.:

� kompiuterine įranga (PC, klasteriais, superkompiuteriais, saugyklomis)

� programine įranga, � duomenimis ir duomenų bazėmis� rezultatais

GRID suteikti galimybę išspręsti labai didelės apimties uždavinius.labai didelės apimties uždavinius.

Kas yra Grid ?

“A computational grid is a hardware and software “A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational capabilities” (Ian Foster, 1998)

Grid is infrastructure that enables the sharing, selection, aggregation of geographically distributed resources aggregation of geographically distributed resources (computers, software, databases, people) for solving large-scale problems/applications. (Vaidy Sunderam)

GRID tinklo architektūra

Layered Grid Architecture

Internet P

rotocol A

rchite

cture

Internet

Transport

Application

Internet P

rotocol A

rchite

cture

Internet

Link

Internet P

rotocol A

rchite

cture

(Globus Project)

Globus Toolkit Layered Architecture

Applications

Core ServicesMetacomputing

Directory

GRAMGlobus

Replica

GASS

High-level Services and Tools

Cactus Condor-GMPI Nimrod/Gglobusrun PUNCH

Grid StatusDRM

Directory Service

Globus Security Interface

Replica CatalogGridFTP

Local Services

LSF

Condor MPI

NQEPBS

TCP

AIXLinux

UDP

I/O

Solaris

(Globus Project)

Darbų vykdymas GRID tinkle

Grid projektai pasaulyje•NASA Information Power Grid•DOE Science Grid

•CERN - EGEE•UK – OGSA-DAI, RealityGrid, GeoDise, Comb-e-Chem, •DOE Science Grid

•NSF National Virtual Observatory•NSF GriPhyN•DOE Particle Physics Data Grid•NSF TeraGrid•DOE ASCI Grid•DOE Earth Systems Grid•DARPA CoABS Grid

GeoDise, Comb-e-Chem, DiscoveryNet, DAME, AstroGrid, GridPP, MyGrid, GOLD, eDiamond, …•Olandija – VLAM, PolderGrid•Vokietija – UNICORE•Lenkija - CrossGrid•Italija – INFN Grid•DARPA CoABS Grid

•NEESGrid•DOH BIRN•NSF iVDGL

•Italija – INFN Grid•Vengrija – DemoGrid, SEEGrid•Balkanų šalys - SEEGrid•Norvegija, Švedija, Danija –NorduGrid•Baltijos šalys – BalticGrid•Lietuva - LitGrid

Uždaviniai, kuriems reikalingas GRID

• Branduolinė fizika (dalelių kolizijos • Branduolinė fizika (dalelių kolizijos analizė))

• Medicina ir sveikatos sauga (vaizdų apdorojimas, diagnostika )

• Bioinformatika (žmogaus genomo studijagenetinių ligų tyrimai)

• Nanotechnologijos (naujų medžiagų molekukių modeliavimas)

• Inžinerija (Optimizavimo uždaviniai, modeliavimas)

• Inžinerija (Optimizavimo uždaviniai, modeliavimas)

• Aplinkos inžinerija (orų prognozė, Žemės tyrimai, gamtos reiškinių prognozavimas ir modeliavimas)

LitGRID projekto eiga� 2004 10 Grid seminaras Vilniaus Universitete (dalyviai iš

EGEE, CrossGRID, SweGrid).

� 2004 10 VU-VGTU-KUT grid testbed (48 CPU). Panaudota ARC middleware (NorduGRID). BGM klasteris(8 CPU) prisijungė prie Estonian Grid.

� 2005 01 NorduGrid seminarasTaline. BalticGrid projekto užuomazga.

� 2005 07 LitGRID projekto pradžia (biudžetas 100.000 Lt).

� 2005 10 Grid testbed (20 CPU) LCG v.2.6 (EGEE). � 2005 10 Grid testbed (20 CPU) LCG v.2.6 (EGEE).

� 2005 11 BalticGrid projekto pradžia. VU ir ITFAI – projektopartneriai iš Lietuvos.

� 2006 01-12 LitGrid projekto pratęsimas (biudžetas 300.000 Lt).

LitGRID partneriai

• Vilniaus Universitetas (koordinatorius)

•• Kaunas Technologijos Universitetas

• Fizikos institutas

• Vytauto Didžiojo Universitetas

• Biotechnologijos Institutas

• Klaipedos Universitetas

• Šiaulių Universitetas

•• Vilnius Gedimino Technikos Universitetas

• TFAI

• Kauno Medicinos Universitetas

• Matematikos ir informatikos institutas

• UAB “B.G.M.“ (verslo partneris)

LitGRID infrastruktūra

LitGRID

BalticGRID

SupportGanglia

SECE

BalticGRID

GIISCA

SAMRB

VOMS

Resursai

2006:

KTU (10 CPU)

VGTU (12 CPU)VDU (14 CPU)

ITPA (8 CPU)

KMU (4 CPU)

IBT (32 CPU)

KU (4 CPU)VU (30 CPU)

2006:

12 klasterių: 165 CPU400 GB

2007:

15 klasterių: ~300 CPU15 klasterių: ~300 CPU~10 TB

Procesoriai: x86, IA64, SPARC

Tinklai ir pralaidumaiLitGRID tinklas naudojasi Litnet infrastruktūra

LitGRID svetainė

� TVS sistema (Zope)LitGRID web svetaine � TVS sistema (Zope)� Resurų monitorius (Ganglia)� Vartotojo vadovas� Informacija administratoriams� DUK� Ivykiai ir naujienos

LitGRID web svetainehttp://www.litgrid.lt

Monitoringas and testavimasResursų monitoringas ir testavimas atliekamas BalticGRID, EGEE

� GOCdb� GOCdb� SAM� SFT, Stress test

JDL failo pavyzdys#! /bin/sh#! /bin/sh#! /bin/sh#! /bin/shecho ====Pirmas darbas======================echo ====Pirmas darbas======================echo ====Pirmas darbas======================echo ====Pirmas darbas======================echoechoechoechoechoechoechoechoecho "Darbas pirmas startavo: `date`"echo "Darbas pirmas startavo: `date`"echo "Darbas pirmas startavo: `date`"echo "Darbas pirmas startavo: `date`"echoechoechoechoecho "Mazgas: `hostname`"echo "Mazgas: `hostname`"echo "Mazgas: `hostname`"echo "Mazgas: `hostname`"echo "Vartotojas: `id`"echo "Vartotojas: `id`"echo "Vartotojas: `id`"echo "Vartotojas: `id`"echoechoechoechoecho "Direktorija: `pwd`"echo "Direktorija: `pwd`"echo "Direktorija: `pwd`"echo "Direktorija: `pwd`"ls ls ls ls ----llllexit 0exit 0exit 0exit 0exit 0exit 0exit 0exit 0

Executable = "/bin/sh";Arguments = "job1.sh";InputSandBox = {"job1.sh"};StdOutput = "stdout.log";StdError = "stderr.log";OutputSandbox = {"stdout.log","stderr.log"}

JDL failo pavyzdys

Executable = “gridTest”;

StdError = “stderr.log”;StdError = “stderr.log”;

StdOutput = “stdout.log”;

InputSandbox = {“/home/test/gridTest”};

OutputSandbox = {“stderr.log”, “stdout.log”};

InputData = “lfn:testbed0-00019”;

DataAccessProtocol = “gridftp”;

Requirements = other.Architecture==“INTEL” && \

other.OpSys==“LINUX” && other.FreeCpus >=4;other.OpSys==“LINUX” && other.FreeCpus >=4;

Rank = “other.GlueHostBenchmarkSF00”;

EGEE

2003 m. rugsėjo 29 d. Europos branduolinių tyrimų centre (CERN, 2003 m. rugsėjo 29 d. Europos branduolinių tyrimų centre (CERN, Šveicarija) oficialiai paleistas paskirstytųjų skaičiavimų tinklas Data GRID, apimantis 12 šalių trijuose žemynuose.Projekto tikslas – palaikyti būsimus eksperimentus netoli nuo Ženevos ežero statomame greitintuve LHC. Mokslininkai paskaičiavo, kad eksperimentų duomenims apdoroti reikės milžiniškų resursų – kasmet bus generuojama 12-14 pentabaitų (>1016 baitų – tai atitinka >20 mln. CD-ROM) duomenų. (>1016 baitų – tai atitinka >20 mln. CD-ROM) duomenų.

Pirmieji servisai jau veikia – laisvų resursų aptikimas, failų persiuntimas, rezultatų grąžinimas. Sistema ugdoma, palaipsniui augant poreikiams ir įsisavinant technologijas.

EGEE

� EGEE – Enabling Grids for E-science in Europe� Koordinatorius: European Organization for Nuclear Research -� Koordinatorius: European Organization for Nuclear Research -

CERN� 70 vedančiųjų institucijų 27 šalyse, apjungtų į regionalinius

gridus� 32 M € EU finansavimas 2004 - 2005 � 3000 vartotojų� daugiau nei 20000 CPU,� 50 centrų� daugiau nei 5 pentabaitų (1015) išorinės atminties

EGEE geografija

Pagrindiniai resursai

EGEE middleware: LCG-2

User interfaces Applications

Application level services

User access SecurityData transferInformation schema

Workload management Data managementApp monitoring system

User interfaces Applications

“Basic” services

“Collective” services

VDT (Condor, Globus, GLUE)

EU DataGrid

Information system

Computing cluster Network resources Data storage

Operating system Local schedulerFile system

Hardware

System software

HPSS, CASTOR…

RedHat Linux NFS, …PBS, Condor, LSF,…

User Interface node

� Komandinės eilutės sąsaja suProxy serveriu

UI

JDL� Proxy serveriu� Užduoties operacijomis

� užduočiai pateikti� jos būsenai stebėti� Rezultatams gauti

� Operacijomis su duomenimis� perduoti failą į SE

Kad paleistų užduotį, vartotojasparengia JDL (Job Description Language) failą

JDL

� perduoti failą į SE� kreiptis į failą� …

� Kitais grido servisais

� Taip pat C++ ir Java APIs