Grid rendszerek forgalmi stratégiájának vizsgálata

Készítette: Purger Norbert

Mi az a Grid?

• Nem központosított erőforrások koordinálása

• Standard, nyílt, általános-célú protokollok és interfészek segítségével

• nem triviális minőségi szolgáltatásokért

Heterogén, elosztott, intézményeken átívelő hálózatok – Virtual Organizations

GGF - OGSA

• Infrastruktúra, Adatkezelés, Számítások, Architektúra, Alkalmazások, Menedzsment, Biztonság

• Open Grid Services Architecture– Webszolgáltatások: XML,SOAP,WSDL– PKI,Kerberos,LDAP,…

Kommunikációs igények• CERN:

– adatcsomagok ~100GB, adatbázis elérés ~GB

• Csillagászat: – ~TB adatbázisok, Webszolgáltatások széles köre

• HPC:– MPI, ~100 μs késleltetés, >1Gbps (Myrinet,…)

• Vizualizációk:– „on-the-fly”, >1Gbps, jitter, rendelkezésre állás

• Infrastruktúra…– QoS, erőf.foglalás, DiffServ+VLAN+P2P

vezérlése

Összefoglalva:

Nagy átvitel >1Gbps, TByte átvitel

Nagy teljesítmény és QoS

QoS, jitter, MPI: 100μs

Erőforrás foglalás Hálózati erőforrás és igénylés

Hálózati szolgáltatások hozzáférhetősége

L3-diffserv, L2-VLAN, L1-P2P elérése Grid middleware-ből

Biztonság VPN elérés, IPSec

Nagy átvitelKövetelmény: nagy átlagos átvitel, QoS, lehetőségek

a végpontokon

Problémák: Alacsony átlagos átvitel , socket puffer <-> TCP lehetőségek

Okok: Végponti bottleneck, félre-konfigurálás/elégtelen protokoll, cong.control+error recov. keverése, TCP blokkolás <-> aszinkron, windows scale API

Megoldások: Több TCP session/streamNagyobb MTU, Explicit Cong. Notification

Alternatívák: TCP alt., hardveres protokoll off-loading,Overlay hálózatok, optikai hálózat végpontok között.

Problémák …

• Socket használata TCP-hez– Aszinkron/blokkoló műveletek, OS a socket

méretből window scale paramétert, setsockopt()• RPC hívások, SOAP over HTTP

– TCP-vel 9 üzenet és 2 RTT késleltetés!– Transactional TCP problémás, de 3 üzenet, 1 RTT– Grid Service/G.S. Factory -> mindig új

kapcsolatok• MTU:

– Általában LAN 1500 byte, Path MTU Discovery

Rendszer optimalizáció• OS opciók hiánya/elérése:

– Puffer méret, alapért. ablak méret – késleltetett / SACK, MTU Path Discovery

• Protokoll „Hardver”:– OS bypass: alkalmazás (virtualizált hálókártya)– TCP Offload Engines: mai szuper NIC-ek, pl.

checksum, szegmentálás; nincs standard API– Újabb réteg: jelölt alkalmazás adat (10Gb/s!) –

metadatok a protokollban: RDDP/RDMA– Újfata eszközök: Wavelength Disk Drive,

OptiPuter

GridFTP, Replikáció, RFT• GridFTP:

– GSI, 3. fél küldés, részleges fájl elérés, megbízhatóság, adatcsatorna újrahasz.

– TCP puffer szabályozás, Párhuzamos küldés

BDP[byte]=sávszélesség[KB/s]*késleltetés [msec]100ms: 100Mbps~1MB; 1Gbps~10MB

Puffer méret: jelenleg manuális, de több ötlet isnaplózásból, kapcsolat közben is, ….

Párhuzamos szálak + striping!

Párhuzamos szálak

• Nagy<-> kisebb fájlok• Szálak száma <-> TCP puffer

(memória• Striping – különböző útvonalak

MEM-MEM / Disk-Disk

• Mem-Mem: 90%@30Gbps, 32 nodes

• Disk-Disk: 17.5Gbps, 64 nodes (SAN…)

BANDWIDTH Vs STRIPING

0

2000

4000

6000

8000

10000

12000

14000

16000

18000

20000

0 10 20 30 40 50 60 70

Degree of Striping

Ban

dw

idth

(M

bp

s)

# Stream = 1 # Stream = 2 # Stream = 4 # Stream = 8 # Stream = 16 # Stream = 32

Disk BW vs. Striping

Average Bandwidth Gained per Stripe added (8 streams, Disk to Disk)

0

100

200

300

400

500

600

700

800

900

0 10 20 30 40 50 60 70

Number of Stripes

Av

g B

W g

ain

ed

pe

r s

trip

e (

Mb

s)

Memory BANDWIDTH Vs STRIPING

0

5000

10000

15000

20000

25000

30000

0 10 20 30 40 50 60 70

Degree of Striping

Ba

nd

wid

th (

Mb

ps

)

# Stream = 1 # Stream = 2 # Stream = 4 # Stream = 8 # Stream = 16 # Stream = 32

Bandwidth Gained per Stripe added (8 streams, Mem 2 Mem)

y = -9.0731x + 954.29

R2 = 0.3575

0

200

400

600

800

1000

1200

0 5 10 15 20 25 30 35

x

y

Stabilitás: 270TB Japánba

Overlay hálózatok

Hálózati protokollok

• TCP: – Slow Start, Cong. Control, Hibák

(10Gbps!)

• Nagy távolság, nagy sávszélesség• Fairness, stabilitás, ACK forgalom

vissza

TCP variánsok

TCP Variánsok II.• HSTCP-LP: Less than Best Effort feladatok

• Bic-TCP: általában jó, többinél stabilitás/fairness problémák …

• S-TCP: túl agresszív

• Fast TCP: nagy vissza-forgalom (20 vs 260Mbps!)

10GbE tesztek

• 9000 byte MTU• >10 MByte TCP puffer• Szgép. Architektúra korlátai (5-6

Gbps)• 4.3 Gbps volt a maximum

UDP variánsok• SABUL:

– UDP adat, vissza TCP kontroll üzenetek– 1 „szálon” ~950Mbps (100ms)– 2db 3 gépes klaszter: 2.8Gbps– UDP ~ fairness/friendly, de sokszor

veszteség

• UDT:– Tisztán UDP, MTU méretű adatcsomagok– Pozitív SACK, és NACK (kis % szab. csomag)

UDT teljesítmény

UDT teljesítmény

Iperf: 12.5 Gbps effektív sávszélesség – 94%

Szimulációk

• Grid szimuláció összetett feladat:– Alkalmazások, Middleware,

erőforrások és a hálózat dinamikus együttműködése!

– Egyensúly: virtualizáció, teljesítmény…

– Egyre nagyobb hálózatfüggés, nagy egymásra-hatás: P2P,MyDoom, Teraflows…

MicroGrid

• Információk:– Hálózat topológia és protokollok– Node-ok hálózati beállításai (puffer, window)– Számítókapacitások és elhelyezkedésük

• Virtuális gépek valódi alkalmazásokkal

Hálózati forg. szimuláció: MaSSF

Alkalmazások• ScaLAPACK • FASTA (protein/szekvencia hasonlóság)• Jacobi (párhuzamos egy.rendsz.

megoldó)• Fish (sok részecskés Van der Waals erők)• Game of Life (sejt automata)• Problémák:

– HTTP háttér forgalom– Load-balancing, network mapping

Lambda-Grid

• Számító- és tárolókapacitások sűrűn összekapcsolva DWDM optikai utakon.

• OptIPuter, CANARIE– Kevesebb végpont (1000 vs 10^8)– Dedikált nagysebességű vonalak (>1Gbps)– Nem belső, hanem végponti torlódás!

Group Transport Protocol

Exponential Increment and Loss Propotional Decrement

GTP II.

Pont-pont kapcsolat @ 1Gbps, 58ms RTT

Multipont-Pont kapcsolat

Párhuzamos szálak