Stato del GRID Computing a Catania Giuseppe Andronico

Stato del GRID Computing a Catania

Giuseppe Andronico

Cagliari, 26/05/2004 Giuseppe Andronico 2

Staff Centro di Calcolo: Ernesto Cangiano, Carlo

Rocca, Giuseppe Sava, Patrizia Belluomo Centro di Calcolo + GRID: Giuseppe

Platania GRID: Roberto Barbera, Salvatore Monforte,

Marco Pappalardo, Rosanna Catania, Antonio Carrieri, Valeria Ardizzone, Emidio Giorgio, Giuseppe La Rocca

Cagliari, 26/05/2004 Giuseppe Andronico 3

Overview Panoramica Fabric

Computer Room Rack Rete Computers e Controllo

Management LCFG OpenPBS

Cagliari, 26/05/2004 Giuseppe Andronico 4

Parliamo di: Panoramica Fabric

Computer Room Rack Rete Computers e Controllo

Management LCFG OpenPBS

Cagliari, 26/05/2004 Giuseppe Andronico 5

Panoramica

Development testbed in EDG WP1, WP2

Application testbed in EDG Application testbed EGEE, INFNGRID,

GILDA, GILDA CA Sito di produzione di ALICE con AliEn

Cagliari, 26/05/2004 Giuseppe Andronico 6

Computing Room oggi

Cagliari, 26/05/2004 Giuseppe Andronico 7

Parliamo di: Panoramica Fabric

Computer Room Rack Rete Computers e Controllo

Management LCFG OpenPBS

Fabric

Sala per il GRID Computing a Catania

Cagliari, 26/05/2004 Giuseppe Andronico 9

Parliamo di: Panoramica Fabric

Computer Room Rack Rete Computers e Controllo

Management LCFG OpenPBS

Cagliari, 26/05/2004 Giuseppe Andronico 10

Computer Room Estensione di 200 mq in previsione di LHC Parzialmente allestita (modulare) Condizionamento:

2 condizionatori Gruppo di continuitá

Potenza 40 kVA Autonomia 25 minuti (7 min a pieno carico)

Gruppo elettrogeno 400 kVA (start-up dopo 60 sec dal black-out)

Cagliari, 26/05/2004 Giuseppe Andronico 11

Parliamo di: Panoramica Fabric

Computer Room Rack Rete Computers e Controllo

Management LCFG OpenPBS

Cagliari, 26/05/2004 Giuseppe Andronico 12

Armadi rack: InfraStruXure

1UPS Symmetra PX 10-40kW, 400Vo 1 Intelligence Moduleso 5 Power Modules da 10kVA/10kW,

N+1 type ridondanteo N Battery Unit hot swapo 2 Web Management Card

1PDU con Information Controller e bypass manuale ed automatico

10 Rack 42U 10 Masterswitch totale 80 prese

monitorate e gestite via IP 5 Environmental Monitoring Unit

Cagliari, 26/05/2004 Giuseppe Andronico 13

Armadi rack: caratteristiche La ventilazione delle porte supera gli 830 pollici

quadrati (5355 cm2) per una ventilazione adeguata

Profondità di montaggio regolabile Compatibilità garantita Porte ventilate con opzioni di raffreddamento

scalabili Canali posteriori di sistemazione cavi Canali posteriori di distribuzione

dell'alimentazione Accesso ai cavi

Cagliari, 26/05/2004 Giuseppe Andronico 14

Armadi rack: caratteristiche

Numerazione delle unità sui montanti Profondità ottimizzata Larghezza ottimizzata Trasportabile su rotelle attraverso una

porta alta 7 piedi Viene spedito completamente

assemblato Selezione semplice

Cagliari, 26/05/2004 Giuseppe Andronico 15

Armadi rack

Cagliari, 26/05/2004 Giuseppe Andronico 16

Armadi rack: management Manutenibilità

Porte ad apertura rapida Pannelli laterali ad apertura rapida Porte posteriori a due battenti

Adattabilità Porte invertibili Espansione Monitoraggio di tutti i componenti

Gestione remota UPS via web Gestione e monitoraggio del singolo ups

Controllo remoto 80 prese via IP Notifica via e-mail degli allarmi File di log degli allarmi con data ed ora Remote Monitoring Service (12 mesi)

Cagliari, 26/05/2004 Giuseppe Andronico 17

Armadi rack: management

Cagliari, 26/05/2004 Giuseppe Andronico 18

Armadi rack: management

Cagliari, 26/05/2004 Giuseppe Andronico 19

Parliamo di: Panoramica Fabric

Computer Room Rack Rete Computers e Controllo

Management LCFG OpenPBS

Cagliari, 26/05/2004 Giuseppe Andronico 20

Networking: apparati 1 Master Switch 68 porte

Gigabit 8 Switch Ethernet

Numero porte:24   Tipo porte:GIGABIT   Velocità di

trasferimento:10/100/1000 MBPS 

Form factor:RACK 1U  cavi UTP cat. 6E

Cagliari, 26/05/2004 Giuseppe Andronico 21

Networking: topologia attuale

MASTERSWITCH

Fiber

node

switch24

CABLE CAT.6E

CABLE CAT.6E

disk server

Front-end router

Cagliari, 26/05/2004 Giuseppe Andronico 22

Networking: futuri sviluppi

Configurazione di trunking e load-balancing dappertutto

Configurazione del Master Switch come edge-router

Connessione diretta al PoP di Garr-G

Cagliari, 26/05/2004 Giuseppe Andronico 23

Parliamo di: Panoramica Fabric

Computer Room Rack Rete Computers e Controllo

Management LCFG OpenPBS

Cagliari, 26/05/2004 Giuseppe Andronico 24

I computerTipo Processore Frequenza

(GHz)RAM (MByte)

Storage

10 Dual

Xeon 2.8 2048 40GB

18 2

Dual

Xeon 2.4 2048 40GB2.2T

5 Dual

Pentium III 1.4 1024 40GB

8 8

Dual

Pentium III 1 1024 30GB2.2T

14 Dual

Pentium III 800 Hz 1024 30GB

Cagliari, 26/05/2004 Giuseppe Andronico 25

I computer: file system server

LVM + reiserfs

sda1 sdb1

diskvg

datalv

reiserfs

(LVs)

(filesystems)

(VG)

(PVs on partitions or whole disks)

---> single mount point /data

testlv

ext3

Cagliari, 26/05/2004 Giuseppe Andronico 26

KVM 6 AlterPath Console

Server Cyclades 1 da 16 porte seriali con

funzionalità master 5 da 32 porte seriali con

funzionalità slave

Cagliari, 26/05/2004 Giuseppe Andronico 27

KVM: funzionalitá Accesso tramite 3 metodi:

Console direttamente connessa al server AlterPath Console

Telnet/ssh Browser

Configurazione kvm: Vi Wizard Web Management

Interface (HTTP/HTTPS) Command Line Interface

(Linux Shell)

Cagliari, 26/05/2004 Giuseppe Andronico 28

KVM: configurazione ed uso

1. Unico indirizzo IP statico per il master2. Accesso “in cascata” dal KVM master

ai 5 KVM slave3. Gestione tramite porte seriali

(115200 bps, 8, N, 1)

Cagliari, 26/05/2004 Giuseppe Andronico 29

KVM: Collegamento terminale

Cagliari, 26/05/2004 Giuseppe Andronico 30

KVM: Collegamento terminale

Cagliari, 26/05/2004 Giuseppe Andronico 31

KVM: Collegamento terminale

Cagliari, 26/05/2004 Giuseppe Andronico 32

KVM: Browser

Cagliari, 26/05/2004 Giuseppe Andronico 33

KVM: Browser

Cagliari, 26/05/2004 Giuseppe Andronico 34

KVM: Security SSH v1 e v2 Local, RADIUS, TACACS+, LDAP, NIS, and Kerberos

Authentication Token-based strong authentication (SecurID) Local backup user authentication support PAP/CHAP authentication (for dial-up lines) Dial back support IP Packet and Security Filtering User Access Lists per port System Event Syslog IPSec support

Cagliari, 26/05/2004 Giuseppe Andronico 35

KVM: benefits Improved availability (dual power supply) Secure In-band and Out-of-band Network

Management Rock-solid stability (Linux Inside) Rack space savings (1U form factor) Improved network monitoring Flexibility to support existing and future

interface types (PCMCIA support)

Cagliari, 26/05/2004 Giuseppe Andronico 36

Parliamo di: Panoramica Fabric

Computer Room Rack Rete Computers e Controllo

Management LCFG OpenPBS

GRID Management

Configurazione e gestione dei testbed GRID a Catania

Cagliari, 26/05/2004 Giuseppe Andronico 38

Parliamo di: Panoramica Fabric

Computer Room Rack Rete Computers e Controllo

Management LCFG OpenPBS

Cagliari, 26/05/2004 Giuseppe Andronico 39

LCFG Struttura centralizzata basata su LCFG:

1. Il server LCFGng crea i profili dei nodi processando i file di configurazione. Questi profili vengono pubblicati via web .

2. Il client legge il profilo dall'URL e si configura gli oggetti descritti.

TUTTO il sito di Catania e’ gestito da LCFG

Cagliari, 26/05/2004 Giuseppe Andronico 40

Parliamo di: Panoramica Fabric

Computer Room Rack Rete Computers e Controllo

Management LCFG OpenPBS

Cagliari, 26/05/2004 Giuseppe Andronico 41

OpenPBS

Testbed GRID Farm Alice Cluster teorici

Cagliari, 26/05/2004 Giuseppe Andronico 42

OpenPBS: testbed GRID

Server PBS in GRID Localizzato sul dal nodo CE definisce le 3 code short ,long ed infinite

pubblicate dal CE Queste code smistano i job ai 32 WN Sull’hardware di nuova concezione

hardware è abilitato l‘hyperthreading

Cagliari, 26/05/2004 Giuseppe Andronico 43

OpenPBS: ALICE farm Sullo stesso server PBS è definita una coda

workq non pubblicata Solo gli utenti ALICE (tra cui aliprod per

AliEn) possono accedere alla coda Devono prima accedere normalmente al CE

e poi sottomettere i job Il numero di CPU allocato alle varie code

può essere variato “al volo”, a seconda delle esigenze di calcolo del momento, massimizzando così l’utilizzo della farm

Cagliari, 26/05/2004 Giuseppe Andronico 44

OpenPBS: Alice farmAliEn jobs

Grid jobsLocal jobs

Grid queues

Local/AliEn queue

Cagliari, 26/05/2004 Giuseppe Andronico 45

OpenPBS: ALICE farm

Alice::Catania::PBS

Uso della farm: PDC04 di ALICE(in corso!)

Cagliari, 26/05/2004 Giuseppe Andronico 46

OpenPBS: cluster teorici

Tecnica simile verrà presto adottata per il cluster dei teorici

main

short medium long infinite

shortPIII

shortATHLON

shortXEON

mediumPIII

mediumATHLON

mediumXEON

longPIII

longATHLON

longXEON

infinitePIII

infiniteATHLON

infiniteXEON