34
Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Embed Size (px)

Citation preview

Page 1: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Forum PA 2007 – Roma, 21 maggio 2007

Server Consolidation, l’esperienza dell’Ateneo di Bologna

Alessandro CantelliCeSIA - Università di Bologna

Page 2: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Forum PA 2007 - Roma, 21 maggio 2007 - 2 -

Agenda:

• il progetto di consolidamento dei server UniBo

• focus sulla virtualizzazione

• sicurezza e continuità dei servizi

• scenari di utilizzo

Page 3: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

il progetto di consolidamento dei server UniBo

Forum PA 2007 - Roma, 21 maggio 2007 - 3 -

Page 4: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

l’Università di Bologna in cifre:

• 120.000 studenti• 23 facoltà / 235 C.d.L.• 5 province• 10.000 dipendenti• 70.000 postazioni in rete

Forum PA 2007 - Roma, 21 maggio 2007 - 4 -

Page 5: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Ce.S.I.A.

informatizzazioneAmm.Centrale

servizi per l’Ateneo:posta, dns, autenticazione,

contact center, supporto

database:personale, studenti

applicazioni:sviluppo e hosting

ALMAnet esicurezza informatica

Forum PA 2007 - Roma, 21 maggio 2007 - 5 -

Page 6: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Censimento dei server al 31/12/04:

199 server dedicati a singole applicazioni/servizi

Forum PA 2007 - Roma, 21 maggio 2007 - 6 -

Page 7: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Inizio dei lavori:(aggiornati al 31/12/04)

server 199

sistemisti 35

referente servizio è anche sistemista 87%

Forum PA 2007 - Roma, 21 maggio 2007 - 7 -

Page 8: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Distribuzione sistemi operativi nei server

37%

8%

10%17%

28%

(84% campione, al 31/12/04)

2k3 2k

Forum PA 2007 - Roma, 21 maggio 2007 - 8 -

Page 9: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Servizi rilevati:(aggiornati al 31/12/04)

business continuity/DR RAID, redundant power, remotizzazione dati

assistenze scadute 21%

backup 18%

antivirus 24%

patch manuali

monitoraggio 7%

Forum PA 2007 - Roma, 21 maggio 2007 - 9 -

Page 10: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Distribuzione server per applicativi

Application server

Domain controller

Database

File server

Posta

Servizi di rete

Backup

Portale

Servizi vari

Test

Web

(85% campione, al 31/12/04)

Forum PA 2007 - Roma, 21 maggio 2007 - 10 -

Page 11: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Uso RAM rilevatoUso CPU rilevato

<10%

10%<x<30%

30%<x<50%

50%<x<80%

(78% campione, al 31/12/04)

Forum PA 2007 - Roma, 21 maggio 2007 - 11 -

Page 12: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

esigenza di consolidamento applicativo e hardware

molte macchinemolto scarichemolte sovrapposizionimolti amministratorimolti costi

proliferazione

Forum PA 2007 - Roma, 21 maggio 2007 - 12 -

Page 13: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Consolidamento hardware

Forum PA 2007 - Roma, 21 maggio 2007 - 13 -

Page 14: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Elementi di una architettura consolidata:

HARDWARE

• calcolatori multiprocessore scalabili• sistemi disco scalabili Storage Array• tessuto connessione calcolatori-disco Fabric

SOFTWARE

• sistemi operativi per la virtualizzazione: Vmware MS Virtualserver2005 R2 XEN

Forum PA 2007 - Roma, 21 maggio 2007 - 14 -

Page 15: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

stato precedente nuova architettura

CeSIA DR

Storage AreaNetworkStorage Area Network

IP

Page 16: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

focus sulla virtualizzazione

Forum PA 2007 - Roma, 21 maggio 2007 - 16 -

Page 17: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Strategie per simulare un ambiente:

• emulazione:eseguire S.O. e applicazioni compilate per una architettura su di un’altra;

• virtualizzazione:meccanismo per creare contesti multipli su di un singolo processore, partizionando le risorse;

Forum PA 2007 - Roma, 21 maggio 2007 - 17 -

Page 18: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Strategie per simulare un ambiente: • virtualizzazione:

trattandosi di istruzioni x86 su architetture x86 si possono eseguire le istruzioni non protette in modo diretto; vengono invece catturate le istruzioni privilegiate e solo di queste viene emulato il comportamento;

• virtualizzazione completa (es VMware, MS Virtual server,..):ospitare S.O. non modificati offrendogli un hardware simulato, e fare ricorso a sistemi software per intercettare operazioni privilegiate e tradurle (binary translation/dynamic recompilation);

• paravirtualizzazione (Xen):non viene simulato l’hardware ma offerta una speciale API per accederlo. Richiede S.O. modificati in tale direzione;

Forum PA 2007 - Roma, 21 maggio 2007 - 18 -

Page 19: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Virtualizzazione e paravirtualizzazione(VMware vs Xen)

Forum PA 2007 - Roma, 21 maggio 2007 - 19 -

Page 20: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

VMware perchè:

1. supporto sistemi guest Windows/Linux;2. console di gestione centralizzata (VirtualCenter);3. migrazione di processi in esecuzione (VMotion);4. gestione percorsi ridondati verso I/O;5. gestione dinamica della memoria;6. migliori performance;7. supporto professionale;

Forum PA 2007 - Roma, 21 maggio 2007 - 20 -

Page 21: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Sistema operativo virtuale: come funziona?

Server fisico Storage Array

Sistema Operativo

Applicazioni

VM3

Vmot

ion

rete

IP

FC

FC

HARDWARE

VIRTUAL MACHINE MONITOR

Sistema Operativo

Applicazioni

Sistema Operativo

Applicazioni

VM1 VM2

Forum PA 2007 - Roma, 21 maggio 2007 - 21 -

Page 22: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 22 -

Gestione server remoti su rete Lepida

necessità di gestire in loco servizi centralizzati

3 nodi backbone cittadino

Page 23: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Bologna: Virtualcenter

• controllo VM• messa in produzione nuove VM• gestione unificata template VM

Sito remoto: VM gestite centralmente

Forum PA 2007 - Roma, 21 maggio 2007 - 23 -

Page 24: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Rapporto fisico/virtuale: 30 server in un solo HW fisico(8 core, 32GB RAM, 2xHBA, 4xNIC 1 Gbps)

30

abbiamo concentrato i

nostri 200 server su 7 calcolatori

Forum PA 2007 - Roma, 21 maggio 2007 - 24 -

Page 25: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Utilizzo delle risorse fisiche nella infrastruttura virtuale

Uso della CPU (30 VM)Uso della Memoria (30 VM)

un rapporto di 30/40 macchine virtuali per server fisico comporta un uso ottimale delle risorse condivise

La RAM richiesta è in generale molto superiore a quella effettivamente utilizzata

Forum PA 2007 - Roma, 21 maggio 2007 - 25 -

Page 26: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Banda aggregata switch virtuale

25 MBps in+out nelle ore di lavoro

Forum PA 2007 - Roma, 21 maggio 2007 - 26 -

Page 27: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 27 -

sicurezza e continuità operativa

Page 28: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 28 -

Aspetti fondamentali:

• strettissimo controllo della logistica della Sala Server;

• repliche remote sincrone e asincrone dei dati, attraverso le reti MAN e WAN;

Page 29: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Adeguamento logistica:

• nuova distribuzione elettrica ridondata;• sistema di monitoraggio ambientale;• sistema di controllo accessi;• monitoraggio via rete e SMS dell’infrastruttura• antincendio;• gruppo elettrogeno;

Forum PA 2007 - Roma, 21 maggio 2007 - 29 -

Page 30: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

CeSIAsito secondario

d=600m

Forum PA 2007 - Roma, 21 maggio 2007 - 30 -

Page 31: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Seminario corso Sistemi Operativi - Bologna, 6 marzo 2007- 31 -

4-processore

UID

1 30 21 10 0SimplexDuplex12

hp ProLiant DL585

Rete FC

Rete FC

UID

1 30 21 10 0SimplexDuplex12

hp ProLiant DL585

EMC

EMC

EMC

EMC

Storage Array

UID

1 30 21 10 0SimplexDuplex12

hp ProLiant DL585

Storage Array

4-processore

Rete FC

Vmotion

(rete IP)

Replica dati

(rete FibreChannel)

Sito secondarioCeSIA

Disaster Recovery in rete metropolitana (MAN)

Page 32: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

Abbiamo visto che:

• la virtualizzazione dei server cambia profondamente le dinamiche di gestione delle risorse hardware;

• la virtualizzazione aggiunge funzionalità;

• il datacenter è uscito dalla stanza;

• la virtualizzazione, in presenza di una rete potente, permette di centralizzare i sistemi di calcolo e disco di una grande organizzazione, semplificando;

Forum PA 2007 - Roma, 21 maggio 2007 - 32 -

Page 33: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

iSCSI

• permette a server remoti (initiator) di accedere disco esposto su IP (target) a livello di blocco;

Forum PA 2007 - Roma, 21 maggio 2007 - 33 -

Page 34: Forum PA 2007 – Roma, 21 maggio 2007 Server Consolidation, l’esperienza dell’Ateneo di Bologna Alessandro Cantelli CeSIA - Università di Bologna

iSCSI: cluster geografici basati su VM

UID

1 30 21 10 0SimplexDuplex12

hp ProLiant DL585

Sistema Operativo

Applicazioni

VM Node 1

hp ProLiant DL580UID

1 30 21 10 0Duplex12 Simplex

Sistema Operativo

Applicazioni

VM Node 2

Quorum Disk

Resource Disk

NetApp

FAS 3020

activity status power

NetworkAppliance

13 12 11 10 09 08 07 06 05 04 03 02 01 00

NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance

Power

Sys tem

Shelf ID

D S

Module B

Fault

Module A

14M K2

AT

212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A

NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance

NetworkAppliance

13 12 11 10 09 08 07 06 05 04 03 02 01 00

NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance

Power

Sys tem

Shelf ID

D S

Module B

Fault

Module A

14M K2

AT

212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A

NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance

NetApp

FAS 3020

activity status power

NetworkAppliance

13 12 11 10 09 08 07 06 05 04 03 02 01 00

NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance

Power

Sys tem

Shelf ID

D S

Module B

Fault

Module A

14M K2

AT

212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A

NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance

NetworkAppliance

13 12 11 10 09 08 07 06 05 04 03 02 01 00

NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance

Power

Sys tem

Shelf ID

D S

Module B

Fault

Module A

14M K2

AT

212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A 212A

NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance NetworkAppliance

rete IP

rete FC

iSCSI targetiSCSI target

(failover)

(replica sincrona dati)

Forum PA 2007 - Roma, 21 maggio 2007 - 34 -