GridICEattività in corso e sviluppi futuri

Gennaro Tortone[gennaro.tortone@na.infn.it]

Bologna, 4 marzo 2004 - Technical Board INFNGRID

http://grid.infn.it/gridice

Indice

caratteristiche generali

novità dell’ultima release

attività in corso

developers & tasks

sviluppi futuri

conclusioni

Caratteristiche generali

monitoring (24x7) di risorse/servizi discovery automatico database dati di monitoring fabric sensor interfaccia web

Novità dell’ultima release (1/6)

continuous discovery nella prima versione il processo di discovery,

eseguito periodicamente, definiva l’insieme totale di risorse e servizi su cui eseguire i singoli plugin

contro sviluppo di “plugin ad-hoc” per il check di ciascuna

entità (queue, storage area,...) “information aging” dei dati presentati

Novità dell’ultima release (2/6)

il nuovo processo di discovery definisce l’insieme totale dei InformationServiceURL; ciascun MSU verrà utilizzato da un unico plugin che effettuerà “in continuo” il monitoring delle metriche e determinerà le transizioni di stato

pro plugin unico i dati di monitoring non vengono propagati verso il GIIS informazioni più pronte sulla disponibiltà di un servizio punto di partenza per lo sviluppo del notification

service

...

worker nodes

computing elementaccess node

storage elementaccess node

LEMON ServerLEMON Client

GRIS

GRIS

LEMON Client

GRIS2136

SITE GIIS

replica locationservice

broker

storage elementaccess node

LEMON ServerLEMON Client

GRIS

LEMON Client

GRIS2136

SITE GIIS

REGIONGIIS

TOP-LEVEL

GIISREGION

GIIS

site INFN-CNAF

site CERN

GridICE Server

LEMON Client

LEMONClient

Novità dell’ultima release (3/6)

monitoring dei servizi è possibile configurare il fabric sensor in modo da

fornire informazioni sullo stato dei servizi di base (es. globus-gatekeeper, pbs/lsf, ...)

è stato sviluppato (E. Ferro) un componente LCFG (gridicecli) che consente di configurare automaticamente il monitoring dei servizi in base al ruolo dell’host (CE, SE, RB, RLS, ...)

Novità dell’ultima release (4/6)

web interface performance improvement a seguito di un

refactoring del codice PHP e grazie all’utilizzo di una versione più aggiornata di PostgreSQL

sezioni aggiunte Geo View GRIS View Service View

Novità dell’ultima release (5/6)

distribution l’installazione del GridICE monitoring server è stata

automatizzata tramite la creazione di RPM e di uno script di configurazione

pochi passi di installazione

Novità dell’ultima release (6/6)

project repository creazione della sezione GridICE all’interno del nuovo

software repository infnforge.cnaf.infn.it CVS binary RPM, source RPM documentazione mailing lists bug tracking

http://infnforge.cnaf.infn.it/projects/gridice

Attività in corso (1/8)

job monitoring rappresenta un requirement degli esperimenti attualmente il GRIS del CE pubblica il numero di jobs

totali/running/waiting per ciascuna coda manca la distribuzione per VO

le informazioni relative ai job saranno prelevate da file di accounting output dei comandi sullo stato del LRMS (es. qstat)

l’associazione VO – job sarà effettuata in base al gruppo del proprietario del job (es. infngrid, atlas, cms, ...)

supporto iniziale per PBS

Attività in corso (2/8)

Per ciascuna virtual organization

• today jobs statistics

• submitted jobs statistics

• on-going jobs status

- finishedJobs- failedJobs- queuedJobs- submittedJobs

- exec host- CPU etime- clock etime

- runningJobs- waitingJobs

per queue

Attività in corso (3/8)

OLAP (On-Line Analitical Processing) tecnica che consente di ottenere delle view

sintetiche su database con un alto numero di record utilizzo di OLAP sulle tabelle del database di GridICE

che contengono i dati di monitoring storici report periodici analisi dati di monitoring

Attività in corso (4/8)

documentazione [URGENTE]

stesura della documentazione esterna stesura di un “FAQ document” help on-line per l’interfaccia web installazione manuale (senza LCFG) del GridICE

sensor

Attività in corso (5/8)

interfaccia generica per la generazione di grafici attualmente tramite l’interfaccia web è possibile il

plotting di grafici relativi a job waiting/running per VO storage space per VO

scopo di questa attività è quello di creare un’interfaccia generica per creare dei grafici a partire da qualsiasi set di dati storici contenuti nel database di GridICE; ad esempio:

cpu load di un CE/SE/RB network load di un SE/RB

utile anche per il troubleshooting di un servizio

Attività in corso (6/8)

notifications funzionalità che consente ad un utente (contact) di ricevere

delle notifiche (es. mail di avviso) a seguito del verificarsi di una condizione sui dati di monitoring

è un problema che ha richiesto un’analisi approfondita al fine di fornire una soluzione abbastanza generica

la soluzione proposta è basata su un algoritmo di matchmaking tra documenti XML

è in corso la stesura di un documento che comprende analisi del problema descrizione degli use-cases soluzione proposta

Attività in corso (7/8)

supporto LCG

supporto per il GridICE server del Certification Testbed e Production Testbed

profili LCFG Grid.it

gestione GridICE server edt002.cnaf.infn.it profili LCFG

CMS gestione GridICE server (richiesta) documentazione e supporto per l’installazione manuale del

GridICE sensor per i WN supporto per il DC04

ATLAS supporto per il DC2 (richiesta)

altri esperimenti (?)

Attività in corso (8/8)

papers High-speed Network and Services for Data-Intensive

Grids – special issue of Future Generation Computing Systems dedicated to DataTAG [submitted]

3rd Cracow Grid Workshop, October 27-29, 2003 [published]

Development & Tasks

Sviluppi futuri (1/3)

network monitoring dopo l’integrazione dello schema relativo al network

monitoring in GLUE sarà possibile, tramite GridICE, il monitoring dei vari segmenti di rete

plot grafici sull’utilizzo della rete raccolta dati di network monitoring per on-line e

post-production analysis da parte degli esperimenti

Sviluppi futuri (2/3)

common EU-US monitoring schema condivisione delle informazioni di monitoring

generate da tool diversi definizione delle modalità di accesso definizione di uno schema comune

è necessario prevedere un’attività congiunta EU-US ulteriore passo verso l’interoperabilità (!)

Sviluppi futuri (3/3)

WSRF WSRF rappresenterà lo standard per l’utilizzo di

risorse distribuite GridICE 2 dovrà essere allineato con WSRF ... ciò richiederà

studio approfondito di WSRF design di una nuova architettura di monitoring sviluppo dei componenti dell’architettura

sarà possibile “riutilizzare” solo i modelli concettuali monitoring schema notification model discovery model analysis model

Conclusioni

Gennaio 2003 – Gennaio 2004 integrazione in LCG integrazione in Grid.it supporto agli esperimenti (CMS-LCG0, ATLAS) molti passi in avanti sulle funzionalità aggiunte

affidabilità dei dati raccolti stabilità

dissemination dei risultati (papers, Grid School,...) il manpower resta un problema aperto considerando

i vari task di R&D e supporto

graph and analysis provided by: M. Maggi et al. – INFN Bari CMS group

GridICE and BOSS: monitoring data analysisof CMS-LCG0 production