Programari lliure en un centre gestor d'e-infrastructures, el CESCA

Ricard de la Vega i Teresa Via 16 d’octubre de 2008

17 anys de suport a la recerca

Qui som i els nostres serveis Sistemes Comunicacions Promoció

Integrat per: • Generalitat de Catalunya • Fundació Catalana per a la

Recerca i la Innovació • Universitat de Barcelona • Universitat Autònoma

de Barcelona • Universitat Politècnica

de Catalunya • Universitat Pompeu Fabra • Universitat de Girona • Universitat Rovira i Virgili • Universitat de Lleida • Universitat Oberta

de Catalunya • Universitat Ramon Llull • Consell Superior

d’Investigacions Científiques

Consorci públic creat el 1991

Sistemes

Comunicacions Promoció

Looking Glass 1999

Multicast 2000

Gestió fora de banda 2002

IXP-Watch 2003

Temps (NTP) 2004

IPv6 2005

Arrel de noms F 2005

Prefixos bogon 2005

SAD 1999

SCD 2003

VIA 2003 Select 2003

SEG 2003

Eduroam 2005

DNS 1995 News 1997

Multimèdia 1997

Ftp-mirror 1998

Proxy-cache 1998

SAR 1999

SxAC

CAP SED

1996

1999 1993

1994

1997

1992

2000

2005

2006 2001

1999

1991

1996

2007

2006

S24x7

SAHS 1999

1997

Qui som i els nostres serveis Sistemes Comunicacions Promoció

2008

CPQ beowulf • 8 EV67 (600 MHz, 64 KB, 2 MB) [8 DS10] • Myrinet (2 Gbps)‏ • 4 GB; 291 GB; 9,60 Gflop/s

HP rx2600 • 2 Itanium2 (1.000 MHz, 32KB, 256 KB, 3 MB)‏ • 2 GB; 146 GB; 8,00 Gflop/s

SGI Altix 3700 Bx2 • 128 Itanium2 (1,6 GHz, 16 KB, 0,256 MB, 6 MB)‏ • 384 GB; 5,99 TB; 819,20 Gflop/s

HP CP4000 • 132 Opteron 275 DC (2,2 GHz, 256 KB, 2 MB)‏ • 528 GB; 9,41 TB; 580,80 Gflop/s

CPQ AlphaServer HPC320 • 32 EV68 (833 MHz, 64 KB, 8 MB) [8 ES40] • Memory Channel II (100 MB/s)‏ • 28 GB; 892 GB; 53,31 Gflop/s

HP AlphaServer GS1280 • 16 EV7 (1.150 MHz, 64 KB, 1 MB)‏ • 32 GB; 655 GB; 36,80 Gflop/s

2008

ADIC Scalar i2000 • 105 cintes (x 400 GB = 41 TB)‏ • 300 cel·les (100 habilitades)‏ • 2 transports LTO-3 (80 MB/s)‏

Servidor de còpies • Fujitsu PRIMERGY RX200S2 • Veritas Netbackup 5.0 MP7

HP EVA V.2 2C6D-B • 27,55 TB • 10 safates, 140 discos FC • 2 FC 2 Gbps HSV110

Servidor de fitxers • HP DS25: 2 x EV68, 1 GHz, 4 GB, 72 GB • HP DS20: 2 x EV68, 833 MHz, 4 GB, 72 GB

Física

Química Teòrica

Informàtica

Modelització Biomolecular

Ciències de la Terra

Mètodes Numèrics en Enginyeria

Theoretical Evaluation of Electron Delocalization in Aromatic Molecules... Drs. Jordi Poater, Miquel Duran i Miquel Solà (UdG)‏

L’Institute for Science Information (ISI) ha elegit aquest article com a “Fast Moving Fronts”, articles que marquen tendència en recerca en una àrea científica, durant els mesos de juliol i setembre. Aquest article descriu nous mètodes desenvolupats a la UdG per determinar l’aromaticitat de les molècules (vegeu Teraflop 98).

Depth of a Strong Jovian Jet from a Planetary-Scale Disturbance Driven by Storms (...) Dr. Enrique García-Melendo (Observatori Esteve Duran) et al.

La revista Nature ha destacat en la seva portada la recerca duta a terme per l'Observatori Esteve Duran, experts de la NASA i les universitats del País Basc, Berkeley, Arizona i Oxford, entre d'altres, sobre la meteorologia de Júpiter. La simulació de l’atmosfera de Júpiter realitzada al CESCA va ser una de les parts fonamentals de la recerca (vegeu Teraflop 97).

The Mechanism for the Reversible Oxygen Addition to Heme. A Theoretical CASPT2 Study Drs. Juan José Novoa i Jordi Ribas-Ariño (UB)‏

Diferents seccions de la Royal Society of Chemistry han destacat aquest article publicat al Chemical Communications, on es descriuen les causes de la reversibilitat del procés d’addició de l’oxigen al centre actiu de les hemoproteïnes, el ferro, bàsic en el procés respiratori (vegeu Teraflop 95).

Projecte de l’Agència Espacial Europea

Consorci: IEEC, UB, GMV i CESCA

Disseny i implementació d’una base de dades estel·lar

Llançament satèl·lit 2012

5 anys d’exploració http://astro.estec.esa.nl/gaia 1.000 milions d’estrelles amb una precisió de 10 microsegons d’arc

(la mida d’una moneda de 10 cents d’euros sobre la superfície de la

Lluna vista des de la Terra) ‏

http://www.tdx.cat

http://www.recercat.cat

http://www.raco.cat

31-12-07 http://www.padi.cat

Presentació del CESCA Sistemes Comunicacions Promoció

Gestió de l’Anella Científica Serveis addicionals:

• Multicast • Accés remot (SAR) • Accés directe (SAD) • Multimèdia • Veu sobre IP (VIA) • Certificació Digital (SCD) • Seguretat (SEG) • Cooperació tecnològica • Eduroam

Gestió del CATNIX Allotjament del node de RedIRIS a Catalunya Allotjament i Hostatge de Servidors Administració i manteniment de les instal·lacions tècniques

A

A.1 Universitats

públiques i privades A.2

OPI i ICTS A.3

Centres i institucions de recerca

A.4 Unitats de recerca

hospitalàries

B

B.1 Organismes gestors

d’R+D+i amb finançament públic

B.2 Institucions amb

continguts digitals rellevants per a

la comunitat cientificotècnica

B.3 Entitats que participin en projectes d’R+D+i

B.4 Entitats d’especial

interès

C

C.1 Parcs científics

i tecnològics C.2

Altres unitats hospitalàries

UB UAB UPC UPF UdG URV UdL UOC URL UVic UIC UAO UdA ESMUC EUSS INEFC

ASPB TERMCAT CTTC CTFC

IRTA IGC

IEEC

FBM i2CAT ICC ICIQ ICFO IdeG IDESCAT IEC

CIDEM FCRI

BAdM BC UnescoCAT CConsultiu CBUC CDP Liceu VINSEUM

CHV CSPT

A.1 A.2 A.3 A.4 B.1

B.2

CatSalut XTEC

B.4

FHAG XarxaTecla

C.2

PRBB ParcUdG

C.1

≤ 8 ≥ 10 ≥ 100 ≥ 1.000

BSC CESCA CIEMAT CELLS CSIC IDIBELL

Puigvert SantPau

Dexeus VHebron

Guttmann

PAM

CRG

FCRB

FUB IMIM

FIGTP

BGSE CESC CETI EUPMT

RI

Vinculades

≤ 10 Mbps

10–90 Mbps

≥ 1.000 Mbps

100–990 Mbps

Presentació del CESCA Sistemes Comunicacions Promoció

Formació Aula de Noves Tecnologies Conferències

Jornades i seminaris • Jornada Catalana de Supercomputació • Trobada de l’Anella Científica • Trobada dels Serveis Informàtics de les

Universitats de Catalunya

Difusió Teraflop: novetats en els serveis oferts, en la computació d’altes prestacions i en les comunicacions avançades.

www.cesca.es

Supercomputació Clúster d’e-informació Eines de monitorització Eines de comunicacions Integradors en repositoris Eines corporatives

CRAY Y-MP 0,67; 1,33 Gflop/s

1995; 96; 97; 98

IBM SP2 3,17; 11,70; 18,55; 27,41 Gflop/s

HP V2250; V2500 15,36; 28,16 Gflop/s

IBM 3090/600 J 0,83 Gflop/s

1991

CRAY X-MP 0,24 Gflop/s

1991 1993; 96

1998; 99 1999

HP N4000 14,08 Gflop/s

Des de finals de 2000 ha crescut el recolzament de fabricants com IBM, SUN i HP

El primer clúster Linux es va instal·lar al CESCA el 2001 Els dos supercomputadors més nous, SGI Altix i HP

CP4000 tenen SO SUSE Linux

2005 2003

HP GS1280 36,80 Gflop/s

SGI Altix 3700 819,20 Gflop/s

2001

HPC320+Beowulf DS10 53,31+9,60 Gflop/s

2006

HP CP4000 580,80 Gflop/s

RedHat Tru64 SUSE SUSE


Entorn de desenvolupament Entorn de preproducció Entorn de producció Xarxa d'emmagatzematge

Nodes dedicats

Balancejadors

Serveis

Dades

…

…

Repositoris … Portals

…

…

amb


Detecció d’errors Detecció de mal funcionaments Mesura capacitats Previsió de les necessitats a curt i mig termini Actuacions ràpides en casos d'incidències crítiques

Gràfic setmanal d’ús de CPU de l’Altix (MRTG)

MRTG Nagios Ganglia System Heath Check (SHC) MTR

Monitorització de xarxes • MRTG • CRICKET (basat en rrdtool) • CACTI (basat en rrdtool) • Ethereal/Wireshask • Tcpdump

Ganglia

Nagios


DNS FTP

News

Tallafocs

Detecció intrusions

Correu

Anàlisi tràfic

NTP

Proxy HTTP/FTP

Certificació

ISC Bind

wu-ftpd

innd (de l’ISC)

OpenBSD pf

Snort NIDS

Postfix, Dovecot... tcpdump / wiresharkc

openntp

Squid

OpenSSL


Tesis Doctorals en Xarxa (TDX)

Dipòsit de la Recerca de Catalunya

Revistes Catalanes amb Accés Obert

Patrimoni Digital de Catalunya (PADICAT)

Memòria Digital de Catalunya (MDC)

Repositorio Español de Ciencia y Tecnología

Material Docent en Xarxa (MDX)

4 eixos bàsics!

Accés obert

Interoperatibitat (OAI-PMH)

• Programari per repositoris de propòsit general • Programari per gestió i publicació de revistes • Programari per repositoris de webs

Principal avantatge de l’ús de PL? Adaptabilitat

Cooperatius

Programari per repositoris de propòsit general • Eprints, Fedora, …, DSpace • Implementat a

Programari per gestió i publicació de revistes • DSpace, LODEL, Open Journal Systems (OJS) • Implementat a

Programari per repositoris de webs • Heritrix, NutchWAX, WERA, Wayback, Webcurator • Implementat a

DSpace és un dipòsit digital de codi obert capaç de capturar, emmagatzemar, indexar, preservar i distribuir material digital de recerca.

Desenvolupat pel MIT i HP.

Adaptació a requisits • 1.2 1.4.2 1.5.1 • Disseny gràfic • Traducció al català • Personalitzacions • Integració CCUC • Accents, Stop words... • ...

OJS és un programari de codi obert desenvolupat pel Public Knowledge Project (PKP) amb l’objectiu de promoure l’accés a la investigació, facilitant l’administració i la publicació de revistes.

Eina de gestió integral de revistes + repositori.

Faculty of Education at University of British Columbia

Simon Fraser University Library School of Educational at Stanford University Canadian Centre for Studies in Publishing at Simon

Fraser University

1.190 instal·lacions CESCA

Agost 2007

Adaptació a requisits • Disseny gràfic • Traducció al català • Personalitzacions • Concepte “revista” • Concepte “institució editora” • 3 nous mòduls

Objectiu: arxivar el web català

+ 1.000 webs + 3.000 captures + 35 M fitxers + 2 TB

Reculls especials 3 eleccions Folk-rock

1. Recol·lector 2. Indexador 3. Visualitzador

Cercador

index

WERA +


• SSH • Firefox • Thunderbird • Openoffice • GIMP • Pidgin • >rdesktop‐fxxx.cesca.cat

Eines corporatives

Eines corporatives

Intranet

Directori de contactes

Webmail

Reserva de sales

Gestió d’incidencies

Repositori i enviament de fitxers

Missatgeria instantània

Request Tracker

Upload Consigna

El CESCA és un centre gestor d’e-infrastructures al servei de la universitat i la recerca

Ús de programari lliure a totes les capes: • Sistema operatiu (Linux) • Aplicatius base (Apache, Tomcat, PostgreSQL…) • Monitorització (Nagios, Ganglia…) • Comunicacions (ISC Bind, Snort…) • Repositoris (Dspace, OJS, Heritrix…) • Eines corporatives (Twiki, MRBS…)

Independència de proveïdor, comunitat, correcció d’errors, però sobretot, adaptabilitat als requisits concretes de cada projecte

No al tòpic que el programari lliure és barat. Costa molt temps i recursos. Una solució és compartir costos amb e-infraestructures cooperatives

[email protected] [email protected]

Documents

Programari lliure en un centre gestor d'e-infrastructures, el CESCA