Integración de Integración de VOs y VOs y

middleware para middleware para EGEEEGEE

Álvaro Fernández CasaníÁlvaro Fernández Casaní

Instituto de Física Instituto de Física Corpuscular (CSIC/UV)Corpuscular (CSIC/UV)

ValenciaValencia

Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Proyecto EGEEProyecto EGEE Orientado hacia un grid de producción a nivel Orientado hacia un grid de producción a nivel

europeoeuropeo Soporte actual a aplicaciones de física, pero nuevas Soporte actual a aplicaciones de física, pero nuevas

áreas como biomedicina y otras están siendo áreas como biomedicina y otras están siendo incluidas.incluidas.

En la región Sudoeste (España y Portugal) En la región Sudoeste (España y Portugal) distribución de servicios de un ROC, entre ellos:distribución de servicios de un ROC, entre ellos: Aportar recursos (Resource Centres)Aportar recursos (Resource Centres) Servicios centrales (RB, II, BDII, RLS, VO)Servicios centrales (RB, II, BDII, RLS, VO) Soporte a usuarios, monitorización y accounting de Soporte a usuarios, monitorización y accounting de

recursos, inclusión de nuevos RC’s.recursos, inclusión de nuevos RC’s. Adición de Organizaciones VirtualesAdición de Organizaciones Virtuales

No hay financiación explicita para desarrollo de No hay financiación explicita para desarrollo de middleware, sólo reingeniería del mismo.middleware, sólo reingeniería del mismo. Adaptación de mw desarrollado en otros proyectos Adaptación de mw desarrollado en otros proyectos

(datagrid, lcg, alien).(datagrid, lcg, alien).

Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

1 - Organizaciones 1 - Organizaciones Virtuales en EGEEVirtuales en EGEE

Organización virtual agrupa diferentes Organización virtual agrupa diferentes usuarios con intereses comunes en cuanto a usuarios con intereses comunes en cuanto a computación.computación.

Parte imprescindible para la autorización de Parte imprescindible para la autorización de usuarios en los recursos que desean usar.usuarios en los recursos que desean usar. Un RC da autorización a un número de VOsUn RC da autorización a un número de VOs En la práctica puede requerir SLAs.En la práctica puede requerir SLAs.

Actualmente se sigue un modelo Actualmente se sigue un modelo pullpull de de autorización. Los recursos preguntan a un autorización. Los recursos preguntan a un servidor central por los usuarios.servidor central por los usuarios.

Soporte en nuestra federación (España y Soporte en nuestra federación (España y Portugal):Portugal): Creación de nuevas Vos para grupos que surgan en Creación de nuevas Vos para grupos que surgan en

el contexto de EGEEel contexto de EGEE

Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Creación y Gestión Creación y Gestión de VOSde VOS

Creación de una VO:Creación de una VO: Requerimientos de Requerimientos de

EGEEEGEE VO managerVO manager Creacion de la VOCreacion de la VO

Registrar interfaceRegistrar interface Usuarios registradosUsuarios registrados

Proceso de registroProceso de registro 1-Usuario se Registra en 1-Usuario se Registra en

web interfaceweb interface 2- VO manager recibe 2- VO manager recibe

notificacion notificacion 3- éste añade al usuario y 3- éste añade al usuario y

se lo comunicase lo comunica

EGEE VO Server VO1

VO MANAGER

USUARIO

Auth Registrar Server

RegUsers

REGISTRARWEB SERVER

HTTPSEMAILfirmado

EMAILfirmado

Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Grid-mapfile

CE

Arquitectura de Arquitectura de autorización basada autorización basada

en LDAPen LDAP

UI(edg-gatekeeper)

VO Server

VO Server N

VO1

VO2

Auth Registrar Server

VO3

RegUsers

Proxy X509

GSI

LDAP/S

REGISTRARWEB SERVER

MK-gridmapfile

LCAS

LCMAPS

LDAP/S

Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Futuros Servicios de Futuros Servicios de Vos en EGEEVos en EGEE

La aproximación actual tiene varios problemas:La aproximación actual tiene varios problemas: Un usuario sólo puede pertenecer a una VOUn usuario sólo puede pertenecer a una VO No se puede definir qué puede hacer cada usuario autorizado en los No se puede definir qué puede hacer cada usuario autorizado en los

recursos.recursos. La BD local (gridmapfile) no escala para un entorno de prod. Con La BD local (gridmapfile) no escala para un entorno de prod. Con

muchos usuarios.muchos usuarios. Actualizaciones via comandos ldap o scripts con interfaces poco Actualizaciones via comandos ldap o scripts con interfaces poco

amigables.amigables. VOMS soluciona estos problemasVOMS soluciona estos problemas

Extensiones a los proxys X.509 para identificar a que VO pertenece el usuario.Extensiones a los proxys X.509 para identificar a que VO pertenece el usuario. Modelo de autorización por “agente”.Modelo de autorización por “agente”. Permite definir grupos y roles.Permite definir grupos y roles.

Implica cambios en:Implica cambios en: El proxy contiene informacion agregada (compatible) de las VOs a las que El proxy contiene informacion agregada (compatible) de las VOs a las que

pertenecepertenece Grid-mapfile desaparece para dar cabida a grupos/rolesGrid-mapfile desaparece para dar cabida a grupos/roles Sistema de Informacion debe soportar los nuevos esquemasSistema de Informacion debe soportar los nuevos esquemas No hay servidores LDAP, sino VOMS que son contactados por el usuario para No hay servidores LDAP, sino VOMS que son contactados por el usuario para

comprobar la autorización y la VO/grupo/rol al que se pertenece en un momento comprobar la autorización y la VO/grupo/rol al que se pertenece en un momento dado.dado.

Cambios en LCAS local.Cambios en LCAS local.

Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Conclusiones sobre Conclusiones sobre VOsVOs

EGEE da soporte a nuevos RCs y sus EGEE da soporte a nuevos RCs y sus nuevas Vos.nuevas Vos.

Servicios basados en globus con Servicios basados en globus con extensiones, actualmente LDAP y extensiones, actualmente LDAP y próximamente con VOMSpróximamente con VOMS

Arquitectura de autorización deben Arquitectura de autorización deben seguir los esquemas planteados para seguir los esquemas planteados para estar en concordancia con EGEE.estar en concordancia con EGEE.

Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

2 – Midleware para 2 – Midleware para EGEEEGEE

Actualmente se está utilizando middleware Actualmente se está utilizando middleware desarrollado en proyectos anteriores, entre desarrollado en proyectos anteriores, entre ellos edg, lcg, alien.ellos edg, lcg, alien.

Orientado principalmente hacia aplicaciones Orientado principalmente hacia aplicaciones HEP, secuenciales (batch) con mucho HEP, secuenciales (batch) con mucho requerimiento de CPU.requerimiento de CPU.

En EGEE más áreas de aplicación con En EGEE más áreas de aplicación con requerimientos diferentes: aplicaciones requerimientos diferentes: aplicaciones paralelas mpi, interactivas, etcetera.paralelas mpi, interactivas, etcetera.

En En Eu-CrossgridEu-Crossgrid hemos desarrollado soporte hemos desarrollado soporte para estas aplicaciones utilizando mw para estas aplicaciones utilizando mw compatible de edg-datagrid (RB), con lo que es compatible de edg-datagrid (RB), con lo que es posible utilizarlo actualmente con pocas posible utilizarlo actualmente con pocas modificacione en el testbed de producción.modificacione en el testbed de producción.

Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Ejemplo: Ejemplo: Arquitectura de Arquitectura de

gestion de recursosgestion de recursos

GSI

Job Manager

Llamadas al API Gram para pedir reserva del recurso

Y creacion de procesos

Llamadas al API del MDSPara localizar recursos

Preguntar el estadoActual del recurso

Crear

RSL Library

Parse

PeticiónCreación de

procesos

Process

Process

Process

Control y Monitorización

ResourceBroker / SA MDS: Grid Index Info Server

Gatekeeper (CE)

MDS: Grid Resource Info Server

Local Resource Manager

Llamadas al API del MDSPara localizar recursos

Creacion de callbacksPara notificar cambios

De estado

SCHEDULING

WN WN

WN WN

Storage Element (SE)

UI

PORTAL/RAS

Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Principales Principales componentes del componentes del

RB/SARB/SA Ejecución típica de Ejecución típica de

pasos de scheduling pasos de scheduling para 1 trabajo por el para 1 trabajo por el Scheduling Agent:Scheduling Agent:

1 - Recepción del trabajo1 - Recepción del trabajoResource Searcher:Resource Searcher: 2 - Búsqueda de recursos2 - Búsqueda de recursos 3 – Planificación y 3 – Planificación y

Prioridades Prioridades 4 – Reserva Temporal4 – Reserva Temporal

Aplication Launcher:Aplication Launcher: 5 - Envío del trabajo5 - Envío del trabajo 6 - Monitorización6 - Monitorización 7 - Finalización7 - Finalización

RS

AL

ResourceBroker / SA

Gatekeeper (CE)

MDS/RGM

A

Condor-G

ResourceManagement

Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Soporte para Soporte para aplicaciones mpiaplicaciones mpi

Soporte para aplicaciones mpi (intracluster) y Soporte para aplicaciones mpi (intracluster) y mpich-g2 (intercluster)mpich-g2 (intercluster)

Desarrollo de sistema de selección de Desarrollo de sistema de selección de múltiples recursos (set-matching), para múltiples recursos (set-matching), para asignar un trabajo a un grupo de recursos asignar un trabajo a un grupo de recursos (mpich-g2).(mpich-g2).

Lanzador de aplicaciones:Lanzador de aplicaciones: Aplicaciones mpich-p4 son lanzadas directamente Aplicaciones mpich-p4 son lanzadas directamente

a través de condor-g.a través de condor-g. Lanzador específico de mpich-g2, divide en Lanzador específico de mpich-g2, divide en

subtrabajos que pueden ser lanzados subtrabajos que pueden ser lanzados individualmenteindividualmente

Basado en Resource Broker de edg, utiliza Basado en Resource Broker de edg, utiliza Condor-G para lanzamiento de trabajos.Condor-G para lanzamiento de trabajos.

Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Aplicaciones Aplicaciones interactivas y DAGS, interactivas y DAGS,

con prioridadescon prioridades Basado en condor Bypass, establece un Basado en condor Bypass, establece un

canal de comunicación entre el UI y el WNcanal de comunicación entre el UI y el WN Wrapper sobre las aplicaciones que Wrapper sobre las aplicaciones que

realizan los pasos necesariosrealizan los pasos necesarios Soporte para aplicaciones interactivas Soporte para aplicaciones interactivas

secuenciales, y paralelas mpich-p4 y secuenciales, y paralelas mpich-p4 y mpich-g2.mpich-g2.

Soporte para aplicaciones descomponibles Soporte para aplicaciones descomponibles y modelables por DAGS.y modelables por DAGS.

Prioridades soportadas con condor Glide-Prioridades soportadas con condor Glide-inin

Toledo, 26 Noviembre 2004 Grupos Trabajo Middleware IrisGrid

Conclusiones sobre el Conclusiones sobre el MiddlewareMiddleware

Resource Broker con nuevo soporte a Resource Broker con nuevo soporte a aplicaciones batch e paralelas, aplicaciones batch e paralelas, interactivas, y DAGs interactivas, y DAGs

Utilizado en producción en Eu-Crossgrid.Utilizado en producción en Eu-Crossgrid. Debido a la compatibilidad con las Debido a la compatibilidad con las

soluciones de LCG y EGEE podemos soluciones de LCG y EGEE podemos pensar incluir nuestros desarrollos en pensar incluir nuestros desarrollos en producción a nivel europeo. producción a nivel europeo.

En EGEE Se están portando las En EGEE Se están portando las soluciones existentes a basadas en Web soluciones existentes a basadas en Web Services.Services.