Sistemas Distribuidos - tamps.cinvestav.mxfpech/sd/files/introduccion.pdf · Diseo de un sistema distribuido debe evitar \cuellos de botella": Componentes centralizados Tablas centralizadas

$Page 1: Sistemas Distribuidos - tamps.cinvestav.mxfpech/sd/files/introduccion.pdf · Diseo de un sistema distribuido debe evitar \cuellos de botella": Componentes centralizados Tablas centralizadas$
Sistema Distribuido (SD)Ventajas y DesventajasAplicaciones de los SD

Objetivos de un SDSistemas Operativos Distribuidos (SOD)

MiddlewareComponentes de un SD

Sistemas Distribuidos

MC. Fernando Pech May

ITSR

Verano de 2011, [email protected]

MC. Fernando Pech May ITSR

Sistemas Distribuidos




Referencias basicas

Distributed Systems: Concepts and DesignG. Coulouris, J. Dollimore y T. Kindberg; Addison-Wesley

Distributed Operating SystemsA. S. Tanenbaum; Prentice-Hall

Distributed Systems: Principles and ParadigmsA. S. Tanenbaum y M. Van Steen; Prentice-Hall

Distributed Operating Systems: Concepts and PracticeD. L. Galli; Prentice-Hall

Distributed Operating Systems and AlgorithmsR. Chow y T. Johnson; Addison-Wesley


Sistemas Distribuidos 2/50




Evaluacion

Examen de medio termino1: 20 %

Examen Final: 20 %

Tareas (presentaciones, practicas, etc):30 %

Presentaciones en Latex Beamer.Las practicas tendran reportes en Latex.

Proyecto: 30 %

Software

Sistema Operativo: GNU/Linux.

Compilador GCC y Latex

Maquina Virtual Java con JSDK

Servidor de aplicaciones Tomcat,Glassfish1Puede variar en funcion de la cantidad de tareasMC. Fernando Pech May ITSR





Contenido

1 Definicion de Sistemas Distribuidos

2 Ventajas y desventajas de los Sistemas Distribuidos.

3 Objetivo de un Sistema Distribuido

4 Sistemas Operativos Distribuidos

5 Sistemas Operativos de Red.

6 Middlewares

7 Componentes de un Sistema Operativo Distribuido






Sistema Distribuido (SD)

Nivel fısico: Conjunto de procesadores sin memoria comunconectados por una red

Sistema debilmente acoplado

No existe un reloj comun

Dispositivos de E/S asociados a cada procesador

Fallos independientes de componentes del SD

Caracter heterogeneo






Que es un Sistema Distribuido?

Es algo difıcil de definir...

Mejor hablar de ”sıntomas de distribucion”:

Multiproceso (concurrencia): El hardware permite el progresosimultaneo de varias actividades (varias CPUs,con memorialocal etc ) local, etc.).

Interconexion: Permite la comunicacion entre las actividades.

Relacion: Uso compartido de recursos, informacion, etc.

Fallo independiente: Permite buscar soluciones resistentes encaso de fallo (ojo: las comunicaciones tambien pueden fallar).






Definicion

“Un sistema en el cual componentes ubicados en una red decomputadoras se comunican y coordinan sus acciones mediante elintercambio de mensajes ”[Coulouris].Principales caracterısticas:

Concurrencia de componentes

Ausencia de reloj global

Indepencia de fallos en sus componentes.

A distributed system is a collection of independient computers thatappears to its users as a single coherent system [Tenenbaum]






Razones para distribuir

Distribucion funcional: Las computadoras tienen diferenciasfuncionales

Cliente / ServidorHost / TerminalColeccion de datos / procesamiento de datosCompartir recursos para funciones especıficas

Distribucion inherente al dominio de la aplicacionCajas registradoras y sistemas de inventario para cadenas desupermercadosSoporte para trabajo colaborativo

Distribucion/balanceo: asignar tareas a procesadores tal quetodo el desempeno del sistema sea optimizado.






Razones para distribuir

Replicacion del poder de procesamiento: procesadoresindependientes trabajan con la misma tarea

Sistemas distribuidos conformados por variasmicrocomputadoras pueden tener poder de procesamiento quedifıcilmente una supercomputadora tendra.10000 CPUs, cada uno corriendo a 50 MIPS, alcanzan 50000MIPS, por lo que instrucciones ejecutadas en 0.0002 nsec,equivalen a una distancia luz de 0.6 mm.

Separacion fısica: sistemas que confıan en el hecho de que lascomputadoras estan fısicamente separadas (ej. Para satisfacerrequerimiento de confiabilidad).

Economicos: colecciones de microprocesadores ofrecen una mejorcuota precio/desempeno que grandes mainframes.Mainframes: 10 veces mas rapidos, 1000 veces mas carosMC. Fernando Pech May ITSR





Sistemas Distribuidos: Razones

Porque un sistema distribuido y no un hardware aislado?

Se requiere compartir datos y recursos entre usuariosMejora la comunicacin persona-a-personaFlexibilidad: diferentes computadoras con diferentescapacidades pueden ser compartidas entre usuarios

Problemas con la distribucion, sistemas conectados

Software como disenarlo y manejarlo en un SDDependencia de la infraestructura de red subyacente (el worldwide web..)Facil acceso a datos compartidos origina necesidades deseguridad






Sistemas Distribuidos vs Sistemas paralelos

Distincion a nivel logico y/o fısico.Dado un sistema fısico en el cual los procesadores tienenmemoria compartida, es facil simular paso de mensajes. Porotra parte, dado un sistema fısico con varios procesadoresconectados por una red es posible simular memoriacompartida.Porque un sistema no debiera ser paralelo en su totalidad?

EscalabilidadModularidad y heterogeneidadDatos compartidos (bases de datos distribuidas)Recursos compartidosEstructura geograficaConfiabilidad (resistencia a fallos)Bajo costo






Sistema distribuido heterogeneo

Un sistema distribuido puede estar formado por multitud deelementos conectados por redes LAN o WAN:

Terminales X y Network Computers.

PCs y estaciones de trabajo.

Sistemas portatiles (redes moviles: GSM, WAP, ...).

Minicomputadores.

Supercomputadores.

Multiprocesadores con memoria compartida.

Servidores especializados (de almacenamiento, de impresion,...).

Sistemas empotrados (una camara, Robot).






Ventajas de los sistemas distribuidos

Economıa: Buena relacion rendimiento/costeGracias a avances en tecnologıa de microprocesadores y decomunicaciones

Alto rendimiento: Procesamiento paralelo.

Soporte de aplicaciones inherentemente distribuidas ( Porejemplo: empresa distribuida geograficamente).

Capacidad de crecimiento: Escalabilidad.

Fiabilidad y disponibilidad: Tolerancia a fallos.

Caracter abierto y heterogeneo: (Necesidad de estandaresde interoperabilidad).

Compartir recursos y datos.






Desventajas de los sistemas distribuidos

Necesidad de un nuevo tipo de software

Mas complejo.No hay todavıa un acuerdo sobre como debe ser.

Red de interconexion introduce nuevos problemas:

Perdida de mensajes y saturacion.Latencia puede provocar que al recibir un dato yaeste obsoleto.La red es un elemento crıtico.

Seguridad y confidencialidad.






Aplicaciones de los sistemas distribuidos

Entornos de empresa: redes corporativas e intranets(Sustituyen a los clasicos mainframes).

Entornos que requieren procesamiento paralelo (Sustituyen acostosos supercomputadores).

Servicios con alta disponibilidad y rendimiento.

Sistemas distribuidos de gestion de bases de datos.

Aplicaciones multimedia.

Sistemas industriales distribuidos y aplicaciones de control.

Internet es un enorme sistema distribuido.






TransparenciaFiabilidadRendimientoCapacidad de crecimientoFlexibilidad

Objetivos de un Sistema Distribuido

En general el desarrollo de sistemas distribuidos intenta ponersolucion a los siguientes objetivos:

Transparencia.Fiabilidad.Rendimiento.Capacidad de crecimiento.Flexibilidad.Seguridad.







Existen varios perfiles de transparencia:

Acceso: Manera de acceder a recurso local igual que a remoto.

Posicion: Se accede a los recursos sin conocer su localizacion.

Migracion: Recursos pueden migrar sin afectar a los usuarios.

Concurrencia: Acceso concurrente no afecta a los usuarios.

Replicacion: La existencia de replicas no afecta a los usuarios.

Fallos: La ocurrencia de fallos no afecta a los usuarios.

Crecimiento: El crecimiento del sistema no afecta a los usuarios.

Heterogeneidad:Caracter heterogeneo no afecta a los usuarios.







Fiabilidad como disponibilidad:Fiabilidad como coherencia: (Se dificulta con caching yredundancia).La fiabilidad esta relacionada con la seguridad (otro objetivo).







Rendimiento para un servicio multiusuario:

Objetivo: Rendimiento no peor que un sistema centralizado

Rendimiento para la ejecucion paralela de aplicaciones:

Objetivo: Rendimiento proporcional a procesadores empleados

Factores

Uso de esquemas de caching: Intentar que muchos accesos sehagan localmente

Uso de esquemas de replicacion: Reparto de carga entrecomponentes replicados

En ambos casos: Coste de mantener la coherencia







Diseo de un sistema distribuido debe evitar “cuellos de botella”:

Componentes centralizados

Tablas centralizadas

Algoritmos centralizados

Caracterısticas deseables en un algoritmo distribuido:

Ninguna maquina tiene informacion completa del estado delsistema

Las decisiones se basan solo en informacion disponiblelocalmente

El fallo de una maquina no debe invalidar el algoritmo

No debe asumir la existencia de un reloj global







SOD debe ser adaptable:

Facilidad para incorporar cambios y extensiones al sistema

Importancia de sistemas abiertos:

Sus interfaces y protocolos deberıan ser publicos.

Contrario a “tecnologıa propietaria”.

Uso de estandares siempre que sea posible.

Disponibilidad de su codigo fuente (libremente o no).

Regulacion por parte de un colectivo (usuarios uorganizaciones) y no por particulares (fabricantes).






Clasificacion de los SOSistemas Operativos para SMPs

Definicion

Definicion: Un sistema operativo distribuido ejecuta sobre unsistema distribuido haciendo creer a los usuarios que se trata de unsistema centralizado.

single system view o uniprocesador virtual

Esconde el caracter distribuido del sistema:Es facil de decir pero no de hacerLos fracasos pueden generar frustraciones en los usuarios:

Un sistema distribuido es aquel en el que no puedes trabajar con tumaquina por el fallo de otra maquina que ni siquiera sabıas que

exista (Lamport).







Sistemas operativos para multiprocesadores con memoriacompartida (SMP):

Software fuertemente acopladosobre Hardware fuertemente acoplado

Sistema operativo de red:

Software debilmente acopladosobre Hardware debilmente acoplado

Sistema operativo distribuido (SOD):

Software fuertemente acopladosobre Hardware debilmente acoplado







Arquitecturas de varios procesadores con memoria compartida deacceso uniforme Caracterısticas:

“Ligeras”variaciones sobre versiones tradicionales.

Solo hay una copia del sistema operativo.

Concurrencia se traduce en paralelismo real.

Comercialmente aceptados (Linux, WinNT, Solaris, AIX, ...).

Plantea retos para: la ejecucion del nucleo en variosprocesadores (llamadas al sistema concurrentes) , losmecanismos de sincronizacion (spin-locks), optimizacion yplanificacion (afinidad al procesador), ...







Sistemas Operativos de red

Definicion: [Cho97]Red de computadoras debilmente acopladas en las que no existe uncontrol externo directo sobre el hardware/software de cada computadorapara la comparticion de recursos.Caracterısticas:

No dan la vision de uniprocesador virtual (maquinasindependientes).

Cada una ejecuta una copia de sistema operativo (posiblementedistinto).

Sistema operativo convencional + utilidades de red.

Protocolos de comunicacion para intercambio de recursos y acceso aservicios de alto nivel.

Desde rcp/rlogin hasta Open Network Computing (ONC) de Sun.MC. Fernando Pech May ITSR






Sistemas Operativos Distribuidos (SOD)

Una copia del SO en cada procesador

Necesidad de desarrollar nuevos conceptos

Algunos ejemplos de esta problematica especıfica:

Como lograr exclusion mutua sin memoria compartida?Como tratar los interbloqueos sin un estado global?Planificacion de procesos: Cada copia del sistema operativotiene su cola de planificacion (migracion de procesos).Como crear un arbol de archivos unico?Implicaciones de la falta de reloj unico, la presencia de fallos ola heterogeneidad.







Evolucion de los SOD

Primeros SO de red:Incluir servicios de red en SO convencionalEjemplo: UNIX 4BSD (1980)

Paulatina incorporacion de mas funcionalidad:

ONC de Sun ( 1985): incluye NFS, RPC, NIS

Primeros SODNuevos SO pero basados en arquitecturas monolıticasEjemplo: Sprite de la Universidad de Berkeley ( 1988)

SOD basados en microkernel. Ejemplos:Mach de CMU ( 1986)Amoeba disenado por Tanenbaum ( 1984)Chorus de INRIA en Francia ( 1988)

Tendencia actual: Entornos distribuidos —> Middleware






Middleware

Capa de software que ejecuta sobre el sistema operativo localofreciendo unos servicios distribuidos estandarizados.Sistema abierto independiente del fabricante.No depende del hardware y sistema operativo subyacente.

Ejemplos:

DCE (Open Group).CORBA (OMG).






Servicios de ComunicacionSistema de Archivos DistribuidosServicio de nombresServicios de Sincronizacion y CoordinacionMemoria Compartida Distribuida (DSM)Gestion de procesosServicios de seguridad

El desarrollo de un sistema distribuido complejo requiere el uso delas siguientes funciones y servicios:

Servicios de comunicacion.

Sistemas de archivos.

Servicio de nombres

Servicios de sincronizacion y coordinacion.

Memoria compartida distribuida.

Gestion de procesos

Servicio de seguridad.







Modelos de interaccion

Cliente/servidor (2 niveles, 3-niveles o n-niveles)Peer-to-Peer. Equilibrio de rolesIntermediarios. Proxy, Dispacher, Caches, ...Comunicacion en grupo (Multicast)Codigo movil

Tecnologıas de comunicacion

Paso de mensajes (sockets)Llamada a procedimientos remotos (RPC)Invocacion de metodos remotos (RMI)Tecnologıas de objetos distribuidos: CORBA, DCOM, EJBServicios Web







Sistema de archivos para sistema distribuido

Gestiona distintos dispositivos en diferentes nodos ofreciendoa usuarios la misma vision que un SA centralizado

Permite que usuarios compartan informacion de formatransparente

Caching y replicacion







Identificacion y localizacion de recursos en el entorno distribuido.

Comprende:

Servicio de nombres (paginas blancas): DNS, COS-Naming(CORBA)

Servicio de directorio (paginas amarillas): X.500, LDAP,Active Directory de Windows, UDDI (Web Services)

Estrategias de resolucion de nombres

Arquitectura de los servicios.

Almacenamiento intermedio: caching

Replicacion y coherencia.







Comprende los conceptos de:

Tiempo en entornos distribuidos: Sincronizacion de relojes yrelojes logicosConcurrencia y Paralelismo: Exclusion mutua e interbloqueos.Algoritmos distribuidos: Eleccion de lıder, coordinacion, ...Transacciones: Propiedades, ACID, modelos decommit/rollback.

Afecta a otros servicios:

Nombrado e identificacin.Seguridad y fiabilidad.Comunicaciones....







Memoria fısicamente privada pero logicamente compartida.

Estrategias de implementacion:

Basada en paginas

Basada en variables compartidas

Basada en objetos







Estrategias de asignacion de procesadores

Planificacion de procesos:

Planificacion internaPlanificacion global

Migracion de procesos

Equilibrado de cargaAprovechamiento de maquinas inactivas







Tipologıa de ataques:

Privacidad y confidencialidad

Autenticacion (spoofing)

Denegacion de servicio

Modelos y herramientas de seguridad

Cifrado: clave publica (RSA) y privada (DES)

Protocolos de seguridad: IPsec, SSL

Certificados y firmas digitales X 509 digitales: X.509.

Elementos de seguridad: Firewalls.

Entornos de seguridad: p ej Kerberos







Retos en el diseno de SD

Heterogeneidad de:

Infraestructura de la red subyacente,Computadoras hardware y software (ej. Sistemasoperativos,comparar sockets UNIX y llamadas Winsock)Winsock),Lenguajes de programacion (en particular, representacion dedatos).Algunas metodologıas

Middleware (ej. CORBA): trasparencia de red, heterogeneidadde hardware y software y lenguajes de programacion.Codigo movil (ej. JAVA): transparencia desde el hardware,software y heterogeneidad de lenguajes de programacionmediante el concepto de maquina virtual.








Apertura

Asegura la extensibilidad y mantenibilidad del sistema

Seguridad

PrivacidadAutentificacionDisponibilidadEtc.








Manejo de Fallas

Deteccin (puede ser imposible)Enmascarar

RetrasmisionRedundancia en almacenamiento de datos

Tolerancia

Manejo de excepciones (ej. Pausas en esperas de respuestasde la web)

Redundancia

encaminadores redundantes en la redReplicacion de tablas de nombres en multiples dominios deservidores de nombres








Concurrencia

Planificacion consistente de hilos concurrentes (con lo que semantiene la dependencia, ej. En transacciones concurrentes)Se evitan problemas de deadlocks y livelocks.

Transparencia: ocultamiento de la heterogeneidad ydistribucin natural de los sistemas, lo cual aparece ante elusuario como un solo sistema

Clasificacion de la trasparencia (de acuerdo al ISO)








Acceso: a recursos locales y remotos utilizando las mismasoperaciones

Localizacion: acceso sin conocer la ubicacion de los recursos (Ej.Direcciones URL e-mails.)

Concurrencia: permite a varios procesos operar concurrentementeutilizando recursos compartidos de manera consistente

Replicacion: utiliza recursos replicados como si fueran una solainstancia

Fallas: permite que los programas completen sus tareas a pesarfallas Ej. Retransmision de emails








Movilidad: permite mover recursos

Desempeno: adopcion de los sistemas para variar situaciones decarga sin que el usuario lo perciba

Escalamiento: permite que el sistema y las aplicaciones se expandansin necesidad de cambiar estructuras o algoritmos.







Ejemplos de SD

1 La internet

2 Sistemas Multimedia Distribuidos

3 Intranets

4 Sistema de computo movil

5 Sistemas embebidos

6 Sistemas de telofonıa

7 Sistema de archivos distribuidos

8 World Wide Web







Ejemplos de SD -Internet

Redes heterogeneas de computadoras y aplicaciones

Implementacion mediante la pila de protocolos de Internet

Configuracion tıpica:







Ejemplos de SD -Sistemas Multimedia Distribuidos

Frecuentemente utilizan la infraestructura de Internet

Fuentes de datos y recipientes heterogeneos que necesitan sersincronizados en tiempo real (Video, Audio, Texto)

Tele-educacion

Video Conferencias

Video y audio en demanda







Ejemplos de SD -Intranets

Redes localmente administradas

Generalmente propietarias (ej. Red del campus universitario)

Interfaces con la Internet (Cortafuegos)

Proporciona servicios interna y externamente







Ejemplos de SD -Sist de computo movil

Sistemas de telefona celular (ej. GSM, UMTS)

Recursos que se comparten

Radio frecuenciasTiempos de transmision en una frecuencia (UMTS:multiplexado)El movil en movimiento

Computadoras portatiles

LANs inalambricasDispositivos handheld PDAs etcDispositivos portatiles







Ejemplos de SD -Sist de computo movil







Clusters

Tipo de sistema distribuido muy popular

Dedicado a una tarea especıfica

Computacion paralelaServicios escalables y de alta disponibilidad

Ejemplo: Google usa un cluster con 6000 procesadores

Sistema homogeneo basado en componentes estandar

Gestion de procesos mas coordinada que en SD general

Seguridad solo requerida si esta expuesto al “exterior ”







Computadoras en internet



Documents

Sistemas Distribuidos - tamps.cinvestav.mxfpech/sd/files/introduccion.pdf · Diseo de un sistema distribuido debe evitar \cuellos de botella": Componentes centralizados Tablas centralizadas