View
215
Download
2
Category
Preview:
Citation preview
Betriebs-systeme
und Verteilte Systeme
Architektur des GridsProjektgruppe Peer2Peer Suche nach WebservicesWS 2004/SS 2005Andre Höing
2
Agenda
Definitionen Geschichte Unterschied OGSI / OGSA Schichten des Grids Grid Services Weitere OGSA Konventionen Forschung / next generation Zusammenfassung
Definition Geschichte Schichten GridServices OGSA Forschung
3
frühe Definition
1998 Ian Foster and Carl Kesselman „The Grid: Blueprint for a New Computing Infrastructure“
„A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive and inexpensive access to high-end computational capabilities“
„Ein Rechen-Grid ist eine Hard- und Software Infrastruktur, die einen verlässlichen, beständigen, überall vorhandenen und preisgünstigen Zugang zu high-end Rechenressourcen bereitstellt.“
Definition Geschichte Schichten GridServices OGSA Forschung
4
Moderne Definition
2000 Ian Foster, Sven Tuecke u.a. „The Anatomy of the Grid“
Schlagwort: „Sharing“ Nicht in erster Linie von Dateien, sondern
Direkter Zugang bei Bedarf zu Computer, Software, Daten und andere Ressourcen
Stark kontrolliert, mit genauer Klärung Was geteilt wird Wer Zugriff hat Unter welchen Bedingungen geteilt wird
Virtual Organization: Zusammenschluss der Teilnehmer, die durch die Regeln definiert werden.
Definition Geschichte Schichten GridServices OGSA Forschung
5
Checklist
Juli 2002 Ian Foster „What is the Grid“
Ein Grid ist ein System, welches verschiedene Ressourcen (in verschiedenen Domänen), die nicht
zentral verwaltet werden, koordiniert. standardisierte, offene, universelle Protokolle und Interfaces
benutzt. nicht triviale Dienste anbietet.
Definition Geschichte Schichten GridServices OGSA Forschung
6
Anfänge
1967 – erstes Netzwerkpaket wurde ausgetauscht (NPL Data Network / 768 kbps)
1973 – erste internationale Netzwerkverbindung (ARPANET) 1975 – TCP Verbindung über Satellit 1976 – erster Cray 1979 – erster Multiprozessor Computer 1984 – 1.000 Internet Hosts 1986 – NSFNET Backbone 56 kbps 1988 – NSFNET Backbone1,5 Mbps 1988 – Condor 1989 – 100.000 Internet Hosts
Definition Geschichte Schichten GridServices OGSA Forschung
7
Condor Erster Vorläufer des Modernen Grids
Nur ein Condor „Pool“ zusammengesetzt aus vielen Machinen Finden von einzelnen bestimmten Ressourcen unter einer Vielzahl
verschiedener Maschinen Fehlertoleranz
Umgang mit Jobs, die niemals enden Ab- und Einschalten einzelner Rechner
Netzwerk ist auf ein LAN beschränkt Nutzung von Ressourcen aus verschiedenen Domainen
Für die Forschung frei erhältlich: www.cs.wisc.edu/condor
Entwicklung noch aktiv
Definition Geschichte Schichten GridServices OGSA Forschung
8
Weitere Fortschritte
1991 – PGP released 1991 – CORBA v1.1 1991 – NSFNET 44.7 Mbps Backbone 1991 – WWW entwickelt von Tim Berners-Lee 1992 – 1.000.000 Internet Hosts 1993 – Legion project 1996 – SETI@home 1997 – start Globus 1998 – Globus Toolkit 1 2000 – Globus Toolkit 2 2003 – Globus Tooklit 3 2005 – Globus Toolkit 4
Im Moment Developer Release 3.9.3
Definition Geschichte Schichten GridServices OGSA Forschung
9
Globus Version 1
Toolkit mit Standards für Sicherheit (GSI) Zugriffskontrolle und Datentransfer (GRASS und GridFTP) Finden und Zuteilung von Ressourcen (GIS und GRAM) Starten entfernter Programme (globusrun)
GIS – Grid Information Service Jede Ressource startet „Grid Ressource Information Server“ (GRIS) Sammlung der Informationen im Grid Index Information Service (GIIS) Ressource Specification Language (RSL)
GSI - Grid Security Service Gute Akzeptanz der Sicherheitsstandards (X.509 Zertifikat mit
Ablaufdatum) Anmeldung am gesamten Grid möglich
Definition Geschichte Schichten GridServices OGSA Forschung
10
Globus Version 2
GRAM (Globus Ressource Allocation Manager) Interface zu den verschiedenen
lokalen Ressource Mgmt Tools
MDS – Metacomputing Directory Service: LDAP basiert Datenbank für den GRIS
GridFTP (Erweiterung des FTP Protokolls): Parallele Transfers Teiltransfers Third-Party Transfers Authentifizierte Datenleitungen
ResourceManagement
InformationServices
Data Management
Security (GSI)
GR
AM M
DS
GridFT
P
Definition Geschichte Schichten GridServices OGSA Forschung
11
Version 3
Open Grid Service Architecture standardisierter Aufbau eines
Grids Erlaubt Virtualisierung von
Ressourcen Integration von bereits
bestehenden Ressourcen und Programmen
Tools für Auslastung, Sicherheit, Netzwerk QoS, Erreichbarkeitsmanagement
Alles im Grid ist ein Service
Open Grid Service Infrastructure Formale und technische
Spezifikationen um den OGSA Aufbau umzusetzen Definiert WSDL Bestimmungen
und GSDL Erweiterungen Definiert wichtige Interfaces (in
WSDL) und Verhaltensweisen, die wichtig für einen Grid Service (GS) sind
Ziel: Vereinigung von Web Services und Grid Technologie
Definition Geschichte Schichten GridServices OGSA Forschung
12
Schichten des Grids
Quelle: A visual tour of Open Grid Services Architecture - http://www-106.ibm.com/developerworks/grid/library/gr-visual/
Definition Geschichte Schichten GridServices OGSA Forschung
13
Grid Service
Erweiterung eines Web Service um Lifecycle management Factory Notification State management Service Groups Handle Map
Erweiterungen werden durch OGSA/OGSI spezifiziert
Quelle: A visual tour of Open Grid Services Architecture - http://www-106.ibm.com/developerworks/grid/library/gr-visual/
Definition Geschichte Schichten GridServices OGSA Forschung
14
OGSA Funktionen (1)
Lifecycle Management Robustheit gegen das Auftauchen und Verschwinden einzelner
Dienste Nicht alle Dienste werden zu jeder Zeit benötigt Generierung der Dienste manuell oder durch eine Fabrik Zerstörung der Dienste explizit oder durch Soft-State Lifetime
Management Factory
Starten der Dienstinstanzen nur, wenn sie benötigt werden Eine Fabrik kann verschiedene Dienste erzeugen Nicht alle Dienste werden dynamisch erzeugt Liefert einen Grid Service Handle (GSH) zurück
Definition Geschichte Schichten GridServices OGSA Forschung
15
OGSA Funktionen (2)
Notification Kommunikation der einzelnen Dienste innerhalb eines Grids
untereinander Notification Source
Anmelden eines Dienstes bei einem Anderen Dienst bekundet Interesse an einer bestimmten Art von
Informationen „Subscription Manager“ Dienst regelt Lebensdauer und
Eigenschaften dieser Anmeldung Notification Sink
Gegenstück zur Quelle Asynchrones versenden von Nachrichten an einen vorher
angemeldeten Dienst
Definition Geschichte Schichten GridServices OGSA Forschung
16
OGSA Funktionen (3)
State Management Grid Services können verschiedene Zustände besitzen Informationen werden in Form von „Service Data“ gespeichert Minimale Service Data Menge für jeden GS zwingend notwenig
Service Data Beschrieben durch eine WSDL Erweiterung Enthält Informationen über
Den Dienst allgemein Die Interfaces des Dienstes Informationen über den Status der Anwendung
Nicht nur Meta Daten, sondern auch dynamische Informationen über den aktuellen Zustand
Definition Geschichte Schichten GridServices OGSA Forschung
17
OGSA Funktionen (4)
Service Groups Zusammenschluss mehrer GS in eine Virtuelle Gruppe Z.B. alle Dienste, die sich in einem bestimmten Cluster befinden
Handle Map Speichert Informationen um Dienste innerhalb des Grids zu finden Auflösung eines Grid Service Handles zu einer Grid Service
Reference
Definition Geschichte Schichten GridServices OGSA Forschung
18
GSH und GSR
Jede GS-Insatanz besitzt einen eindeutigen, unveränderbaren Namen innerhalb des gesamten Grids => Grid Service Handle (GSH) Enthält unter anderem Informationen über den HomeHandleMap
Dienst GSH kann bei einer Handle Map nachfragen, wo der Dienst mit
einer bestimmten GSH liegt=> Grid Service Reference (GSR) Enthält Informationen über den Ort des Dienstes (IP) Kann ablaufen
Trennung zwischen Dienst und Ort des Dienstes
Definition Geschichte Schichten GridServices OGSA Forschung
19
Interfaces GridService
FindServiceData SetTerminationTime Destroy
NotificationSource SubscribeToNotificationTopic
NotificationSink DeliverNotification
Factory CreateService
HandleMap FindByHandle
Registry RegisterService UnregisterService
Definition Geschichte Schichten GridServices OGSA Forschung
20
Finden eines Dienstes
Client
Registry
GridService
RegistryName, Lifetime, etc
MySQLDatabase Service
GridService
QueryDatabaseInterface
Name, Lifetime, etc
DB ServiceFactory
GridService Factory
Name, Lifetime, etcHandleMap
HandleMap
RegisterService
FindServiceData
GSHFindByHandle
GSRCreateService
GSH
GSH
GSR
Definition Geschichte Schichten GridServices OGSA Forschung
21
Beispiel Applikation
Registry
UserApplication
MiningFactory
DatabaseFactory
Compute Service Provider
Storage Service Provider
DatabaseService
DatabaseService
BioDB n
BioDB 1
Ich möchte eine Datenbankmit Informationen über e.coli Bakterien erstellen.
Finde einen Dienst für themenbezogene Datensuche und eine Datenbank um die Informationen zu speichern.
GSHs für dieangeforderten Dienste
Erstelle einen Suchdienst mitanfänglicher Lebendsdauer 10.
Erstelle einen Datenbankdienst mitanfänglicher Lebendsdauer 1000.
Database
MinerAnfrage
Anfrage
Keepalive
KeepaliveErgebnisse
Ergebnisse
Quelle: testbed.gridcenter.or.kr/kor/technical_doc/ KISTI-IBM-0522/ppt/day2-01-IntroductionOGSA.ppt
Definition Geschichte Schichten GridServices OGSA Forschung
22
Was kann OGSA noch?
Dienste müssen jederzeit upgradebar sein, ohne den Betrieb des Grids einzuschränken oder laufende Jobs zu beeinflussen Evtl. Kompatibilitätsprobleme mit älteren Versionen Clients müssen nicht nur Namen der Dienste unterscheiden,
sondern auch Versionen Finden von kompatiblen Diensten wäre ideal
Verlässliche Aufrufe der Dienste Synchronisation zum sicherstellen, dass die Nachrichten erhalten
wurden Authentifizierung
Sicherstellen der Identität einzelner Dienste oder Teilnehmer Besonders wichtig bei Vertragsverhandlungen etc.
Definition Geschichte Schichten GridServices OGSA Forschung
23
Grid Core Services
Service Management Automatisierung von
Installation, Erhaltung, Beobachtung und Problemlösung
Sammelt Informationen über das Grid
Service Communication Nachrichtenschlangen,
Nachrichtenversenden, Protokollieren der Kommunikation
Policy Management Gerüst für Erschaffung,
Verwaltung und Administration von Verträgen
Security Einheitliche Sicherheitsmodelle,
-mechanismen, -protokolle und -technologien
Definition Geschichte Schichten GridServices OGSA Forschung
Quelle: A visual tour of Open Grid Services Architecture – http://www-106.ibm.com/developerworks/grid/library/gr-visual/
24
Globus Version 4
Web Service Ressource Framework OGSA/OGSI wurde weitestgehend von der Globus Alliance ohne
die WebService Community definiert Oft werden nur Teile von OGSI benötigt, aber alle mussten
installiert werden => OGSI wird in 6 Web Service Spezifikationen aufgespaltet/erweitert
WS-RessourceLifetime WS-RessourceProperties WS-Notification WS-RenewableReferences WS-ServiceGroup WS-BaseFaults
Definition Geschichte Schichten GridServices OGSA Forschung
25
Zusammenfassung
Alles im Grid wird als Grid Service dargestellt (Hard- und Software)
Schichten des Grids Vorstellung der Funktionen Auflösen von GSH und GSR Kommunikation Soft-State Lifecycle Service Data Ausblick auf die nächste Generation
Definition Geschichte Schichten GridServices OGSA Forschung
26
ENDE
Vielen Dank für die Aufmerksamkeit
Architektur des Grids
Recommended