Vortrag: Grid Computing 1 Grid Computing Seminar: Internet und seine Anwendung von Ch. Quinte & A. Sieber

Vortrag: Grid Computing 1

Grid Computing

Seminar: „Internet und seine Anwendung“

von Ch. Quinte & A. Sieber


Inhaltsübersicht (1)

Die Grid Idee Definition: Grid Systeme Erhoffte Vorteile und Ziele Architektur Softwarearchitektur Sicht Client / Server Was ist eine geeignete Aufgabe?


Inhaltsübersicht (2)

Globus Toolkit Arbeiten in einem Grid Anwendungstypen mögliche Anwendungsbereiche SETI@home CERN-Data-Grid Zusammenfassung / Ausblick Quellen


Die Grund Idee

Motivation: Simulation sind oft einzige Zugangsmöglichkeit zu

einer Problemstellung Sie sind Günstiger als reales Experiment

Heutiger Stand Projekte überfordern vorhandene

Hochleistungsrechner (Alice) IDEE:

Verteilung auf mehrere Superrechner/ClusterNutzen von brachliegenden Ressourcen


Warum Grid Computing?

Häufige Probleme aus Benutzersicht:Ein Benutzer rechnet auf mehr als einem

GroßrechnerEr muss sich mehrfach authentifizieren (oft

mit verschiedenen Kennungen / Passwörtern)Er muss Daten manuell zwischen den

Rechnern transportieren (verliert die Übersicht)


Definition: Grid Systeme

Grids (=Gitter) sind eine Infrastruktur, die Zugang zu Computerressourcen im High-end-Bereich ermöglichen

nutzen die zusammengeschaltete Kraft aller angeschlossenen Rechner (weltweiter Zugriff auf Ressourcen) Ressourcen: Berechnungskapazitäten (CPU) /

Speicherplatz / Daten / Programme / Sensoren / … tauschen Daten und Rechenkapazitäten

zwischen einzelnen Computern aus


Erhoffte Vorteile & Ziele

Erhöhung der Rechenleistung Grössere Speicherkapazität Nutzung „schlafender“ Ressourcen

(„Schaufenster PC“, Arbeitsstationen usw.) Ausfall von Komponenten bleibt unbemerkt Permanente Verfügbarkeit Hersteller-, BS- und Architektur-neutral


Architektur

Die Architektur hängt davon ab, in welchem Maßstab ein Netz betrachtet wird

4 Systemtypen werden unterschieden:EndsystemeCluster Intranets Internet


Endsystem

Am einfachsten Betriebsystem kontrolliert alle Ressourcen,

hat zentrale Kontrolle Bereits weit verbreitet und gut erforscht Ressourcen begrenzt


Cluster

Netzwerk von Workstations, verbunden durch ein schnelles LAN

Kontrolle durch eine Verwaltungseinheit


Intranets

großes Netz mit vielen Ressourcen Ist aber noch einer Organisation unterstellt zentralisierte Kontrolle und hoher Grad an

Koordination


Internet

Verbindet mehrere Organisationen (auch international)

Sehr groß (viele Ressourcen, …)

Wirft aber auch Probleme auf:Ressourcen geographisch weit entferntKeine Zentrale Kontrolle mehr


Softwarearchitektur

Ziel: ist eine einheitliche, leicht zu bedienende

Oberfläche für alle Benutzer aufzubauen und ein möglichst einfacher und transparenter

Zugriff auf die verteilten Ressourcen


Sicht Client

Gemeinsame Ressourcennutzung nach Regelsystem

Rechnerleistung als Hilfsmittel Man fordert Informationen an und

bekommt sie


Sicht Server

Ressourcenallokation so, dass keine Ressourcen ungenutzt bleiben und jeder das bekommt, was er anfordert

Information Sharing (Informationen verteilen, wenn sie benötigt werden)

Hohe Verfügbarkeit (Daten- und Rechenleistung ständig vorhanden)


Server & Client


Was ist eine geeignete Aufgabe?

Muß-Bedingungen: Rechenintensive Aufgabe, die einzelne Rechner überfordert. Aufgabe muß gut unterteilbar (parallelisierbar) sein. Möglichkeit des 'Checkpointing' (Speicherung von

Zwischenergebnissen und Wiederaufnahme) Der genaue Durchsatz ist schwer vorhersagbar, daher muß

entweder genug Kapazität vorhanden sein oder die Aufgabe sollte nicht zeitkritisch sein.

Kann-Bedingungen: Möglichst wenig bzw. kleinere Datenzugriffe notwendig. Möglichst in sich geschlossene Aufgabe


Globus Toolkit (1)

Basistechnologie für Grids verschiedener Topologie Einsatzmöglichkeiten von kleinen lokalen Clustern bis

zum weltweit verteilten Grid geht auf Projekt I-Way zurück

Supercomputing '95 in San Diego Vernetzung von 17 Supercomputer-Zentren in den USA 1996 neue Geldmittel (u.A. IBM und Microsoft)

Globus Toolkit Public License Erlaubt Verbreitung und Änderung wie GPL, kann also als „Open

Source“ bezeichnet werden Verfügbar für Linux, Solaris 8, AIX 5.1


Globus Toolkit (2) Ressourcen-Management

Globus Resource Allocation Manager stellt Dienste bereit um Rechenaufträge zu

verschicken und zu überwachen Informationsdienste

Monitoring and Discovery Service (MDS) Grid Index Information Service (GIIS)

Grid-weiter Informationsdienst hierarchischen Mechanismus ähnlich DNS

Grid Resource Information Service (GRIS) verwaltet lokale Ressourceninformationen Aktualisierung periodisch oder auf Anfrage

Daten-Management Gridftp


Arbeiten in einem Grid

einfach und transparent Anmelden (Authentifizierung) Simulation spezifizieren (Codes, Inputfiles,…) Verfügbare Ressourcen ermitteln Ressourcen auswählen und evtl. reservieren Berechnung starten evtl. Berechnung beeinflussen Ergebnisdaten hohlen Abrechnung (Accounting)


Anwendungstypen (1)

Verteiltes Supercomputing Zusammenfassung der Rechenleistung mehrerer Rechner Ausnutzen nicht verwendeter Ressourcen

Data Grids Umgang mit wachsendem Datenaufkommen der Forschung und

Industrie Temporärer vs. permanenter Speicherplatz Sicherheit vor Datenverlust

Ausreichende Speicherkapazitäten für Backups Data Striping

Daten liegen auf mehreren Servern Erhöhung des Datendurchsatzes durch Zugriff auf mehrere Quellen

gleichzeitig


Anwendungstypen (2)

Kollaborative Computerarbeit virtuelle Organisationen

temporäre Organisationsübergreifende Gruppen zur Lösung spezifischer Probleme

Reservation, Scheduling und Scavenging Organisation anstehender Jobs

Ausgleich von Resourcen Lastverteilung auf vorhandene Resourcen

Betriebssicherheit und Zuverlässigkeit bei herkömmlichen High-End-Systemen teuer und aufwendig


mögliche Anwendungsbereiche

Mathematische Berechnungen Risikobewertung im Bankwesen Chip-Design in der Industrie Crashsimulationen Ölfeldsuche Wettervorhersage SPAM Vermeidung


SETI@home (1) Search for Extraterrestrial Intelligence

Projekt der Berkeley Universität USA zur Suche nach ungewöhnlichen Radiosignalen

Verteiltes Supercomputing 5 Millionen Teilnehmer

Total Last 24 Hours

Users 4992815 1133

Results received 1380273422 1380368

Total CPU time 1924340.387 years 1150.730 years

Fl.Point Operations 4.967251e+21 5.383435e+18

(62.31 TeraFLOPs)

~ CPU time p. work unit

12 hr 12 min 46.6 sec 7 hr 18 min 09.6 sec


SETI@home (2) Funktionsprinzip

Arecibo telescope in Puerto Rico

Data Splitter

Client auf Anwender PC

0.25 Mbyte work-units

Berkeley

35 GBtäglich

fertige Berechnungen

Science Database

work-unit Storage

User DatabaseData Server


SETI@home (3) Client

Clients als Konsolenanwendung auch für exotische BS oder Bildschirmschoner für Windows

Konsolenanwendung effizienter da als niedrig priorisierter Thread


CERN-Data-Grid (LHC) (1)

Large Hadron Colliderweltweit leistungsfähigste

TeilchenbeschleunigerFertigstellung 2005ca. 5000 Physiker, 300 Institute in 50 LändernMehrere Petabytes Daten (1 PB = 1024

TBytes) jährlich über eine Lebenszeit von 15 bis 20 Jahren


CERN-Data-Grid (LHC) (2)

Tier n-Konzept: Tier-0 (CERN)

Rohdatenspeicherung, Rekonstruktion und Sammlung von Event-Daten

Tier-1(in DE, FR, IT, UK, US) Analyse und Speicherung

Tier-2 regionale Zentren u.a. in Kanada, China, Japan, Russland

Tier-3 Institutsrechner Tier-4 einzelne

Arbeitsplatzrechner

CERN

DE FR US IT UK

TIER 0

TIER 1

TIER 2

TIER 3

TIER 4

kleinere Regionalzentren


Zusammenfassung / Ausblick

transparentes Zusammenschließen von Ressourcen Vorbild WWW vielfältige Anwendungen Fabrizio Gagliardi, Enabling Grids for E-science in

Europe (EGEE)Project Director: "EGEE will make grid technology available on a regular and reliable

basis to all or European science, as well as Research and Development. Like the World Wide Web which was initially developed for specialised scientific purposes, the impacet of the emerging Grid technology on European society is difficult to predict at this stage but is likely to be huge."


Quellen

http://www.gridcomputing.com/ ZetaGrid, http://www.zetagrid.net/ Vernetzte Welten, Harald Kornmayer, Linux-

Magazin 06/2004 SETI@home, http://setiathome.ssl.berkeley.edu

DATA GRID, http://eu-datagrid.web.cern.ch/eu-datagrid/

Documents

Vortrag: Grid Computing 1 Grid Computing Seminar: Internet und seine Anwendung von Ch. Quinte & A. Sieber