gLite Grid Servisleri ve Güvenlik

www.grid.org.tr

gLite Grid Servisleri ve Güvenlik

Aslı Zengin – [email protected] Temizsoylu – [email protected]

TR-Grid Kullanıcı Eğitimi, Şubat 2007 – ULAKBİM 2/32

Grid

ORTA

KATMAN

Görselleştirme

İş İstasyonu

Mobil Erişim

Kümeler, Süper Bilgisayarlar

Veri Depolama, Sensörler, Deneyler

İnternet, Ağlar


gLite Mimarisi

Ortak ServislerOrtak Servisler

Bilgi ve İzleme

Bilgi ve İzleme

Replika YönetimiReplika

YönetimiGrid

Planlayıcısı

GridPlanlayıcıs

ı

Uygulama

Uygulama

Veritabanı

Veritabanı

Alt Katman Grid ServisleriAlt Katman Grid Servisleri

CEServisleri

CEServisleri

Yetkilendirme ve

Raporlama

Yetkilendirme ve

Raporlama

ReplikaKataloğuReplika

KataloğuSE

ServisleriSE

ServisleriVeritaban

ıServisleri

Veritabanı

Servisleri

Yapı ServisleriYapı Servisleri

Yapılandırma

Yönetimi

Yapılandırma

Yönetimi

Sunucu KurulumYönetimi

Sunucu KurulumYönetimi

İzleme ve Sorun

Giderme

İzleme ve Sorun

Giderme

KaynakYönetimiKaynak

YönetimiDepolama Yönetimi

Depolama Yönetimi

Grid

Yapı

Lokal Hesaplama

Grid Grid Uygulama KatmanıGrid Uygulama Katmanı

VeriYönetimi

(DM)

VeriYönetimi

(DM)

İşYönetimi

(WMS)

İşYönetimi

(WMS)

Meta Yönetimi

Meta Yönetimi

KütükKütük


gLite Ana Servis Tipleri

Kullanıcı Arayüzü (UI)

Bilgi Servisi (IS)

Hesaplama Elemanı (CE)

İş Dağıtıcı

Hesaplama Ucu (WN)

Depolama Elemanı (SE)

Replika Kataloğu (RLS,LFC)

İşyükü Yöneticisi (WMS)

Kaynak Aracısı (RB)


gLite Servis Tipleri- UI – Kullanıcı Arayüzü -

gLite Grid altyapısına giriş kullanıcı arayüzü ile sağlanır.Kullanıcı arayüzünde:

Kullanıcılar kişisel hesaplara sahiptir.Kullanıcıların sertifikaları yüklüdür.

Aşağıdaki işlemleri komut satırı arayüzü sağlar:Çalıştırılmak üzere iş göndermekBir iş için uygun kaynakları göstermekDosyaları kopyalamak ve replika etmekİşleri takip etmek ve iptal etmekBitmiş işlerin sonuçlarını almak




Bilgi Servisi (IS)


İş Dağıtıcı

Hesaplama Ucu (WN)






gLite Servis Tipleri- CE – Hesaplama Elemanı -

gLite ortakatman yazılımını kullanan iki tip CE vardır: gLite-CE (yeni tip) ve lcg-CE (eski tip)gLite yapısında hesaplama elemanı homojen hesaplama uçlarına iş gönderir.Bütün gLite siteleri en az bir hesaplama sunucusu (CE) ve arkasında hesaplama uçları (WN) içerir.Sitede hesaplama sunucularından biri Grid kapısı olarak çalışır:

Globus kapısıdır.Globus GRAM (“Globus Kaynak Ayırma Yöneticisi”) sunucusudur.Lokal kaynak yönetim sisteminin ana sunucusudur (PBS, LSF, Condor...).

İş kuyrukları ve hesaplama sunucusu isimleri ayrı hesaplama elemanı kuyruklarını tanımlar:

lcg-CE için: ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-dteamglite-CE için: glitece.ulakbim.gov.tr:2119/blah-pbs-sgdemo


gLite Servis Tipleri- CE – Hesaplama Elemanı -

HesaplamaUcu(WN)

…

Grid Kapısı

gatekeeper

Bilgi

Servisi

HesaplamaUcu(WN)

HesaplamaUcu(WN)

HesaplamaUcu(WN)

Kuyruk Sunucusu




Bilgi Servisi (IS)


İş Dağıtıcı

Hesaplama Ucu (WN)






gLite Servis Tipleri- SE – Depolama Elemanı -

Depolama elemanı, büyük depolama alanlarına düzenli erişim sağlar.Her bir gLite sitesi en az bir depolama elemanı içerir.İki protokol kullanırlar:

Dosya transferi için GSIFTPDosya erişimi için RFIO (“Remote File Input/Output”)

Depolama kontrol yönetimi:Dosyalara saydam erişim sağlarDosyaların durumunu gösterirDosyaların saklanma zamanını takip eder

Disk ve teyp kaynakları tek bir depolama elemanı olarak gösterilebilir.


gLite Servis Tipleri- Veri Yönetimi Servisleri -

UI

SECECE

SECECE

Grid BileşenleriGrid Bileşenleri

Grid ortamına dosya yüklemeGrid ortamına dosya yükleme

Kullanıcının depolama elemanına veri saklaması (Kullanıcı arayüzünden)

Uygulamanın depolama elemanına veri saklaması

Kullanıcının uygulamayı saklama ihtiyacı (hesaplama ucu tarafından alınıp çalıştırılacak)

Küçük dosyalar için işlere ait giriş torbaları (“input sandbox”) kullanılabilir.


Grid Ortamından Dosya AlmaGrid Ortamından Dosya Alma

Kullanıcının depolama elemanından kullanıcı arayüzüne veri alma ihtiyacı

Küçük dosyalar için çıktı torbası (“output sandbox”) kullanılabilir.

Uygulamanın depolama elemanından veriyi alıp lokal kullanması

Uygulamanın depolama kaynağından alınıp çalıştırılması


UI

SECECE

SECECE



Veri ReplikasyonuVeri Replikasyonu

Hesaplama kaynaklarının yük dengelemesi

Genellikle işler verinin hali hazırda var olduğu sitelerde çalışır.

Veriye ulaşımda performansı arttırma

Birçok uygulama aynı dosyaya erişme ihtiyacı duyabilir.

Kritik dosyaların yedeklenmesi

LCG-2 Servis Tipleri- Veri Yönetimi Servisleri -

UI

SECECE

SECECE





Bilgi Servisi (IS)


İş Dağıtıcı

Hesaplama Ucu (WN)






gLite Servis Tipleri- IS – Bilgi Servisi -

Bilgi servisleri, grid kaynakları ve durumları hakkında bilgi verir.gLite bilgi servisleri, LDAP tabanlıdır. LDAP bilgi modeli kullanıcı, bilgisayar gibi objeler hakkında hızlı bilgi verecek şekilde tasarlanmıştır.



SELokal GRIS

SELokal GRIS

CELokal GRIS

SELokal GRIS

CE Lokal GRIS

CELokal GRIS

CE Lokal GRIS

SELokal GRIS

CE Lokal GRIS

CESite GIIS

CESite GIIS

CESite GIIS

BDII-A BDII-B

Kullanıcı Uygulaması

İş Dağıtıcısı

İzleme Servisleri



IS servisleri üç ana aşamada bulunabilir:GRIS: CE ve SE sunucularında bulunur. Lokal bilgi verir.GIIS: Sitenin üstünde bulunur ve ilgili site hakkında bilgi verir.Üst seviye bilgi servisleri Grid altyapısının geneli hakkında bilgi verir.

GRIS Globus MDS (“Monitoring and Discovery”) servisini, diğerleri ise BDII (“Berkeley DB Information Index”) servisini kullanır.BDII bütün GIIS servislerini iki dakikada bir tarar.GIIS servisleri kendi altındaki bütün GRIS servislerini tarar.Bütün kullanıcılar katalogları tarayabilir.




Bilgi Servisi (IS)


İş Dağıtıcı

Hesaplama Ucu (WN)







Veri yönetimi nedir?Kullanıcılar ve uygulamalar veri üretirler ve veriye ihtiyaç duyarlar.Veriler grid dosyaları şeklinde saklanabilirler.Dizin veya veri yapılandırılması yoktur. Dosya seviyesinde bilgi tutulur.Kullanıcı ve uygulamaların grid dosyalarını yönetebilmesi gerekir.

Kullanıcı ve uygulamalar gLite yapısında verinin yerini bilmek zorunda değildirler. Mantıksal dosya isimleri kullanabilirler.

Globally Unique Identifier (GUID) “guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6”

Site URL (SURL) (or Physical/Site File Name (PFN/SFN))

“sfn://lxshare0209.cern.ch/data/alice/ntuples.dat”

Logical File Name (LFN)

“lfn:cms/20030203/run2/track1”

Transport URL (TURL)

“gsiftp://lxshare0209.cern.ch//data/alice/ntuples.dat”




Bilgi Servisi (IS)


İş Dağıtıcı

Hesaplama Ucu (WN)






gLite Servis Tipleri- WMS – İş yükü Yönetimi -

Kullanıcılar grid ile iş yükü yönetim sistemi ile etkileşirler.İş yükü yönetim sistemi, dağıtık iş planlaması ve kaynak yönetimi sağlar. Kullanıcıların:

İşlerini gönderebilmelerine,İşlerini en uygun kaynaklarda çalıştırmalarına,Kaynakların kullanımını da aynı anda optimize etmeye,İşleri hakkında bilgi almasına,İşlerinin sonuçlarını almasına

sağlar.


gLite Servis Tipleri- İş Yükü Yönetim Sistemi (WMS) -

WMS aşağıdaki parçalardan oluşur:İş Yükü Yöneticisi: Sistemin ana parçasıdır.Kaynak Aracısı(RB): Bir işin ihtiyaçlarına göre en uygun kaynakları bulur.İş Adaptörü: İş, kontrol servisine geçmeden önce ortamı ayarlar.Kontrol Servisi: İşin gönderilmesi, silinmesi gibi yönetimsel operasyonlardan sorumludur.Kayıt Tutma: İş hakkında bilgi tutar.

İşler iş tanımlama dili JDL (“Job Description Language”) ile tanımlanır.WMS servisinin bir işi çalıştırabilmesi için:

İşin karakteristiğini (basit, MPI, DAG)Hesaplama ihtiyaçlarını ve seçenekleriniYazılım bağımlılıklarını

bilmesi gerekir.


UIAğ

Sunucusu

Kontrol Servisi

İş Yükü Yöneticisi

LFC

Bilgi Servisi

HesaplamaElemanı Depolama

Elemanı

WMS

CE bilgisive durumu

SE bilgisi ve durumu


UIAğ

Sunucusu

KontrolServisi

İş YüküYöneticisi

LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

UI: Komut satırı, GUI, C++,Java API’leri ile kullanıcınıniş yükü yönetiminin bütün özelliklerini kullanmasını sağlar.

Gönderildi

İş Durumu


UI AğSunucus

u

KontrolServisi


LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

Gönderildi

İşDurumu

glite-job-submit myjob.jdlMyjob.jdl

JobType = “Normal”;Executable = "sum.exe";InputSandbox = {"/home/user/sum.exe","/home/file*”, "/home/user/DATA/*"};OutputSandbox = {“sim.err”, “test.out”, “sim.log"};Requirements = other. GlueHostOperatingSystemName == “linux“;

İş tanımlama dili(JDL) işin ihtiyaçlarını vekarakteristiğini belirler.


UI AğSunucus

u

KontrolServisi


LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

İşDurumu

RBDeposu

Beklemede

Gönderildi

GirişTorbasındakiDosyalar (InputSandbox)

İş

Ağ sunucusu: Gelen istekleri karşılamaklayükümlüdür.


UIAğ

Sunucusu

KontrolServisi


LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

İşDurumu

RBDeposu

Beklemede

Gönderildi

İş Yükü Yöneticisi: İsteği karşılamak için gerekli işlemleri yapmakla sorumludur.


UI AğSunucus

u

KontrolServisi


LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

İşDurumu

RBDeposu

Beklemede

Ğönderildi

Kaynak Aracısı

Gönderilen iş nerede çalışmalı ?


UI AğSunucus

u

KontrolServisi


LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgive durumu

SE bilgive durumu

İşDurumu

RBdeposu

Beklemede

GönderildiKaynakAracısı

Kaynak Aracısı: İşin gönderileceği en uygun CE servisini bulur.


UI AğSunucus

u

KontrolServisi


LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE characts& status

SE characts& status

İşDurumu

RBDeposu

Beklemede

ĞönderildiKaynakAracısı

İhtiyaç duyulan verilernerede?

Grid'indurumu nedir ?


UI AğSunucus

u

KontrolServisi


LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

İşDurumu

RBDeposu

Beklemede

Gönderildi

KaynakAracısı

CE seçimi


UI AğSunucus

u

KontrolServisi


LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

İşDurumu

RBDeposu

Beklemede

Gönderildi

İşAdaptör

ü

İş Adaptörü: İş gönderilmeden önce sonişlemleri yapmakla sorumludur (Gerekliön işleme betiklerinin yaratılması...).


UI AğSunucus

u

KontrolServisi


LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

İşDurumu

RBDeposu

Kontrol Servisi: Gerçekiş yönetimi işlemlerindensorumludur.

Ğönderildi

Beklemede

Hazır


UI AğSunucus

u

KontrolServisi


LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

Job Status

RBDeposu

İş

GirişTorbasıDosyaları

Gönderildi

Beklemede

Hazır

Planlandı


UIAğ

Sunucusu

Kontrol Servisi


LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

İşDurumu

RBDeposu

Gönderildi

Beklemede

Hazır

Planlandı

Çalışıyor

Grid olanaklıveri transferleri

İş


UI AğSunucus

u

KontrolServisi


LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

İşDurumu

RBDeposu

ÇıkışTorbasıDosyaları

Gönderildi

Beklemede

Hazır

Planlandı

Çalışıyor

Bitti


UI AğSunucus

u

KontrolServisi


LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

İşDurumu

RBDeposu

Gönderildi

Beklemede

Hazır

Planlandı

Çalışıyor

Bitti

glite-job-output <job-id>


UI

AğSunucus

u

KontrolServisi


LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

İşDurumu

RBDeposu

Gönderildi

Beklemede

Hazır

Planlandı

Çalışıyor

Bitti

ÇıkışTorbasıDosyaları

Temizlendi


Grid Altyapısında Güvenlik ve Sertifika

Otoritesi


GÜVENLİK

Güvenlik ihtiyacı: Artan sanal bilgi paylaşımı ve haberleşme

Bilgi değerli!Servis sağlayıcıların sorumluluğu

Kullanıcıların güveninin sağlanması

Güvenlik ve kişisel gizlilik dengesinin kurulması


GÜVENLİK

Güvenlik konusunda üç temel kavram:

- Kimlik doğrulama “Sistemdeki kullanıcı kim?”

- Yetkilendirme “Kullanıcının yapacağı işe yetkisi var mı?”

- Sorumluluk “Kullanıcı ne zaman, nerde, ne yaptığından sorumludur”


GRİD’DE GÜVENLİKGrid kullanıcıları:

Geniş ve dinamik kullanıcı kitlesi

Farklı sitelerde farklı kullanıcılar

Kişisel ve gizli veriler

Heterojen yapıda öncelikler

Grid siteleri:Heterojen dağılmış kaynaklar

Sitelere erişim yolları

Yerel politikalar

Üyelik


ÇöZüM: SAYISAL SERTiFiKA

Sayısal sertifika nedir?

Sayısal sertifika, ya da sayısal kimlik, günlük hayatta kullanılan ehliyet, pasaport gibi kimlik kartlarının elektronik ortamdaki karşılığıdır.

Sayısal sertifika kişinin kimliğini ve söz konusu bilgiye veya online hizmete ulaşım hakkını kanıtlamak için geliştirilmiştir.



Asimetrik Şifreleme Yöntemi

Açık anahtar:Sertifika otoritesi güvenilir bir kaynak olarak, bir kurum ya da kişiyi bir açık anahtar ile eşleştirir. Açık anahtar sayısal imzaların doğrulanması için kullanılır.

Gizli anahtar:Gizli anahtar sadece sahibi olan kişi ya da kurum tarafından bilinir ve sayısal imzayı oluşturmak için kullanılır.



Sayısal sertifika hangi bilgileri içerir?

Kullanıcıya ait açık anahtarKullanıcının adıSertifikanın geçerli olduğu tarih aralığıSertifika Otoritesinin adıSertifika Otoritesinin seri numarası


Sertifika Otoritesi

Sertifika otoritesi, sayısal sertifikaların oluşturulması, yönetilmesi, gerektiği durumlarda sertifikaların dünyaya duyurulmasını sağlayan sertifika hizmet sağlatıcısıdır.

Sertifika otoriteleri, oluşturdukları sertifikaların güvenliğini sağlayarak, gerektiği durumlarda sertifikaları yenilemek ile sorumludur.


PKI

PKI-Public Key Infrastructure (Açık Anahtarlama Yapısı):

Sertifikaların, anahtar ikililerinin yönetimini sağlayan yazılımsal ve yordamsal bütünlüktür.

PKI Sertifika Otoritesi tarafından yönetilir.


PKI’in İşlevleri

Anahtar ve sertifika üretimiGizli anahtarın korunmasıBelli durumlarda sertifikaların iptal edilmesiAnahtar yedeklenmesi ve yeniden elde edebilmeAnahtar ve sertifika güncellemeSertifika arşivi


EUGridPMA

European Policy Management Authority for Grid Authentication in e-Science:

Avrupa’da Grid sağlayıcılarının güvenlik ve sertifika otoritelerini denetleyen uluslararası bir üst kuruldur.

Grid ortamında kullanıcıların güvenli bir şekilde dağıtık kaynaklara ulaşması için gereken minimum şartları belirler.

IGTF (International Grid Trust Federation) aracılığıyla diğer kuruluşlardan APGridPMA (Asia-Pacific) ve TAGPMA (America) ile iletişim ve işbirliği içindedir.


TR-GRID Sertifika Otoritesi (TR-GRID CA)

TR-GRID Sertifika Otoritesi (TR-GRID CA) Türkiye’deki ulusal Grid uygulamalarında güvenlik altyapısını sağlamaktan sorumludur.Ulusal Grid Sertifikasyon Politikası-CP/CPS Belgesi (Certification Policy/Certificate Practice Statement) :http://www.grid.org.tr/servisler/sertifika/policyWeb sayfasından veya e-posta yoluyla sertifika başvurusu:http://www.grid.org.tr/servisler/sertifika/cert_request ya [email protected] yoluyla sertifika iptali:[email protected]


X.509 Proxy Sertifikası ve VO Eklentisi

Grid kullanıcı sertifikaları(geçerlilik süresi: 1 YIL) – Tek başına GÜVENSİZ ve EKSİK!!!=> Grid’de iş çalıştırırken güvenliği arttıran: Proxy Sertifikası:

Kullanıcı sertifikası tarafından imzalanır.Default olarak 12 saat geçerliliği vardır. 12 saat geçtikten sonra, hala grid altyapısı kullanılıyorsa yenilenmesi gerekir.

=> Grid’de yetkilendirmeyi sağlayan: Proxy sertifikasına VO (Sanal Organizasyon) bilgisinin eklentisi:

Grid kullanıcılarının kimlik doğrulama dışında yetkilendirilmesinin yapılması için mutlaka bir sanal organizasyona üye olmaları gerekir.Grid kullanıcıları üye oldukları VO’yu destekleyen sitelerde iş çalıştırabilir.Grid kullanıcıları birden fazla VO’ya üye olabilirler.

Documents

gLite Grid Servisleri ve Güvenlik