Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
REGIONALES RECHENZENTRUM ERLANGEN [RRZE]
Netzwerkspeicher und Dateisysteme Systemausbildung − Grundlagen und Aspekte von Betriebssystemen und System-nahen Diensten Marcel Ritter, Gregor Longariva, 03.06.2015
2
Agenda
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
FESTPLATTEN
Prinzipieller Aufbau
4
Aufbau einer Festplatte
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
5
Aufbau einer Festplatte
Spur
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
6
Aufbau einer Festplatte
Spur
Sektor
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
7
Aufbau einer Festplatte
Sektor Lücke
Präambel 4096 Datenbits ECC
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
8
Aufbau einer Festplatte
Spur
Sektor
Zylinder
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
9
Aufbau einer Festplatte
Spur
Sektor
Zylinder
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
10
Aufbau einer Festplatte
Spur
Sektor
Zylinder
Cluster
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
11
Wie schnell ist eine Platte (worst case)?
Festplatte mit 15k (= 15.000 Umdrehungen / Min)
Latenz: 15.000 60 sec / = 0,004 sec -> 4ms
IOPS: 0,004 sec 1 Operation / = 250 Ops / sec
Bandbreite: 250 x 4096 Bytes pro Sektor =
1MByte pro Sekunde!
1.024.000 bytes / sec
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
12
Wie schnell ist eine Platte (best case)?
1.024.000 bytes / sec
also ca. 180 MByte pro Sekunde
x 6 Köpfe = 6.144.000 Bytes / sec
6.144.000 Bytes / sec 30 (Zylinder pro Cluster) =
184.320.000 Bytes / sec
(aber immer noch ohne Plattencaches)
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
13
Theoretische Werte vs. Herstellerangaben
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
14
Plattenzugriffe beschleunigen - Cache
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
FESTPLATTEN
Partitionierung
16
Partitionieren
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
17
Partitionieren - warum?
Windows
Linux
FreeBSD
verschiedene Betriebssysteme
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
18
Partitionieren - warum?
Windows
Filme
Fotos
Trennung Daten und Betriebssystem
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
19
Partitionieren - warum?
verschiedene Bereiche eines OS
/home
swap
root
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
20
Partitionieren - warum?
Arbeitskopien und Backups
Windows 8
Windos 8 Devel
Backup
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
21
Partitionieren - warum?
Verkleinern der Platte
Windows 8
Win 95a
MS-DOS
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
22
Partitionieren
System-ID
83 - Linux
bf - Solaris
87 - NTFS
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
23
Partitionen am PC
4 Primärpartitionen
oder
3 Primärpartitionen beliebige erweiterte Partitionen
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
24
Klassischer Bootsektor MBR vs. GPT
MBR GPT
512 Bytes
EFI BIOS
Primäre Partitionstabelle
Backup Partitionstabelle
min. 16 384 Bytes
eine Partitionstabelle
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
25
Partitionen anderer Systeme (Solaris)
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
PLATTEN ZUSAMMENFASSEN
RAID - Redundant Array of Independent Disks
27
Warum RAID
mehr Speicherplatz Sicherheit gegen
Datenverlust*
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
28
RAID 0
Quelle: Wikimedia 03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
29
RAID 1 - Mirror
Quelle: Wikimedia 03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
30
RAID 3
Quelle: Wikimedia 03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
31
RAID 4
Quelle: Wikimedia 03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
32
RAID 5
Quelle: Wikimedia 03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
33
RAID 6
Quelle: Wikimedia 03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
34
▪ Verschnitt an Speicherplatz ist gleich ▪ RAID5: Hotspare wird „geschont“ ▪ Im Fall eines Plattendefekts: ▪ RAID5 keine Redundanz (entspricht langsames Raid0) ▪ Nach Einspringen der HotSpare werden alle Daten von allen
verbliebenen, intakten Platte gelesen um Parity neu zu berechnen ▪ Treten Lesefehler auf, ist Rebuild ohne Datenverlust unmöglich ▪ Zeitfenster für Rebuild bei großen Festplatten enorm (2 TB bei 100 MB/
s = 6 Stunden!) ▪ Fehlerwahrscheinlichkeit durch atypisches Lesen aller Disks ebenfalls
RAID 5 + HotSpare oder RAID 6?
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
35
RAID 5 + HotSpare oder RAID 6?
Fazit: RAID 6 ist RAID 5 + HotSpare vorzuziehen
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
DATEISYSTEME
Speicherung von Daten
37
Probleme beim Speichern von Daten
Dateisysteme verwenden Cluster
Dateien sind oft größer (oder kleiner) als ein Cluster
Wie kann man nun gespeicherte Daten adressieren?
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
38
Kontinuierliche Speicherung
Chunk 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
2: Datei A Länge 5
7: Datei D Länge 5
14: Datei V Länge 2
12: leer 0: leer
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
39
Verkettete Speicherung
3 7 9 1 12
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
40
Indizierte Speicherung
3 7 9 1 12
3 7 9 1 12
Index-Cluster
Daten-Cluster der Datei
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
41
Indizierte Speicherung, mehrstufige Indizierung
3 7 9 1 12
3 7 9 1 Index-Cluster
Daten-Cluster mit einem zusätzlichen Index Cluster
12 16 2
16
…
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
DATEISYSTEME
Beispiele anhand gängiger Dateisysteme
43
FAT
Bootsektor reserv. FAT 1 FAT 2 Stammverz. Datenbereich
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
44
FAT
Bootsektor reserv. FAT 1 FAT 2 Stammverz. Datenbereich
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
45
FAT
Bootsektor reserv. FAT 1 FAT 2 Stammverz. Datenbereich
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
46
FAT
Bootsektor reserv. FAT 1 FAT 2 Stammverz. Datenbereich
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
47
FAT
Bootsektor reserv. FAT 1 FAT 2 Stammverz. Datenbereich
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
48
FAT
Bootsektor reserv. FAT 1 FAT 2 Stammverz. Datenbereich
3 93 16 45 0 -1 0 37 …
3 93 16 45
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
49
FAT
Bootsektor reserv. FAT 1 FAT 2 Stammverz. Datenbereich
Dateiname Erweit. Attrib. erstellt letzt. Zugr. letzt. Änd. Start Clust. Größe
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
50
NTFS - Next Technology File System
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
51
NTFS - Next Technology File System
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
52
NTFS - Next Technology File System
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
53
NTFS - Next Technology File System
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
54
NTFS - Next Technology File System
Master File Table (12,5%)
Datenbereich
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
55
Klassische Unix Dateisysteme
Quelle: heise.de 03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
56
System V File System
Boot block
Super block
Inode Tabelle
Daten Cluster
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
57
Linux ext2 / ext3 Dateisystem
Boot block
Super block zweite Blockgruppe erste Blockgruppe
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
58
Linux ext2 / ext3 Dateisystem Boot block
Super block zweite Clustergruppe erste Clustergruppe
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
59
Linux ext2 / ext3 Dateisystem
Super block
Deskriptor Tabelle
Block Bitmap
Inode Bitmap
Cluster mit Inode Tabelle
Daten Cluster
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
DATEISYSTEME
Konzepte um Datenintegrität zu garantieren
61
Journaling
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
62
Metadaten - Journaling
Metadaten Daten
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
63
Vollständiges Journaling
Metadaten Daten
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
64
Ordered - Journaling
Metadaten Daten
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
65
copy on write
Daten und Metadaten werden immer in freie Blöcke geschrieben: es werden keine Daten überschrieben
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
66
ZFS - Beispiel für copy on write
Uberblock
Zeiger/Metadaten
Zeiger/Metadaten
Daten
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
67
ZFS - Beispiel für copy on write
Uberblock
Zeiger/Metadaten
Zeiger/Metadaten
Daten
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
68
ZFS - Beispiel für copy on write
Uberblock
Zeiger/Metadaten
Zeiger/Metadaten
Daten
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
69
ZFS - Beispiel für copy on write
Uberblock
Zeiger/Metadaten
Zeiger/Metadaten
Daten
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
70
ZFS - Beispiel für copy on write
Uberblock
Zeiger/Metadaten
Zeiger/Metadaten
Daten
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
71
ZFS - mehr als nur ein Dateisystem
Quelle: Sun / RRZE 03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
72
ZFS - Datenintegrität
Quelle: Sun / RRZE 03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
73
ZFS - Datenintegrität
Quelle: Sun / RRZE 03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
74
ZFS - Datenintegrität
Quelle: Sun / RRZE 03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
75
▪ 128bit Dateisystem, theoretischer Adressbereich von 2128 (und damit 1.84 x 1019 mal mehr als z.B. btrfs)
▪ max Volume Size 278 bytes ▪ max Dateigröße 264 bytes ▪ max Anzahl an Dateien 248 ▪ max Dateilänge 255 ASCII-Zeichen (oder entspr. weniger Unicode
Zeichen)
ZFS - weitere Features
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
76
▪ Verschlüsselung ▪ Komprimierung ▪ Snapshots (read only) ▪ Clone ▪ Online Deduplizierung (RAM intensiv!) ▪ NFSv4 ACLs ▪ NFS und SMB Freigaben (Solaris) ▪ snapshots send/receive ermöglicht Konzepte wie räumlich
getrenntes clustering
ZFS - weitere Features
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
77
▪ Solaris, OpenSolaris, OpenIndiana ▪ versch. BSD Varianten (DragonFly BSD, NetBSD, FreeBSD, OS
X, MidnightBSD, PC-BSD) ▪ NAS OS Distributionen wie FreeNAS, ZFS-Guru, NAS4Free,
NexentaStor, EON NAS und andere ▪ Linux (FUSE, LLNL Implementierung, native Implementierung in
Arbeit …)
ZFS - wo kann ich das bekommen?
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
DATEISYSTEME IM NETZ
Verteilte- und Cluster- Dateisysteme
79
Verteilte- und Cluster- Dateisysteme
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
80
Verteilte- und Cluster- Dateisysteme
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
NETWORK ATTACHED BLOCK
Blockgeräte über Storage Attached Netze verwenden
82
Blockprotokolle über SAN
FCoE
Fibre Channel
iSCSI
AoE
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
NAS - PROTOKOLLE
Netzwerk-File-System-Protokolle
84
2 „Klassiker: ▪ Windows-Welt: CIFS/SMB ▪ Common Internet Filesystem / System Message Block ▪ Ursprung: IBM / Microsoft
▪ Unix-Welt: NFS ▪ Network Filesystem ▪ Ursprung: Sun Microsystems
Netzwerk-Filesystem-Protokolle
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
85
▪ SMB ▪ Version 1.0
▪ CIFS ▪ Version 2.0 (2006) (>= Windows Vista / Server 2008)
› Vereinfachung (Subcommands: > 100 => 19) › Neu: Symbolische Links, Größere Blockgröße, Unicode
▪ Version 2.1 (>= Windows 7 / Server 2008 R2) › Performance
▪ Version 3.0 (ehemals 2.2, >= Windows 8 / Server 2012) › SMB Direct (SMB over RDMA) › SMB Multichannel › End-to-End encryption
Netzwerk-Filesystem-Protokolle – CIFS/SMB
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
86
▪ NFS – Version 2 ▪ Basierend auf RPC (Remote Procedure Call) ▪ Portmapper (Port 111):
› Vermittelt Dienste auf dynamischen Ports (Firewall!) › UDP (später erst: auch TCP)
▪ 32 bit (max. 2 GB Filegröße) ▪ NFS – Version 3 ▪ UDP + TCP ▪ 64 bit Support
Netzwerk-Filesystem-Protokolle – NFS
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
87
▪ NFS – Version 4 ▪ IETF ▪ Single Standard Port 2049 => kein Portmapper mehr notwendig ▪ NFSv4 ACLS (ähnlich Windows/CIFS ACLs) ▪ RPCSEC_GSS (Kerberos)
▪ NFS – Version 4.1 ▪ pNFS
Netzwerk-Filesystem-Protokolle – NFS
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
88
▪ Sicherheit: ▪ Beschränkung Host-basiert (AUTH_SYS / AUTH_UNIX) ▪ ro / rw, (no_)root_squash, (in)secure (NAT VMs!) ▪ Client-Server Mapping uid/gid-basiert (Sicherheit!) ▪ Posix ACLs (nur RFC, kein Standard!)
▪ Ab Version 4.0: ▪ Client-Server Mapping „String“-basiert (idmap!) ▪ Starke Verschlüsselung / Authentifizierung
› krb5: Authentication Only › krb5i: Integrity › krb5p: Privacy
Netzwerk-Filesystem-Protokolle – NFS
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
NAS - FILER
Fileserver Appliances
90
Klassisch
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
91
Klassisch (inkl. Spiegelung)
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
92
Scale-Out
03.06.2015 | Netzwerkspeicher und Dateisysteme | Marcel Ritter, Gregor Longariva
REGIONALES RECHENZENTRUM ERLANGEN [RRZE]
Vielen Dank für Ihre Aufmerksamkeit! Regionales RechenZentrum Erlangen [RRZE] Martensstraße 1, 91058 Erlangen http://www.rrze.fau.de
Viel Spaß in den kommenden Wochen bei den nächsten RRZE - Veranstaltungen!