GlusterFS - · PDF file( . © 2011 CustomSol 39 GlusterFS – Thomas Halinka – OSDC 2011 – 06.04.2011 GlusterFS – Usage

© 2011 CustomSol 1 GlusterFS – Thomas Halinka – OSDC 2011 – 06.04.2011

GlusterFSStorage für die Cloud

Thomas HalinkaCustomSol


Agenda

Warm-Up Cloud Kurze Geschichte

NFS DRBD (daisy-Chain) SAN

GlusterFS


Agenda

Warm-Up Cloud Kurze Geschichte


GlusterFS


Warm-Up – Who am I

OpenSource-Evangelist OpenQRM-Core-Team Consultant Trainer (ClusterFS/XEN/Cloud) Buchautor (XEN)


Warm-Up – Wer sind sie?

Wer sind sie? Wer gehört eher zu

Entwicklung Betrieb Management

Wer setzt ein? Cloud NAS DRBD SAN ClusterFS


Warm-Up – Wer sind sie?

Wer hat Spitzenlasten über 10GBit pro Sekunde?

Wer betreibt Cluster > 50 Knoten? Wer hat schon mal zu einem Open-Source-

Projekt beigetragen? Patch, Doku, Problemanalyse

Wer ist Projektmitglied bei einem OpenSource-Projekt?


Agenda

Warm-Up Cloud Kurze Geschichte einer Cloud

NFS DRBD (-Daisy-Chain) SAN

GlusterFS


Warm-Up – Cloud

SAAS PAAS IAAS XAAS

→ Speicher?!


Agenda

Warm-Up Cloud Kurze Geschichte einer Cloud

NFS DRBD (-Daisy-Chain) SAN

GlusterFS


Eine kleine Geschichte - NFS

Aufbau für Pilotbetrieb Zentraler NFS HA-VMs Live-Migration Work-Load-Balancing



Probleme: Performance Skalierbarkeit SPOF > 10 Subdir + Files < 100kb ….

→ Nicht geeignet für Produktion




Eine kleine Geschichte - DRBD(-Daisy-Chain)

Redundanter NFS Kein SPOF

→ Skaliert aber nicht :(


Eine kleine Geschichte - DRBD(-Daisy-Chain)


Eine kleine Geschichte - DRBD-Daisy-Chain

DRBD-Daisy-Chain ResA on NodeA und NodeB ResB on NodeB und NodeC ResC on NodeC und NodeA

Mehrere Redundante NFS Kein SPOF Skalierbarkeit



Problem: Manageability




Eine kleine Geschichte - SAN

Ersatz von NAS durch SAN SAN skaliert



Problem: Preis

Anschaffung Replikation Snapshots ...

Vendor-Lockin Admin Man-in-the-Middle (Betriebsrisiko)

Bsp: Strato 3 Tage offline wegen FS-Error




Eine kleine Geschichte - Fazit

→ Alle Lösungen mangelhaft


Eine kleine Geschichte - Fazit

Auswege/Lösungen?!


Agenda

Warm-Up Kurze Geschichte


Cloud GlusterFS


GlusterFS - Einführung

Verteiltes Cluster-Filesystem FUSE-Basiert Skalierbarkeit

Mehrere PetaByte >1000 Client


GlusterFS - Features

Skalierbarkeit Mehrere PetaByte >1000 Client

Performance (~30 Nodes) > 18 Gbit/s >1.000.000 IOPs

Betriebsmodi Standalone Distributed Replicated


GlusterFS - Features

Distributed replicated Striped

Storage-Subsystem beliebig Backend-FS beliebig Healing Locking Quota


GlusterFS – Architektur | Standalone


GlusterFS – Architektur | Replicated (RAID 1)


GlusterFS – Architektur | Replicated Distributed (RAID X0)


GlusterFS – Architektur | Striped (RAID 0)



Tolle Performance Keine Redundanz per GlusterFS



Linux-Baukastenprinzip: DRBD-Unterbau


GlusterFS – Storage-Subsystem

Alles!

Lokal Storage SAN DRBD

→ Flexibilität


GlusterFS – Backend-FS

Alles!

EXT3 EXT4 XFS ZFS (Solaris BTRFS …. → Flexibilität


GlusterFS – Healing

Background SelfHealing Checksum-Based On-The-Fly (FileOpen) Generation Numbers


GlusterFS – Quota

volume quota

type features/quota

option min-free-disk-limit 90% ; percent of filesystem usage limit

option refresh-interval 300s ; 20s is the default

option disk-usage-limit 100G ; usage limit in bytes

subvolumes <x>

end-volume


GlusterFS – Locking

POSIX-konform fnctl() Flock()

Benötigt dringend „patched FUSE“


GlusterFS – FUSE (patched)

höhere IO BufferSize erhöht IO Performance

Erweiterung um flock() SystemCall. Erweiterung von FUSE um Locking-Funktionalität

Nutzung von O_DIRECT bei open()

(http://ftp.zresearch.com/pub/gluster/glusterfs/fuse/).


GlusterFS – Usage

Installation:

modprobe fuse

apt-get install udev libibverbs1 glusterfs-XYZ


GlusterFS – Usage

Konfiguration

Server: /etc/glusterfs/glusterfsd.vol

Client: /etc/glusterfs/glusterfs.vol


GlusterFS – Usage

Logfiles

Server: /var/log/glusterfs/etc-glusterfs-glusterfsd.vol.log

Client (der Name des Logfiles richtet sich nach dem

Mountpoint): /var/log/glusterfs/data.log


GlusterFS – Usage

Administration

Server: /etc/init.d/glusterfsd [start|stop|restart]

Keine dynamische Konfiguration, der Server muß also durchgestartet werden. Das funktioniert problemlos und die Clients machen automatisch einen Reconnect(timeout=1800s).

Client: mount -t glusterfs -o _netdev,noatime

/etc/glusterfs/glusterfs.vol /data


GlusterFS – Usage

Cronjobs

FS-Caches aufräumen. Siehe auch http://bugs.gluster.com/cgi-

bin/bugzilla3/show_bug.cgi?id=545 :

/etc/cron.d/drop_fs_caches (sync; echo 3 >/proc/sys/vm/drop_caches)


GlusterFS – Usage

Statistik io-stats-Translators generiert Server-Statistiken

volume iostats

type debug/io-stats

subvolumes posix

end-volume Die Statistik wird durch das Setzen eines Attributes über

einen mit dem Server verbundenen Client ausgelöst, aber in das Logfile des Servers geschrieben!

setfattr -n io-stats-dump <client mount-point>


GlusterFS – Usage

Debugging

Use

'option trace on'

NICHT in Produktion! Performance!!!


GlusterFS – Usage

Cronjobs

FS-Caches aufräumen. Siehe auch http://bugs.gluster.com/cgi-

bin/bugzilla3/show_bug.cgi?id=545 :

/etc/cron.d/drop_fs_caches (sync; echo 3 >/proc/sys/vm/drop_caches)


GlusterFS – Usage

Logfiles

Server: /var/log/glusterfs/etc-glusterfs-glusterfsd.vol.log

Client (der Name des Logfiles richtet sich nach dem

Mountpoint): /var/log/glusterfs/data.log


GlusterFS – FUSE vs Performance

Beispiel:

GlusterFS (standalone) vs NFS

Performance besser als NFS-Kernel-Space-Daemon!

100 Clients – 10Gbit-Link NFS: ~ 6 Gbit/s GlusterFS: ~8,7 Gbit/s


GlusterFS – Enterprise-Hints

GlusterFS-Client verbindet sich mit einem Port <=1023/TCP mit dem Server

→ Firewalling

See: <glusterfs-src-dir>/xlators/protocol/client/src/client-

protocol.h: #define CLIENT_PORT_CEILING 1023


GlusterFS – Enterprise-Hints

Remove Translators 'quickread' 'Statprefetch'

Else random-IO über das komlette FS!!!


GlusterFS – Enterprise-Usage

Mehrere PB (aktuell ~5) Mehrere Tausende Clients (> 6000) Bandwith (~28 Gbit/s) Throughput (~ 2.000.000 IOP/s)


GlusterFS – Fazit

Absolut Enterprise-Ready Performance Skalierbarkeit Redundanz

GPL v3 Kommerzieller Support optional

30 Tage+ Free Trial


GlusterFS – Community

Developer-Liste:[email protected]

Archiv aller Releases unterhttp://www.gluster.org/download/gluster-source-code/

Fehlerberichte an die Liste oderhttp://bugs.gluster.com

Dokumentationhttp://gluster.com/community/documentation


GlusterFS – Community

Build von Releases:

Source Tarball vom FTP-Server oder git-Snapshot (ggf. aktuelle Fixes)

http://ftp.gluster.com/pub/gluster/glusterfs/qa-releases/

http://git.gluster.com/?p=glusterfs.git;a=summary

cd ~/glusterfs-<version>

./autogen.sh

./configure --prefix=/usr --disable-ibverbs

dh_make --createorig -b && debuild


GlusterFS – Alternativen

Hadoop DFS MogileFS CloudStore (Kosmos) Tahoe Ceph (RDB) Starfish Sheepdog ... und unzählige mehr


GlusterFS – Diskussion

Fragen?


GlusterFS – Kontakt

Wie können wir Ihnen helfen? So erreichen Sie uns:

[email protected] [email protected] www.customsol.de 07642 - 9180210

Documents

GlusterFS - · PDF file( . © 2011 CustomSol 39 GlusterFS – Thomas Halinka – OSDC 2011 – 06.04.2011 GlusterFS – Usage