BeeGFS, altas prestaciones en exportaci•n de disco · • El cambio de un sistema de 256 nodos a uno de 1000 nodo funciona sin dificultades, igual como un cambio a un sistema de

www.beegfs.ioHPC Admintech | 9 de mayo 2018 | Alexander Eekhoff

BeeGFS, altas prestaciones en exportaci�n de disco global

www.beegfs.io

HPC Admintech | 9 de Mayo 2018 | Alexander Eekhoff

Agenda Introducci�n

�Qu� es BeeGFS? �Qui�nes somos? �C�mo funciona BeeGFS?

Alta disponibilidad Almacenamiento compartido – HA utils Buddy Mirroring

Configuraci�n convergente y “BeeOND”

BeeGFS 7

Parte practica Instalaci�n de BeeGFS Conocer las herramientas de

alta disponibilidad BeeOND Prueba de rendimiento

Introducci�n�Qu� es BeeGFS?�Qui�nes somos?�C�mo funciona BeeGFS?


�Qu� es BeeGFS?

Storage Server #1 Storage Server #2 Storage Server #3 Storage Server #4 Storage Server #5 Metadata Server #1

File #1

1 1 2

File #2File #3

2 3 31 2 3 M M M

Aumenta f�cilmente la capacidad y el rendimiento al nivel deseado Aumenta f�cilmente la capacidad y el rendimiento al nivel deseado

BeeGFS es…BeeGFS es… Un sistema de archivos paralelo

independiente del hardware(“Software-defined Parallel Storage”)

Un sistema de archivos paralelo independiente del hardware(“Software-defined Parallel Storage”) /mnt/beegfs/dir1

…

Dise�ado para entornos que requieren un alto rendimiento

Dise�ado para entornos que requieren un alto rendimiento


�Qui�nes somos? Originariamente, BeeGFS proviene del Fraunhofer Center para HPC FhGFS -> BeeGFS

La Sociedad Fraunhofer (Fraunhofer Gesellschaft, FhG) Organizaci�n m�s grande para ciencias aplicadas en Europa Financiamiento b�sico del gobierno alem�n y trabajos para terceros Institutos, unidades de investigaci�n

y oficinas por todo el mundo Personal: ~25.000


�Qui�nes somos? ThinkParQ

Derivada del Fraunhofer Center para HPC Fundada en 2014 espec�ficamente para BeeGFS Radicada en Kaiserslautern (a unos pasos del Fraunhofer HPC Center) Asesoramiento, servicios y soporte para BeeGFS Desarrollo cooperativo con Fraunhofer Primer punto de contacto para BeeGFS


Socios para soluciones completas


Algunos clientes 10 Servers100 ClientsSeveral PB

30 Servers100 ClientsSeveral PBFinance

Seismic Data Analytics

Life Science

Basic Research

Automotive

2000 Clients9 Servers

900 Clients12 Servers

Deep learning, Radio astronomy, …


�C�mo funciona BeeGFS? Management Service (servicio de management)

Registro de (nuevos) servidores y (nuevos) clientes

Supervisa servicios registrados y comprueba sus estados

No es critico para el rendimiento y no guarda datos de usuario

No se necesita un servidor dedicado


�C�mo funciona BeeGFS? Storage Service (servicio de almacenamiento)

Guarda contenido de los archivos (“chunk files”)

Un disco global -> ≥1 servicios de almacenamiento

Un servicio -> ≥1 objetos de almacenamiento• Cualquier directorio normal• Usualmente: Volumen RAID6 o zfs RAIDz2, interno o externo• No obstante, es posible usar discos individuales


�C�mo funciona BeeGFS? Metadata Service (servicio de metadatos)

Guarda informaciones sobre los archivos• Informaciones de directorios• Poseedores y permisos• Distribuci�n a los objetos de almacenamiento

Solo est� solicitado cuando es necesario Un disco global -> ≥1 servicios de metadatos Un servicio controla 1 objeto de metadatos

• Cualquier directorio normal• Usualmente: Volumen RAID1 o RAID10• No obstante, es posible usar discos individuales

Latencia m�s importante que el caudal de datos


�C�mo funciona BeeGFS? Client Service (servicio de cliente)

Modulo nativo para montar el sistema de archivos Re-exportaci�n con NFS y Samba Previsto: Cliente para Windows

Admon Service (Interfaz gr�fica) Administrar y monitorizar informaci�n del sistema BeeGFS 7: Mon (genera base de datos para integrar a

aplicaciones de control de cl�steres)

Alta disponibilidadAlmacenamiento compartido – BeeGFS HA utilsBuddy MirroringAlta disponibilidad del Management Service


Alta disponibilidad – Almacenamiento compartido Utilidades de BeeGFS: “HA utils”

Pacemaker Resource Management para controlar:

• Servicios de BeeGFS• IPs virtuales• Montaje de objetos de los servicios

Corosync para la comunicaci�n entre los nodos

STONITH para la protecci�n de datos

Metadata Storage

Metadata Storage

Management Metadata Storage

server1

RAID RAID RAID RAID

server2

Metadata Storage

server3 server4

client


Alta disponibilidad - Buddy Mirroring Replicaci�n de

datos entre objetos Control por

directorio Independiente para

almacenamiento y metadatos

Los espejos pueden estar colocados en racks o zonas diferentes

Replicaci�n de datos entre objetos

Control por directorio

Independiente para almacenamiento y metadatos

Los espejos pueden estar colocados en racks o zonas diferentes


Alta disponibilidad del Management Service Uso de almacenamiento compartido por red y “HA utils”

Volumen DRBD para el objeto de management• Los requisitos del hardware son m�nimos

HA utils controlan:• Pacemaker• Corosync• STONITH

server01 server03 server04 server05

client01server02

DRDB

DRDB


Almacenamiento + computaci�n:Configuraci�n convergente

Nodos de computaci�n

sirviendo para el almacenamiento

Nodos de computaci�n

sirviendo para el almacenamiento


BeeOND: BeeGFS On Demand Crear un sistema de archivos paralelo instant�neo

Iniciar/Destruir con un solo comando Crear BeeOND en SSDs al iniciar una tarea

Integraci�n en Slurm prolog/epilog script


BeeGFS v7: Storage Pools

BeeGFS v7: Grupos de

almacenamiento combinan las ventajas de diferentes tipos de dispositivos

Log de eventos de modificaci�n

Estad�sticas en base de datos

BeeGFS v7: Grupos de

almacenamiento combinan las ventajas de diferentes tipos de dispositivos

Log de eventos de modificaci�n

Estad�sticas en base de datos


Aspectos claves

MÄximorendimiento

Altaflexibilidad

Robusto & fÄcilde utilizar


Aspectos claves Alto rendimiento

Desde el principio optimizado para cargas de trabajo que requieren un rendimiento alto Dise�o liviano y con uso efectivo de multihilo Soporta RDMA/RoCE y TCP (Infiniband, Omni-Path, 100/40/10/1GbE, …) Contenidos de archivos distribuidos & metadatos distribuidos El rendimiento de m�ltiples servidores se acumula La escalabilidad permite hasta millones de operaciones de metadatos

por segundo Alto rendimiento ya con un solo flujo

• 9GB/s single-stream throughput with Mellanox EDR(Few file streams completely saturate a 100GBit link.)


Aspectos claves Flexibilidad

Compatible con arquitecturas diferentes: Sin demandas especiales al hardware Paquetes para ciertas distribuciones y kernels: En una sola m�quina todos los servicios pueden

correr al mismo tiempo Re-exportaci�n con NFS & Samba Striping de datos es definido por archivo / por directorio Agregar servidores o dispositivos de almacenamiento

sin tiempo de indisponibilidad Instalaci�n & actualizaciones sin reboot

Sunway


Aspectos claves Robusto y f�cil de utilizar

Auto pruebas intensas m�s la utilizaci�n interna en el s�stema HPC de Fraunhofer• El cambio de un sistema de 256 nodos a uno de 1000 nodo funciona sin dificultades,

igual como un cambio a un sistema de 2000 nodos

Aplicaciones acceden BeeGFS como punto de montaje normal Servidores usan los sistemas de archivos est�ndar (ext4, XFS, ZFS, …) No se necesitan parches del kernel

• Actualizaciones de paquetes, kernel y de BeeGFS es una tarea trivial

Herramientas gr�ficas Documentaci�n comprensible (online, built-in)


Escalabilidad de throughput

6000

7000

8000

9000

10000

11000

12000

13000

14000

24 48 96 192 384 768

MB/

s

NUMBER OF PROCESSES

Strided unaligned shared file writes,20 servers, up to 768 application processes

0

5000

10000

15000

20000

25000

30000

0 5 10 15 20 25

MB/

s

NUMBER OF STORAGE SERVERS

Sequential read/writeup to 20 servers, 160 application processes

Write Read

Note: Absolute numbers in these cases depend on per-server hardware performance, of course.


539724

0

100000

200000

300000

400000

500000

600000

1 2 4 6 8 10 12 14 16 18 20

CREA

TE/S

EC

# MDS

File creation scalability with increasing number of metadata servers

Create

Escalabilidad de metadatos

1381339

0

200000

400000

600000

800000

1000000

1200000

1400000

1 2 4 6 8 10 12 14 16 18 20

STAT

/SEC

# MDS

File stat (attribute query) scalability with increasing number of metadata servers

Stat

Note: Absolute numbers in these cases depend on per-server hardware performance, of course.

Conclusi�n


Conclusi�n Sistema de archivos robusto y f�cil de usar

Rendimiento excelente por la capacidad de escalar sin l�mites

Soluciones de alta disponibilidad flexibles y robustos Shared storage Buddy mirror group

Maximum Performance &

Scalability

HighFlexibility

Robust &Easy to use


Muchas Gracias - �Preguntas? Web

Mail

Twitter

Newsletter

Documents

BeeGFS, altas prestaciones en exportaci•n de disco · • El cambio de un sistema de 256 nodos a uno de 1000 nodo funciona sin dificultades, igual como un cambio a un sistema de