Upload
adrian-miranda
View
54
Download
2
Embed Size (px)
Citation preview
SQL Data Warehouse desde cada ángulo
17 de Mayo 2017 (12 pm GMT -5)
Adrian Miranda
Resumen:
La sesión se enfocará en demostrar como
provisionar una base de datos SQL DW,
diseño de tablas y carga de datos, monitoreo
y consideraciones de administración, así
como la integración con Polybase y como
proteger los datos existentes.
Está por comenzar: Próximos Eventos
Moderador: Julian Castiblanco
SQL 2016 Basic Availability
Groups multisubnet failover
en Azure
24 de Mayo
Kenneth Ureña
Manténgase conectado a nosotros!
Visítenos en http://globalspanish.sqlpass.org
/SpanishPASSVC
lnkd.in/dtYBzev
/user/SpanishPASSVC
/SpanishPASSVC
3
4
Oportunidades de Voluntariado
PASS no pudiera existir sin personas apasionadas y
dedicadas de todas partes del mundo que dan de su
tiempo como voluntarios.
Se un voluntario ahora!!
Para identificar oportunidades locales visita
volunteer.sqlpass.org
Recuerda actualizar tu perfil en las secciones de
“MyVolunteering” y MyPASS para mas detalles.
Sigan Participando!
• Obtén tu membresía gratuita en sqlpass.org
• Linked In: http://www.sqlpass.org/linkedin
• Facebook: http://www.sqlpass.org/facebook
• Twitter: @SQLPASS
• PASS: http://www.sqlpass.org
SQL Data Warehouse desde cada ángulo
17 de Mayo de 2017
Adrián Miranda
Administrador de base de datos con mas de 14 años de experiencia en el modelaje, diseño e
implementación de soluciones de datos. Amplia trayectoria integrando múltiples
plataformas de datos, así como el diseño de soluciones utilizando Microsoft Azure.
Youtube: youtube.com/BILATAM
Facebook: facebook.com/CloudLatam
Twitter: @JMCJOSEAD
Moderador: Kenneth Ureña
7
Agenda
SQL Data Warehouse
• Inicios
• Demo : Provisionamiento
• Diseño de tablas / Demo
• Cargas de Datos / Integración con Polybase /
Demo
• Consideraciones de Administración
• Protección de los datos
Data Warehouse tradicional
8
Data
so
urc
es CRM
ERP
LOB
OLTP
ETL
Data
Ware
ho
use
Vis
ualiza
ció
n Una única fuente de
datos, en un único
repositorio de datos,
con todos los datos
de una compañía.
9
Qué necesito? (On Premise)
https://www.microsoft.com/en-us/cloud-platform/data-warehouse-fast-track
Hardware Software Storage
Estimaciones
Data Center
Aire Acondicionado
Red
Mantenimiento
Seguridad
10
SQL DW
11
SQL DW
Si usted está pensando en
Sistemas OLTP Frecuentes lecturas / escrituras Multiples Select (Ejecutados
secuencialmente) Procesamiento fila por fila
12
SQL DW - MPP
SMP – Symmetric Multiprocessing
MPP – Massively Parallel Processing
Lo que trabajamos hoy en día. • Compartimos recursos
• CPU• Memoria• Disco
Concepto de “Share nothing”
Cada servidor controla sus recursos y opera de forma separada
SQL DW - DWU
1313
Con qué está relacionado?
Recursos como
Memoria
CPU
IOPS
Medición de Métricas
Scan / Agregation, Cargas, CTAS
Pueden ser cambiadas en tiempo
real (*)
SQL DW - DWU
14
DWU
100
DWU
200
DWU
300
DWU
400
DWU
500
DWU
600
… … DWU
2000
De acuerdo a la configuración así se usan
• Engine Nodes
• Worker Nodes
• Total # of Distributions
• Distributions / Node
• Concurrency Slots
Ejemplo DWU 100
1 2 3 4 5 6 7 8 9 10
11 12 13 14 15 16 17 18 19 20
21 22 23 24 25 26 27 28 29 30
31 32 33 34 35 36 37 38 39 40
41 42 43 44 45 46 47 48 49 50
51 52 53 54 55 56 57 58 59 60
15
60 Buckets (Blob Storage)
1-E
ng
ine R
ole
1-
Wo
rker
No
des
Ejemplo DWU 300
1 2 3 4 5 6 7 8 9 10
11 12 13 14 15 16 17 18 19 20
21 22 23 24 25 26 27 28 29 30
31 32 33 34 35 36 37 38 39 40
41 42 43 44 45 46 47 48 49 50
51 52 53 54 55 56 57 58 59 60
16
60 Buckets (Blob Storage)
1-E
ng
ine R
ole
Worker Node
Provisionamiento SQL DW
17
DEMO
Diseño de Tablas
18
Hash Round Robin
Inserta de manera aleatoria.
Joins entre tablas que tienen que ir de PK a
FK. Ejem: Dimensiones.
Si necesitan hacer cargas de muchos datos
en un área Stage, sería la mejor
configuración.
Inserta basado en el valor de una columna
que sirve como elemento diferenciador.
Se pueden utilizar para Fact tables.
Se pueden usar para Summarized tables.
Importante, los puntos anteriores son
válidos si y solo sí cuentan con una
columna que permita agrupar valores en
común.
Si un Full Scan no tiene un buen
rendimiento.
Consideraciones para el diseño de tablas
Tablas se crean con Page Compression de forma predeterminada.
Round Robin también es el valor predeterminado en la opción de distribución de datos.
No hay limite de filas, es determinado por el storage.
1024 columnas por tabla
2 billones de tablas por base de datos
19
Distribución = Round Robin
Diseño de Tablas SQL DW
20
DEMO
SQL 2016 Basic Availability Groups multisubnet failover en Azure
24 de Mayo (12 pm GMT -5)
Kenneth Ureña
Resúmen:
Próximo Evento