Embed Size (px)
DESCRIPTION
Introducción a SSIS y a los exámenes de certificación de SQL Server 2012/2014. Sesión presencial en ITPros-dc
Citation preview
• Ingeniero de Diseño & Automatización Electrónica• Especialista en Gerencia y Tecnologías de Información• MCT-MCSA-MCITP-MCTS en SQL SERVER• Synergy TPC SAS como consultor especializado en
bases de datos SQL Server
Julián
Castiblanco
Andrés
Useche
• Ingeniero de Sistemas• Especialista en Teleinformática• MCP SQL SERVER 2012• Terpel como ingeniero de infraestructura IT - DBA
Agenda General
DevOptimización de consultas
AdminOptimización de
Servidores
SSISOptimización de paquetes ETLs
https://www.microsoft.com/learning/en-us/mcsa-sql-certification.aspx
http://www.microsoftvirtualacademy.com/colleges/mcsa-sql
Para pasar el examen….
http://www.amazon.com/Training-Kit-Exam-70-461-Microsoft/dp/0735666059/ref=sr_1_1?ie=UTF8&qid=1406662496&sr=8-1&keywords=70-461
http://www.amazon.com/Training-Kit-Exam-70-462-Administering/dp/0735666075/ref=sr_1_1?ie=UTF8&qid=1406662577&sr=8-1&keywords=70-462
http://www.amazon.com/Training-Kit-Exam-70-463-Implementing/dp/0735666091/ref=sr_1_1?ie=UTF8&qid=1406662601&sr=8-1&keywords=70-463
Trabajo si hay!!!!
Agenda
• Introducción a SSIS en Azure
• SQL Server Data Tools
• SSIS Catalog
• Data Profiler
En el principio la vida era simple…
pero…
Nuestra informaciónnecesitaba…
Seguir creciendo. (The Spider web)
SOURCE: William H. Inmon
Cuadro comparativo de Bases de datos
Bodegas de datos Sistemas transaccionales
Orientadas a objetivo Orientada a transacciones
Grandes (cientos de GB a varios TB) Medianas (MB a varios GB)
Información histórica Datos actuales
Estructura no normalizada (pocastablas, muchas columnas por tabla)
Estructura normalizada
Actualización en batch Actualización por transacción
Usualmente consultas complejas Consultas simples y complejas
Diferencias en diseño
Star Schema
Bodegas de datosSistemas transaccionales
ER Diagram
Data Warehouses, Data Marts, and Operational Data Stores
• Data Warehouse – base de consulta de la organización. Compuesta de la unión de varios data marts.
• Data Mart – subconjunto lógico de la bodega. Ofrecevistas de ciertos procesos de negocio (finanzas, crédito, productividad) o de varios procesos que le interesan a un grupo de la compañía.
• Almacén de datos operacional (ODS) – bases de datosque soportan el negocio a nivel transaccional. (reservas, inventarios, mantenimientos en aerolineas).
SOURCE: Ralph Kimball
Construyendo una bodega
• analisis
• diseño
• Importar información
• Instalar herramientas de exploración
• Probar y desplegar
Ciclo de vida de las bodegas de datos
Analisis
• Identificar:• Preguntas claves
• Necesidades de información
• Línea de tiempo
• granularidad
• Crear un diccionario de datos
• Analisis dimensional• Identificar tablas de hechos y dimensiones
diseño
• Modelo estrella, bola de nieve
• Transformación de datos
• agrupaciones
• Valores precalculados
• Arquitectura de
HW/SW
Dimensional Modeling
Modelamiento dimensional
• Tabla de hechos– tabla principal del modelocontiene las medidas que interesan al negocio.
• Dimensiones– es un conjunto de tablas que da sentido a la tabla de hechos. La mayoria contieneatributos de texto que definen el dominio que fuemedido en la tabla de hechos.
SOURCE: Ralph Kimball
Importación de datos
• Identificar orígen de datos
• Extraer información de sistemas operacionales a tablasde staging
• Transformar y limpiar datos• Resolver conflictos de tipos de
dats• Resolver problemas de nombres
y llaves• Remover, corregir o alertar
información sucia• Crear dimensiones
• Cargar información en la bodega de datos
Importar datos
OLTP 1
OLTP 2
OLTP 3
Data Staging Area Data
Warehouse
Operational Systems
(source systems)
Importar datos 2
• Ejemplo de carga de e-commerce
• Multiples filtors (usando “joins” de información), grabando registroserrados,antes de agrupar y guardar.
Invoice
line items
Split
Date-
time
Filter
invalidJoin
Filter
invalid
Invalid
dates/times
Invalid
items
Item
records
Filter
non -
match
Invalid
customers
Group by
customer
Customer
balance
Customer
records
Herramientas de Usuarios
• Reporting Services
• Excel
• Herramientas de mineria
• GIS
• Etc.
Pruebas y despliegue
• Pruebas de uso
• Instalación de software
• Entrenamiento a usuarios
• Ejecución de pruebas de carga
Pruebas y despliegue
SQL Server 2012 BI Platform
Data acquisition from source systems and integration
Data transformation and synthesis
Data enrichment, with business logic, hierarchical views
Data discovery via data mining
Data presentation and distribution
Data access for the masses
Integrate Analyze Report
MS SQL Server
Integration
Services 2012
MS SQL Server
Analysis
Services 2012
MS SQL Server
Reporting
Services 2012
SQL SERVER DATA TOOLS
CONTROL FLOW
• Ejemplos de los procesos que pueden realizarse:
• File System and FTP access• External Processes• SQL Server Administration operations• Operating system inspection• Send Mail• SQL Server Analysis Services Processing• Data profiling • Data mining queries
CONNECTION MANAGERS
• Los administradores de conexión son utilizados por los flujo de datos, que extraen y cargan datos endiferentes tipos de almacenes de datos, y por los proveedores de registro que escriben registros en unservidor, tabla o archivo de SQL Server.
Tipo Descripción
ADO Se conecta a los objetos de Objetos de datos ActiveX (ADO).
ADO.NET Se conecta a un origen de datos mediante un proveedor .NET.
DQS Conecta a un servidor de Data Quality Services y una base de datos de Data Quality Services en el servidor.
EXCEL Se conecta a un archivo de libro de Excel.
FILE Se conecta a un archivo o carpeta.
FLATFILE Se conecta a los datos en un solo archivo plano.
FTP Se conecta a un servidor FTP.
HTTP Se conecta a un servidor web.
OLEDB Se conecta a un origen de datos mediante un proveedor OLE DB.
ODBC Se conecta a un origen de datos mediante ODBC.
SMTP Se conecta a un servidor de correo SMTP.
CONTROL FLOW TASKS AND CONTAINERS
• El flujo de control define las operaciones y las relaciones entre ellas, estableciendo el orden y lascondiciones de su ejecución. Las operaciones de un flujo de control están representados por lastareas de control de flujo.
Planning a Complex Data Movement
• Algunos datos requieren transformaciones especiales, SSIS soportaalgunas como:
Data Flow Tasks Database Tasks File and Internet Tasks
• Data Flow • Data Profiling• Bulk Insert• Execute SQL• Execute T-SQL• CDC Control
• File System• FTP• XML• Web Service• Send Mail
ProcessExecution Tasks WMI Tasks Custom Logic Tasks
• Execute Package• Execute Process
• WMI Data Reader• WMI Event Watcher
• Script• Custom Tasks
DatabaseTransfer Tasks
AnalysisServices Tasks SQL Server Maintenance Tasks
• Transfer Database• Transfer Error Messages• Transfer Jobs• Transfer Logins• Transfer Master Stored Procedures• Transfer SQL Server Objects
• Analysis Services Execute DDL• Analysis Services Processing• Data Mining Query
• Back Up Database• Check Database Integrity• History Cleanup• Maintenance Cleanup• Notify Operator• Rebuild Index• Reorganize Index• Shrink Database• Update Statistics
Tareas de Script
• Modelos de programación como Visual C# 2010 o Visual Basic 2010
RESTRICCIONES DE PRECEDENCIA
• Las tareas que deben ser ejecutadas de forma secuencial, deben conectarse conuna o más restricciones de precedencia.
Precedence Constraints
• Three control flow conditions• Success
• Failure
• Completion
• Multiple constraints• Logical AND
• Logical OR
Task 1
Task 2
Task 3 Task 4
Task 5
Task 10
Task 6
Task 7
Success (AND)
Failure (AND)
Completion (AND)
Success (OR)
Failure (OR)
Completion (OR)
Task 9 Task 8
DEMOSTRACIÓN
• Correo: [email protected]• Skype: Julian.castiblancop• Correo corporativo: [email protected]• Blog y Sitio de comunidad: http://azurecloud.la/
http://julycastiblanco.blogspot.com
Julián
Castiblanco
Gracias !!!
