TÓPICO 2 – INTRODUÇÃO AO DATA WAREHOUSEFORMAÇÃO MODELAGEM DIMENSIONAL

• Esclarecer conceitos de Business Intelligence, Data Warehous, suas possíveis arquiteturas e subdivisões.

• Cobrir os conceitos da Modelagem Dimensional.

• Demonstrar técnicas confiáveis para a construção de um Modelo Dimensional.

OBJETIVOS

O que vocês conhecem?

BI e DW é a mesma coisa?

Quais são as ferramentas?

Aula 1Conceitos e

Fundamentos de BI

• A melhor estratégia é a montagem de um Data Warehouse para organização dos dados.

• Vantagens da Montagem do DW:– Criação de um ambiente para integração e tratamento dos dados– Ambiente com objetivo único – Separação dos sistemas legados (transacionais) – Base de dados Otimizada ara consultas – Suporte de ferramentas específicas para esse fim

Melhor estratégia para montagem de sistemas de BI

• Data Warehouse é um processo que extrai os dados de sistemas operacionais e transacionais, limpando, transformando em informações organizadas permitindo analises dessas informações.

• Seus principais autores são: Ralph Kimball e Bill Inmon

O que é o Data Warehouse

• Um software • Um modelo de dados• Uma técnica isolada • Uma base de dados • Um produto • Uma linguagem de programação • Uma cópia do sistema transcional

O que um Data Warehouse não é?

• Tornar a informação facilmente acessível

• Apresentar a informação de maneira consistente e única

• Centralizar e controlar o acesso as informações corporativas

• Permitir as áreas de negócio avaliar suas informações e tomar decisões mais precisas

• Padronizar a informação de diversas fontes

Objetivos de um Data Warehouse

• Orientado por assunto (Subject Oriented)

• Integrado (integrated)

• Não volátil (nonvolatile)

• Orientado por tempo (time variant)

Características de um Data Warehouse

• Diferentemente dos sistemas legados que tem seus dados orientados por funcionalidades, os Data Warehouses são orientados por assuntos, considerando um seguradora:

Características de um DW – Orientado por assunto

SISTEMA OPERACIONAL DATA WAREHOUSE

Vida Clientes

Saúde Produtos

Odontológico Contratos

Previdência Apólices

• Os dados carregados no Data Warehouse são extraídos e carregados no Data Warehouse, padronizando as informações .

• O dado pode ter diversas fontes o Data Warehouse integra essas informações fornecendo uma visão única e corporativa.

Características de um Data Warehouse -Integrado

Os dados carregados dos Sistemas Operacionais, sofrem modificações durante todo o dia:

• Inserções de novos clientes • Exclusão de clientes• Alteração no cadastro dos clientes

Características de um Data Warehouse – Não Volátil

No Data Warehouse, os dados são carregados em janelas de tempo previamente determinadas, 1 vez por dia, todas as madrugadas etc.

Características de um Data Warehouse – Não Volátil

DATA WAREHOUSEAtualizar

Inserir

Apagar

Sistemas Operacionais

Cargas de dados

• Os sistemas operacionais sempre possuem as informações correntes no momento da leitura. Os Data Warehouses possuem posições históricas, onde é possível comparar os períodos de tempo.

• As cargas de dados são feitas em intervalos regulares e pré-definidos, sendo as informações organizadas por uma unidade de tempo.

Por exemplo: Diário, Semanal ou Mensal.

Características de um Data Warehouse – Orientado por tempo

Sistemas Operacionais X Sistemas de Informações Gerenciais

OPERACIONAL INFORMAÇÕESCONTEÚDO DOS DADOS VALOR CORRENTE TRANSFORMADOS SUMARIZADOS

ESTRUTURA DE DADOS OTIMIZADOS PARA TRANSAÇÕES OTIMIZADOS PARA QUERIES

FREQUÊNCIA DE ACESSO ALTO MÉDIO PARA BAIXO

TIPO DE ACESSO LEITURA, ALTERAÇÃO E DELEÇÃO LEITURA

USO DO SISTEMA PREVISIVEIS E REPETITIVOS AD-HOC RONDÔMICO. HEURÍSTICO

TEMPO DE RESPOSTA MILISEGUNDOS ALGUNS SEGUNDOS. ATÉ MINUTOS..

QUANTIDADE DE USUÁRIOS GRANDE GRUPO PEQUENO GRUPO

OLTPX OLAP

OLTP – Estruturas de Dados mais complexas (3NF)

Data Warehouse – Estruturas de dados Multidimensionais

Poucos Índices Muitos

Muitos Joins Alguns

Normalizados Dados Desnormalizados

Raramente Dados derivados agregações Comum

O que é OLAP? ROLAP/MOLAP/HOLAP

• OLAP = On-line Analystical Processing • Podem ser:

– ROLAP ( Relacional – OLAP)

– São consideradas ROLAP quando aplicadas a banco de dados relacional, como Oracle, SqlServe, DB2, MySql, entre outros.

– A linguagem principal é SQL

O que é OLAP? ROLAP/MOLAP/HOLAP

• MOLAP ( Multidimensional – OLAP)

• São consideradas MOLAP quando aplicadas a banco de dados multidimensionais como Analysis Services (SSAS), Hyperion, Cognos PowerPLay/TM1, Oracle OLAP entre outros.

• A linguagem principal é o MDX (Multidimensional eXtensions)

• O armazenamento dos dados é em cubo

O que é OLAP?

• HOLAP (Hibrido – OLAP)

• As análises podem ser feitas utilizando ROLAP e MOLAP

• Com linguagens SQL e MDX

• Pode armazenar dados detalhados no relacional e agregados no multidimensional

Camada Semântica ou Metadados

• Área intermediária entre os bancos de dados e os usuários finais.

DATA WAREHOUSE

TB_CLIENTES (TABELA)CD_CLIENTE (COLUNAS)NM_CLIENTEDS_ENDEREÇO

CLIENTESCÓDIGO DO CLIENTENOME DO CLIENEENDEREÇO DO CLIENTE

Data Warehouse X Data Mart

DATA WAREHOUSE DATA MART

Visão Abrangente Visão Localizada

Empresa Departamento ou processo de negócio

Feito para a empresa Público-alvo focado

Regras de negócios corporativas Regras de negócios específicos