Upload
roberto-oliveira
View
733
Download
1
Embed Size (px)
DESCRIPTION
O que significa ETL? “Extract”: extrair informações dos sistemas legados; “Transformation”: transformar, limpar, formatar a informação, sem mudar as propriedades originais; “Load”: preparar a informação para a camada de apresentação.
Citation preview
Conceitos gerais de ETL
Por Roberto Oliveira – www.robertooliveira.com.br
• Antes de pensar em utilizar o Qlikview para criar super dashboards com indicadores e KPI´s temos que realizar a etapa de ETL
• É esta etapa que vai preparar e disponibilizar os registros dos sistemas transacionais para alimentar o seu BI, então leia atentamente a explicação e qualquer dúvida entre em contato.
• O que significa ETL?– “Extract”: extrair informações dos sistemas
legados;– “Transformation”: transformar, limpar, formatar a
informação, sem mudar as propriedades originais;– “Load”: preparar a informação para a camada de
apresentação.
• 1ª Etapa do projeto de ETL - Análise de requisitos– Criar uma estratégia para tratar:
• - Necessidade de Negócio• - Compliance• - Data Profiling• - Segurança• - Integração de Dados• - Latência nos Dados• - Archiving e Lineage• - Licenças/Legados
• Divida o projeto de BI nas áreas onde o mesmo será desenvolvido e após isso:
– - Conduza entrevistas com os usuários– - Identifique os KPI’s esperados– - Identifique as necessidades das análises:
• Consultas e Relatórios• Identifique as principais pesquisas• Identifique os dados e correlações• Levante os modelos de decisões necessários
– - Verifique as fontes de dados em relação às necessidades levantadas– - Mapeie os gap’s e os riscos.
Medida Informação numérica proveniente da medição das transações da empresa
Tabela fato Principal tabela no DW onde as medidas são armazenadas
Tabela dimensão Contém as informações descritivas e qualificadores do negócio. É a porta de entrada do DW
Grão Menor nível de informações existente no DW e definida pelas dimensões ligadas às tabelas fato.
Surrogate Key Chave substituta gerada no DW. É a chave primária das tabelas
Business Key Chave primária do transacional. Utilizada como chave de negócio
Hierarquia Conjunto de atributos que possui uma ordem lógica do maior ao menor nível
Atributo Campo descritivo referente a uma dimensão
Conceitos utilizados no ETL:
Tipos de Carregamento do Data WareHouse:
a) Substituição/Atualização
• Fácil de implementar, porém não guarda histórico• Substitui o valor do campo atual com o novo valor recebido
b) Adição
• Mantém o histórico de forma temporal, incluindo uma nova linha para cada alteração• Geração de nova chave primária para cada versão do registro• Chave original (business key) se mantém inalterada• Pode-se incluir campos de data para identificar a data de vigência
c) 2 colunas
• Uma coluna para o valor histórico e uma coluna para o valor atual• Permite a visualização de 2 versões simultaneamente
FIM