Tecnologia em Gestão da Tecnologia da Informação
Administração de Banco de Dados Criação e Manutenção de Data Warehouse
GRADUAÇÃO
Prof. Rudson Kiyoshi Souza Carvalho [email protected]
Versão 1.0 Setembro/2014
1
Parte 1
Ementa
Tecnologia em Gestão da Tecnologia da Informação 2
Projeto para a manipulação de tabelas e extração de informações, criação, manutenção, depuração e geração de informações de apoio à tomada de decisão. Criação e manutenção de Data Warehouse.
Obje?vo
Tecnologia em Gestão da Tecnologia da Informação 3
Colocar à disposição do aluno conhecimentos sobre projeto e modelagem de um Data Warehouse.
Conteúdo Programá?co
Tecnologia em Gestão da Tecnologia da Informação 4
Modelagem EnUdade-‐Relacionamento Manutenção de Tabelas Modelagem para Data Warehouse Projeto de Data Warehouse e CRM Ambiente de Data Warehouse Processos e Ferramentas para Modelar um Data Warehouse Arquiteturas de Data Warehouse Granularidade de Dados Modelagem de Dados para Data Warehouse Dimensões Modelos Floco de Neve x Modelo Estrela Banco de Dados MulUdimensionais Manutenção de Dimensões UUlizando Ferramenta de Data Warehouse Roteiro de Modelagem para Data Warehouse Metadados
Sistema de Avaliação
Tecnologia em Gestão da Tecnologia da Informação 5
Primeira Avaliação – Peso 4 Segunda Avaliação – Peso 6
Critério do Professor Prova Escrita Oficial
PráUcas: 3.00 PráUcas: 3.00
Teóricas: 7.00 Teóricas: 7.00
Total: 10.00 Total: 10.00
Avaliação
Tecnologia em Gestão da Tecnologia da Informação 6
T1 – Apresentação em Grupo + P1 -‐ Prova Teórica T2 – ArUgo + P2 -‐ Prova Teórica T1 e T2 – Trabalhos em Grupo até 4 parUcipantes (T1 + P1) * 0.4 + (T2 + P2) * 0.6 = Nota Final
Avaliação
Tecnologia em Gestão da Tecnologia da Informação 7
Trabalho 1 Tema 1: Sistemas de Gestão Empresarial (ERP) Tema 2: Sistemas de Gestão do Relacionamento com o Cliente (CRM). • Apresentado em sala de aula (até 20 minutos de
apresentação). • Todos deverão realizar a apresentação.
Avaliação
Tecnologia em Gestão da Tecnologia da Informação 8
Conteúdo do Trabalho (apresentação): • Informações e histórico do fornecedor; • CaracterísUcas de negócio do produto; • Módulos oferecidos; • CaracterísUcas funcionais do produto; • Informações sobre a implementação; • Casos de implementação; • Market share do fornecedor; • Considerações do grupo sobre o produto e o
fornecedor.
Tecnologia em Gestão da Tecnologia da Informação
9
Conceitos Fundamentais
TI vs Negócio
Tecnologia em Gestão da Tecnologia da Informação 10
Tecnologia da Informação Área de Negócios
Existe carência, nos dias atuais, de gestores de TI que realmente apoiem as diversas áreas da organização, levando inovações que gerem valor em um modelo de PARCERIA entre a TI e as demais áreas de negócio.
Valor dos Dados
Tecnologia em Gestão da Tecnologia da Informação 11
Dado X Informação x Conhecimento x Sabedoria
Tecnologia em Gestão da Tecnologia da Informação 12
Pensem no “DADO” com um mero pingo de água… Estamos andando na rua e senUmos um pingo cair em nossa cabeça. Será que este pingo, representa chuva?
Dado X Informação x Conhecimento x Sabedoria
Tecnologia em Gestão da Tecnologia da Informação 13
E se ao olharmos para o céu, percebemos que existem núvens? E se notarmos os primeiros pingos caindo? E se notarmos alguns raios?
Chegamos a informação que vai chover.
Dado X Informação x Conhecimento x Sabedoria
Tecnologia em Gestão da Tecnologia da Informação 14
O conhecimento é quando percebemos que com a chuva nós vamos nos molhar e talvez não consigamos chegar a tempo num compromisso.
Dado X Informação x Conhecimento x Sabedoria
Tecnologia em Gestão da Tecnologia da Informação 15
A sabedoria, é quando decidimos o que vamos fazer com a informação.
Sistemas de Informação
Tecnologia em Gestão da Tecnologia da Informação 16
Apoio a Descisão
Tecnologia em Gestão da Tecnologia da Informação 17
Onde os dados estão nas Organizações?
Tecnologia em Gestão da Tecnologia da Informação 18
ERP – Enterprise Resource Planning
Tecnologia em Gestão da Tecnologia da Informação 19
ERP – Enterprise Resource Planning
Tecnologia em Gestão da Tecnologia da Informação
20
Sistemas Integrados de Gestão Empresarial • Enterprise Resource Planning
– “um pacote de sosware de negócios que permite a uma companhia automaUzar e integrar a maior parte de seus processos de negócio” (Souza & Zwicker, 2000).
• A idéia é integrar os processos de negócio e, portanto, os próprios departamentos e
suas funções em um único sistema.
• Os departamentos passam a ser atendidos em suas necessidades pelo sistema único.
(EBS, PeopleSoU, JD Edwards, ...) (Protheus, RM Sistemas , Logix, Data Sul…)
(Dynamics)
Sistemas Integrados de Gestão Empresarial
Tecnologia em Gestão da Tecnologia da Informação
21
ERP – Market Share Brasil
Tecnologia em Gestão da Tecnologia da Informação
22
Fonte: FGV EAESP -‐ 2000
CRM – Customer Rela?onship Management
Tecnologia em Gestão da Tecnologia da Informação
23
CRM – Customer Rela?onship Management
Tecnologia em Gestão da Tecnologia da Informação
24
Customer RelaUonship Management (CRM) é um termo em inglês que pode ser traduzido para a língua portuguesa como Gestão de Relacionamento com o Cliente (Gestão de Relação com o Cliente, em Portugal). Criada para definir toda uma classe de ferramentas que automaUzam as funções de contato com o cliente, essas ferramentas compreendem sistemas informaUzados e fundamentalmente uma mudança de a]tude corpora]va, que obje]va ajudar as companhias a criar e manter um bom relacionamento com seus clientes armazenando e inter-‐relacionando de forma inteligente, informações sobre suas aUvidades e interacções com a empresa.
hxp://pt.wikipedia.org/wiki/Customer_relaUonship_management
CRM – Customer Rela?onship Management
Tecnologia em Gestão da Tecnologia da Informação
25
Business Intelligence -‐ BI
Tecnologia em Gestão da Tecnologia da Informação 26
Business Intelligence -‐ BI
Tecnologia em Gestão da Tecnologia da Informação
27
Inteligência empresarial (ou Business Intelligence, em inglês), refere-‐se ao processo de coleta, organização, análise, comparUlhamento e monitoramento de informações que oferecem suporte a gestão de negócios. O conceito surgiu na década de 90 e descreve as habilidades das corporações para aceder a dados e explorar informações e recursos financeiros em proveito dos diretores (normalmente conUdas em um Data Warehouse/Data Mart), analisando-‐as e desenvolvendo percepções e entendimentos a seu respeito, o que lhes permite incrementar e tornar mais pautada em informações a tomada de decisão.
hxp://pt.wikipedia.org/wiki/Inteligência_empresarial
Prioridades CIOs (Chief Informa?on Officer)
Tecnologia em Gestão da Tecnologia da Informação
28
Business Intelligence – Elementos
Tecnologia em Gestão da Tecnologia da Informação
29
Um sistema-‐padrão de business intelligence é, portanto, composto pelos seguintes elementos:
• Módulo de ETL (extrac0on, transforma0on and loading) – Componente dedicado à extracão, transformação e carregamento de dados. É a parte responsável pela coleta das informações nas mais diversas fontes (sistemas ERP, arquivos TXT ou ficheiros Excel);
• Data warehouse/Data marts – Locais onde ficam concentrados todos os dados extraídos dos sistemas operacionais. A grande vantagem de ter um repositório de dados separado consiste na possibilidade de armazenar informações históricas e agregadas, construindo assim um melhor suporte para as análises;
• Front-‐end – Parte de um projeto de BI visível ao usuário. Pode conter dashboards, relatórios padronizados, consultas ad hoc, portal de intranet/Internet/Extranet, análise OLAP e funções diversas como data mining.
Plataformas de Business Intelligence
Tecnologia em Gestão da Tecnologia da Informação
30
Tecnologia em Gestão da Tecnologia da Informação
31
Banco de Dados Conceitos Básicos
OLTP – Online Transac?on Processing
Tecnologia em Gestão da Tecnologia da Informação
32
Os sistemas OLTP são uUlizados para o processamento de transações em tempo real, são sistemas que se encarregam de registrar todas as transações conUdas em uma determinada operação organizacional. Exemplo de sistemas OLTP: • ERP • CRM • Sistema bancário • Sistema de vendas • Sistema de Gestão hospitalar • Sistema de Gestão acadêmica
Banco de Dados Conceitos Básicos
Tecnologia em Gestão da Tecnologia da Informação
33
Evolução dos Bancos de Dados
Tecnologia em Gestão da Tecnologia da Informação
34
Tecnologia em Gestão da Tecnologia da Informação
35
Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
36
“Se conheces bem a si mesmo tanto quanto ao inimigo não temas a batalha; Já se conheces a si mesmo mas não conheces o inimigo para cada vitória terá uma derrota; Agora se não conheces a si mesmo nem ao inimigo foges do campo de batalha pois não terá a mínima chance.”
Sun Tsu – 2500 AC
Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
37
Um armazém de dados, ou ainda depósito de dados, é uUlizado para armazenar informações relaUvas às aUvidades de uma organização em bancos de dados, de forma consolidada. O desenho da base de dados favorece os relatórios, a análise de grandes volumes de dados e a obtenção de informações estratégicas que podem facilitar a tomada de decisão.
hxp://pt.wikipedia.org/wiki/Armaz%C3%A9m_de_dados
Conjunto de dados de apoio às decisões gerenciais, integrado, não-‐voláUl, variável em relação ao tempo e baseado em assuntos.
Imon
Ao processo de preparar os dados de um sistema de informação operacional de forma a se ter uma fonte de informações que possam dar suporte à tomada de decisões deu-‐se o nome de data warehousing.
Kimball
Data Warehouse Caracterís?cas
Tecnologia em Gestão da Tecnologia da Informação
38
Caracterís]cas gerais:
• Armazém de dados (Base de dados comumente relacional); • Dados/informações consolidadas; • Armazena grande quanUdade de dados; • Os dados não mudam (exceto na carga); • A modelagem favorece o desempenho de consultas.
Data Warehouse Visão Geral
Tecnologia em Gestão da Tecnologia da Informação
39
Data Warehouse -‐ Transformação / Integração
Tecnologia em Gestão da Tecnologia da Informação
40
Diferentes Fontes de Dados Data Warehouse
Data Warehouse -‐ Integração de Dados
Tecnologia em Gestão da Tecnologia da Informação
41
Diferentes Fontes de Dados
Data Warehouse
Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
42
Baseado em assuntos • Um DW sempre armazena dados importantes sobre temas específicos da
empresa e conforme o interesse dos processos de negócio envolvidos.
• Exemplo:
Uma empresa pode trabalhar com vendas de produtos alimen�cios no varejo e o seu maior interesse é ver o perfil de seus compradores, então, o DW será voltado para as pessoas que compram seus produtos e não para os produtos que a empresa vende.
Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
43
Váriavel em relação ao tempo • Num Banco de Dados Transacional o dado se refere ao momento Atual
• Num Data Warehouse o dado varia em relação ao tempo.
Banco de Dados Transacional
Data Warehouse
Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
44
Não Volá]l Nenhum dado pode ser alterado depois de incluído no DW – Em um BD transacional pode-‐se inserir, alterar e excluir dados; – Em um DW somente inserções são possíveis; – Garante-‐se que qualquer consulta a um dado relaUvo a um período de tempo sempre produza o mesmo resultado.
Arquitetura de um Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
45
Arquitetura de um Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
46
Stanging Area (SA ou somente Stage) Representa uma área de trabalho que recebe as informações do ambiente OLTP e provê informações para o DW. • Modelo de dados não precisa ser modelado segundo uma técnica específica. • Não tem como objeUvo ser uUlizada para consulta, mas sim como área de
limpeza e transformações para o DW.
Arquitetura de um Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
47
Opera]onal Data Store (ODS) Armazenamento de dados atuais ou quase atuais para suporte à decisões operacionais do dia-‐a-‐dia • Como o DW, ele é orientado a assunto, é integrado, porém é voláUl, ou seja,
permite atualizações • Mostra a visão corporaUva dos dados em nível detalhado. • É uUlizado quando há a necessidade de se integrar os dados no nível
operacional • Dados mais anUgos podem ser movidos e sumarizados para o DW
Arquitetura de um Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
48
Extração, Transformação e Carga (ETL) ETL, do inglês Extract Transform Load (Extração Transformação Carga), são ferramentas de sosware cuja função é a extração de dados de diversos sistemas, transformação desses dados conforme regras de negócios e por fim a carga dos dados geralmente em um Data Mart e um Data Warehouse, porém nada impede que também seja para enviar os dados para um determinado sistema da organização.
Arquitetura de um Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
49
Modelagem Dimensional Na modelagem mulUdimensional os dados são organizados e estruturados em diversas dimensões. Um dos Upos de modelagem mulUdimensional mais uUlizado, é o Star Schema ou Esquema Estrela, desenvolvido por Ralph Kimball, um dos precursores do conceito de data warehouse.
Arquitetura de um Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
50
Data Marts Data Marts são subconjuntos departamentais focados em assuntos selecionados (e.g., um data mart de markeUng pode incluir informações de vendas, produtos e clientes). Chaudhuri & Dayal
Arquitetura de um Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
51
Esquema Estrela • O conceito de Esquema Estrela (em inglês: Star Schema) foi criado pelo
estadunidense Dr. Ralph Kimball, ao propor uma visão para a modelagem de base de dados para sistemas de apoio a decisão. Sua principal caracterísUca é a presença de dados altamente redundantes, melhorando o desempenho.
• Star schema ou esquema em estrela é uma metodologia de modelagem de dados uUlizada do desenho de um Data warehouse.
Arquitetura de um Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
52
Esquema Estrela
Arquitetura de um Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
53
Esquema Floco de Neve • Esquema floco de neve é uma variação do esquema estrela, no qual todas as
tabelas de dimensão são normalizadas na terceira forma normal (3FN), ou seja, são reUrados das tabelas os campos que são funcionalmente dependentes de outros campos que não são chaves.
• Recomenda-‐se uUlizar o esquema floco de neve apenas quando a linha de dimensão ficar muito longa e começar a ser relevante do ponto de vista de armazenamento.
Arquitetura de um Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
54
Esquema Floco de Neve
Arquitetura de um Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
55
Online Analy]cal Processing (OLAP) • OLAP,ou On-‐line AnalyUcal Processing é a capacidade para manipular e
analisar um grande volume de dados sob múlUplas perspecUvas.
• As aplicações OLAP são usadas pelos gestores em qualquer nível da organização para lhes permiUr análises comparaUvas que facilitem a sua tomada de decisões diárias.
• A arquitetura OLAP possui ferramentas que são classificadas em cinco Upos que são:
• ROLAP -‐ OLAP Relacional • MOLAP – OLAP MulUdimensional • HOLAP – OLAP Híbrido • DOLAP -‐ Desktop OLAP • WOLAP -‐ Web OLAP Ferramenta OLAP a parUr de um navegador
Arquitetura de um Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
56
Arquitetura de um Data Warehouse
Tecnologia em Gestão da Tecnologia da Informação
57
Tecnologia em Gestão da Tecnologia da Informação
58
Fim Parte 1
Tecnologia em Gestão da Tecnologia da Informação
59