Upload
lailson-henrique
View
21
Download
1
Embed Size (px)
DESCRIPTION
olap
Citation preview
1
OLAP
2
OLAP
Sumário
OLAP Data Warehouse Modelagem Multidimensional. Data Mining BI - Business Inteligence. ERP - Enterprise Resource Planning, CRM - Customer Relationship Management EIS - Enterprise Information System ECM - Enterprise Content Management
3
OLAP
Introdução Aplicações do negócio: constituem as aplicações que
dão suporte ao dia a dia do negócio da empresa, que garantem a operação da empresa, também chamadas de sistemas de produção;
Aplicações sobre o negócio: são as aplicações que analisam o negócio, ajudando a interpretar o que ocorreu e a decidir sobre estratégias futuras para a empresa - compreendem os Sistemas de Apoio à Decisão.
Consultas típicas de um SAD são: Listar a evolução das vendas nos últimos 10 anos; Listar o fornecedor que não teve mais do que 20% de
atrasos nas últimas 100 entregas.
4
OLAP
Evolução do Ambiente de Data WarehouseAplicação A
Aplicação B
Aplicação C
Aplicação D
Aplicação E
Aplicação F
5
OLAPAplicação A
Aplicação B
Aplicação C
Aplicação D
Aplicação E
Aplicação F
REL 1
REL 2
REL 3
REL 4
REL 5
REL 6
6
OLAPAplicação A
Aplicação B
Aplicação C
Aplicação D
Aplicação E
Aplicação F
REL 1
REL 2
REL 3
REL 4
REL 5
REL 6
7
OLAPAplicação A
Aplicação B
Aplicação C
Aplicação D
Aplicação E
Aplicação F
SAD 1
SAD 2
SAD 3
SAD 4
SAD 5
SAD 6
8
OLAPAplicação A
Aplicação B
Aplicação C
Aplicação D
Aplicação E
Aplicação F
SAD 1
SAD 2
SAD 3
SAD 4
SAD 5
SAD 6
9
OLAPAplicação A
Aplicação B
Aplicação C
Aplicação D
Aplicação E
Aplicação F
SAD 1
SAD 2
SAD 3
SAD 4
SAD 5
SAD 6
10
OLAPAplicação A
Aplicação B
Aplicação C
Aplicação D
Aplicação E
Aplicação F
SAD 1
SAD 2
SAD 3
SAD 4
SAD 5
SAD 6
Tecnologia de Tecnologia de Data Data
WarehousingWarehousing
11
OLAPAplicação A
Aplicação B
Aplicação C
Aplicação D
Aplicação E
Aplicação F
DWDW
Conjunto de Dados Não Volátil,
Organizado por Assuntos,
Integrado,
Varia com Passar do Tempo,
Suporte para Processo de Tomada
de Decisão da Empresa
DWConjunto de Dados Não Volátil,Organizado por Assuntos, Integrado, Varia com Passar do Tempo,Suporte para Processo de Tomada
de Decisão da Empresa
12
OLAP
DW Organizados por Assuntos:
Refere-se ao fato do DW armazenar informações sobre temas específicos importantes para o negócio da empresa. Exemplos típicos de temas são: produtos, atividades, contas, clientes, etc. Em contrapartida, o ambiente operacional é organizado por aplicações funcionais.
Integração: Esta característica irá definir a representação única para os dados
provenientes dos diversos sistemas que formarão a base de dados do DW. A maior parte do trabalho na construção de um DW está na análise dos sistemas operacionais e dos dados que eles contêm. Como não existem padrões de codificação, cada analista pode definir a mesma estrutura de dados de várias formas, fazendo com que dados que representam a mesma informação sejam representados de diversas maneiras dentro dos sistemas utilizados pela empresa ao longo dos anos.
Variação no Tempo: Segundo W.H.Inmon todos os dados no DW são precisos em algum instante
no tempo, como eles podem estar corretos somente em um determinado momento, é dito que esses dados "variam com o tempo".
Não Volátil: Em um DW não existem alterações de dados, somente a carga inicial e as
consultas posteriores. Ele é definido assim pois as operações a nível de registro em modo on-line como são os sistemas transacionais, exigem um controle e um processamento muito grande, fugindo do objetivo principal do DW.
13
OLAP
DM
DM
DM
DW
Aplicação A
Aplicação B
Aplicação C
Aplicação D
Aplicação E
Aplicação F
DM
Coleção de Assuntos de uma Área,
Organizado para Apoio à Decisão,
Necessidades de Departamento/ Setor
DMColeção de Assuntos de uma Área,Organizado para Apoio à Decisão,Necessidades de Departamento/ Setor
14
OLAP
Conceito de Data Warehouse
Data Warehouse, pode ser definido como um banco de dados especializado, o qual integra e gerencia o fluxo de informações a partir dos bancos de dados corporativos e fontes de dados externas à Organização. Um DW oferece os fundamentos e os recursos necessários para um Sistema de Apoio a Decisão (SAD) eficiente, fornecendo dados integrados e históricos que servem desde à alta direção, que necessita de informações mais resumidas, até as gerências de baixo nível, onde os dados detalhados ajudam a observar aspectos mais táticos da Organização.
15
OLAP
16
OLAP
OLTP x OLAP A característica simples mais distintiva dos aplicativos OLTP (On-line
Transaction Processing) é que o banco de dados está sendo constantemente atualizado. Como os dados estão mudando constantemente, o sistema não pode ajudar no apoio a decisões.
De um ponto de vista prático, OLAP (On-line Analytic Processing) sempre envolve consultas interativas aos dados, seguindo um caminho de análise através de múltiplos passos, como, por exemplo, aprofundar-se sucessivamente por níveis mais baixos de detalhe de um quesito de informação específico. OLAP envolve capacidades analíticas, incluindo a derivação de taxas, variâncias, etc., e envolvendo medidas ou dados numéricos através de muitas dimensões, devendo suportar modelos para previsões, análises estatísticas e de tendências.
17
OLAP
Modelagem Relacional
Modelagem Dimensional
18
OLAP
Modelagem Dimensional (DW)
Modelo Estrela.
Cod_produto integerCod_tempo integerCod_geografia integerCod_canal integer
Quantidade decimal(16,0)Faturamento decimal(16,2)
VENDAS
Cod_geografia integer
Nome varchar(10)População integerEstado char(2)Região char(2)
GEOGRAFIA
Cod_produto integer
Nome varchar(10)Categoria char(4)Familia char(4)
PRODUTO
Cod_canal integer
Tipo varchar(10)
CANALCod_tempo integer
Dia integerMês integerAno integerDia_semana char(3)
TEMPO
19
OLAP
Modelagem Dimensional (DW) Modelo Flocos de Neve (Snowflake):
Incorpora tabelas dimensionais principais, que têm uma conexão lógica direta em fact tables através de suas chaves primárias, e tabelas menores como 'extensões', que são usadas para armazenar descrições e decodificação para chaves e códigos nas tabelas maiores.
As tabelas dimensionais principais parecem tabelas dimensionais em estrela, exceto pelo fato das colunas atributo conterem chaves para as tabelas extensões em lugar de descrições de texto. As tabelas 'extensões' são conectadas com a tabela dimensional principal (ou com outras tabelas 'extensões') através de suas chaves primárias, e contêm texto decodificado e descrições de valores chave ou codificados, armazenados na tabela dimensional principal.
20
OLAP
Embora aceitável, a normalização de dimensões não é recomendável por razões de desempenho e facilidade de uso: A quantidade de tabelas torna a apresentação do modelo mais
complexa. Otimizadores do SGBD têm mais dificuldade com esquema complexo. A economia de espaço em disco é insignificante em relação ao DW
completo. Diminui a habilidade de usuários de navegar na dimensão.
21
OLAP
Área de Organização
de Dados
Sistema 1
Sistema 2
Sistema n
Procedimentos Procedimentos ETLETL
Procedimentos Procedimentos ETLETL
Procedimentos Procedimentos ETLETL
Fontes Externas
Dados Não Estruturados
Procedimentos Procedimentos ETLETL
Procedimentos Procedimentos ETLETL
DW
Conjunto de Dados Não Volátil,
Organizado por Assuntos,
Integrado,
Varia com Passar do Tempo,
Suporte para Processo de Tomada
de Decisão da Empresa
Procedimentos ETLExtraçãoTransformação Carga
22
OLAP
DWDW
Área de Organização
de Dados
Procedimentos Procedimentos ETLETL
Sistema 1
Sistema 2
Sistema n
Procedimentos Procedimentos ETLETL
Procedimentos Procedimentos ETLETL
Fontes Externas
Extração, Extração, Transformação Transformação
e e CargaCarga
Procedimentos Procedimentos ETLETL
Ferramentas de
Consulta OLAP
Dados Não Estruturados
Procedimentos Procedimentos ETLETL
Procedimentos Procedimentos ETLETL
23
OLAP
DWDW
Área de Organização
de Dados
Procedimentos Procedimentos ETLETL
Sistema 1
Sistema 2
Sistema n
Procedimentos Procedimentos ETLETL
Procedimentos Procedimentos ETLETL
Fontes Externas
Extração, Extração, Transformação Transformação
e e CargaCarga
Procedimentos Procedimentos ETLETL
Ferramentas de
Data Mining
Dados Não Estruturados
Procedimentos Procedimentos ETLETL
Procedimentos Procedimentos ETLETL
AnáliseAnálise
Data MiningData Mining
24
OLAP
ERP Os sistemas ERP (Enterprise Resource Planning),
também chamados no Brasil de Sistemas Integrados de Gestão Empresarial, têm um objetivo fundamental: controlar, integrar e fornecer suporte aos processos de uma organização – operacionais, produtivos, administrativos e comerciais.
O ERP integra várias funções: controles financeiros, contabilidade, folha de pagamento, faturamento, compras, produção, estoque e logística. Possibilita um fluxo de informações único, contínuo e consistente por toda a organização, o que permite administrar os negócios em uma única base de dados.
25
OLAP
ERP
SistemasOperacionais
DataMarts
BSCDW
Estratégico
Tático
Operacional ERP
Processos Pessoas
SofwareHardware
26
OLAP
ERP Dificuldades:
É difícil para as organizações entenderem se a forma delas trabalharem se adapta ao padrão ERP antes da implementação ter começado.
A razão mais comum pela qual as organizações fogem dos projetos multimilionários do ERP é porque elas descobrem que o software não suporta algum dos importantes processos dos seus negócios. Nesse caso, só há duas coisas a serem feitas: mudar o processo para se adaptar ao software, o qual significará
mudanças profundas nas formas de se fazer negócio, o que apesar de ser positivo para a produtividade da organização, mexe em papéis de pessoas importantes e com responsabilidades e que apenas poucas organizações conseguem fazer.
ou, mudar o software para que este se adapte ao processo, o que diminuirá a velocidade do projeto e provavelmente deturpará o sistema.
27
OLAP
ERP Um projeto de ERP é um projeto do Negócio e
não apenas de TI. A implantação de um ERP requer uma
reorganização na forma como as coisas funcionam internamente na organização.
O mais importante em um projeto de ERP é entender porque a Organizaçõa precisa dele e como a mesma pode utilizá-lo para otimizar seus negócios.
Os benefícios podem ser obtidos se a organizaçõa tiver maturidade para aceitar as mudanças e se adequar a elas.
28
OLAP
Projeto de um DW Kimball aponta um conjunto pontos fundamentais no
projeto da estrutura de DW (tipo estrela). São os seguintes os chamados pontos de decisão, que constituem definições a serem feitas e correspondem, de fato, a etapas do projeto: Os processos, e por conseqüência, a identidade das tabelas de
fatos; A granularidade de cada tabela de fatos; As dimensões de cada tabela de fatos; Aos fatos, incluindo fatos pré-calculados; Os atributos das dimensões; Como acompanhar mudanças graduais em dimensões; As agregações, minidimensões e outras decisões de projeto físico; Duração histórica do banco de dados; Urgência com que se dá a extração e carga para o DW.
Esta metodologia segue a linha top-down, pois começa identificando os grandes processos da empresa.
29
OLAP
Estratégias de Implementação
Estratégia Evolucionária
Inmon: Histórico de sucesso das aplicações; Usuário final não terá condições de expressar suas
necessidades com clareza antes da primeira interação;
A gerência não se comprometerá antes da primeira interação;
Há necessidade de, rapidamente, obter resultados visíveis.
30
OLAP
Estratégias de Implementação
INMON KIMBALL
Avalia o que o Ambiente Operativo
tem a Oferecer
Orientada às Necessidades do
Usuário FinalFácil Mapeamento Mapeamento Lento
(Identificar Fontes)
Limitação de Visão Visão mais Ampla
31
OLAP
Povoando um DW
Filtragen,Transformação e Integração dos Dados Extraídos Conflitos Semânticos e Estruturais:
Diferenças de unidades; Diferenças de precisão; Diferenças em código ou expressões; Diferenças de granularidade; Diferenças de abstração.
32
OLAP
Exemplos de Uso Governo Federal: Após conclusão do DW,
considerado estratégico pelo governo federal, o governo planeja implantar um sistema de data minig, para auxiliar na identificação de fraudes .
Lobrás: Desenvolveu um DW que está ajudando a empresa a saber com exatidão o movimento das vendas de seus mais de 21.500 produtos.
Itaú: O banco Itaú foi um dos pioneiros no uso de DW no Brasil. Seu objetivo na época da implantação do DW era filtrar suas correspondências que eram enviadas pra mais de 1 milhão de correntistas mas somente 2% se interessavam pelas promoções e novidades. Com a utilização do DW o índice de retorno foi para 30% .
33
OLAP
Modelagem Multidimensional Tabela de Fatos
Tabela central do projeto dimensional. Armazena medições numéricas do negócio.
Possui chaves de múltiplas partes. Cada chave é uma chave externa para uma tabela de dimensão. Cada uma das medições é obtida na interseção de todas as
dimensões. Em consultas a tabela de fatos são usados centenas, milhares ou
até milhões de registros para a construção da resposta.
Medidas Aditivas: São as mais freqüentes e são obtidas por meio da soma
de valores gerados pela seleção de membros das dimensões. Exemplo: lucro líquido;
Semi-aditivas: São medidas obtidas a partir da soma de apenas partes de suas dimensões. Exemplo: quantidade em estoque (não faz sentido somá-la através da dimensão tempo);
Não-aditivas: São medidas que não podem ser somadas através de nenhuma de suas dimensões. O exemplo mais comum desse tipo de medidas são valores percentuais.
34
OLAP
Modelagem Multidimensional
Dimensão: Representação dos contextos relevantes para
a análise de um fato. Exemplo:
Fato: Vendas. Dimensões: Clientes, Produtos, Tempo, Locais, ...
Uma dimensão pode conter membros; ser organizada em hierarquias.
35
OLAP
Modelagem Multidimensional Membros:
Exemplos: dimensão Tempo:
– dia, semana, horário. dimensão Locais:
– bairro, cidade, estado.
ANO
TRIMESTRE
MES
DIA
REGIAO
ESTADO
I) TEMPO II) GEOGRAFIA
Hierarquias:
36
OLAP
Agregados
Normalmente, a modelagem dimensional utilizando o esquema estrela apenas representa os fatos no nível de granularidade mais baixa (a partir do qual é possível gerar as combinações ou diferentes perspectivas de análise).
No entanto, torna-se evidente a vantagem (por razões de desempenho) de pré-calcular e armazenar fatos sumário, contendo agregações segundo diferentes combinações de dimensões.
37
OLAP
Agregados
Geografia
Estado
TempoProdutoConsultas
Produto
Marca
Categoria
Mês
Trimestre
Ano
Região
PaísVendas por
Marca, Trimestree Região
Vendas porProduto,
Ano e Região
38
OLAP
Agregados
Sul
XPTO
XPTA
XPTN
Mar
çoAbril
Maio
Sudeste
Norte
Vendas Categoria
Trimestre
Região
Marca
Ano
Região
39
OLAP
Agregados
Tempo de Resposta
BD1
BD
1
BD2
BD
2
BD3
BD
3
BD4
BD
4
40
OLAP
Agregados
Fatores: Custo de Criação; Custo de Manutenção; Frequência de Manutenção; Frequência de Utilização; Tempo de Geração.
Nem sempre é viável armazenar todos os agregados.
41
OLAP
Modelo Dimensional Visualização:
Uma visão multidimensional é usualmente representada por um cubo. Adequado à visualização de até 3 dimensões.
Análise tridimensional é bastante utilizada. Hipercubo: cubo com mais de 3 dimensões.
42
OLAP
Modelo Dimensional
43
OLAP
Modelo Dimensional Funcionalidades:
Roll-up(agregação): os dados são resumidos com generalização crescente (dia, mês, ano).
Drill-down(desmembramento): níveis crescentes de detalhes são revelados (ano, mês, dia).
Drill Across: ocorre quando o usuário pula um nível intermediário dentro de uma mesma dimensão. Por exemplo: a dimensão tempo é composta por ano, semestre, trimestre, mês e dia. O usuário estará executando um Drill Across quando ele passar de ano direto para trimestre ou mês.
Drill Throught: ocorre quando o usuário passa de uma informação contida em uma dimensão para uma outra. Por exemplo: Estou na dimensão de tempo e no próximo passo começo a analisar a informação por região.
Pivot(pivoteamento): rotação do cubo (hipercubo). Slice-and-Dice(fatiar e cortar em cubos): realizar a operação
de projeção nas dimensões.
44
OLAP
Roll-up
45
OLAP
Drill-down
46
OLAP
Pivot
47
OLAP
Slice-and-Dice
48
OLAP
Banco de Dados Multidimensional Originalmente, o conceito de banco de dados
multidimensional surgiu no MIT ligado a pesquisas em econometria. Um banco de dados multidimensional ao invés de armazenar os dados como registros em tabelas, armazena os dados em arrays multidimensionais.
49
OLAP
Banco de Dados Multidimensional
MOLAP
ROLAP
50
OLAP
Data Mining As ferramentas de Mineração de Dados, são especializadas em
procurar padrões nos dados. Essa busca pode ser efetuada automaticamente pelo sistema ou interativamente com um analista, responsável pela geração de hipóteses.
Diversas ferramentas distintas, como redes neurais, indução de árvores de decisão, sistemas baseados em regras e programas estatísticos, tanto isoladamente quanto em combinação, podem ser então aplicadas ao problema.
Em geral, o processo de busca é interativo, de forma que os analistas revêem o resultado, formulam um novo conjunto de questões para refinar a busca em um dado aspecto das descobertas, e realimentam o sistema com novos parâmetros.
Ao final do processo, o sistema de Mineração de Dados gera um relatório das descobertas, que passa então a ser interpretado pelos analistas de mineração.
Somente após a interpretação das informações obtidas encontramos conclusões ou regras, este processo é conhecido por Knowledge Discovery in Database (KDD) ou descoberta de conhecimento em banco de dados.
51
OLAP
Data Mining
Objetivos: Explanatório: explicar algum evento ou medida
observada, tal como porque a venda de sorvetes caiu no Rio de Janeiro;
Confirmatório: confirmar uma hipótese. Uma companhia de seguros , por exemplo, pode querer examinar os registros de seus clientes para determinar se famílias de duas rendas tem mais probalidade de adquirir um plano de saúde do que famílias de uma renda;
Exploratório: analisar os dados buscando relacionamento novos e não previstos. Uma companhia de cartão de crédito pode analisar seus registros históricos para determinar que fatores estão associados a pessoas que representam risco para créditos.
52
OLAP
Business Intelligence (BI) O termo BI surgiu na década de 80, cunhado pelo
Gartner Group, e tem como principais características: Extrair e integrar dados de múltiplas fontes ; Fazer uso da experiência ; Analisar dados contextualizados ; Trabalhar com hipóteses; Procurar relações de causa e efeito; Transformar os registros obtidos em informação útil para o
conhecimento empresarial.
53
OLAP
Business Intelligence (BI) Business Intelligence é o processo de analisar informações
brutas acumuladas da empresa e a partir delas obter insights valiosos.
Business Intelligence permite que os responsáveis pelas decisões tenham as informações certas, na hora certa e no lugar certo, capacitando-os a tomar melhores decisões corporativas.
As aplicações de BI incluem: Sistemas de suporte à decisão;
Consultas e relatórios (padronizadas e ad-hoc);
Análises OLAP (On-Line Analytical Processing);
Análises estatísticas;
Previsões;
Data Mining.
54
OLAP
Business Intelligence (BI)
55
OLAP
Costumer Relationship Management (CRM) CRM não é apenas um conceito tecnológico, é uma
filosofia de trabalho, que deve se apoiar fortemente em sistemas de informação.
A definição do Gartner Group sobre CRM é bastante abrangente:
"CRM é uma estratégia de negócio voltada ao entendimento e antecipação das necessidades dos clientes atuais e potenciais de uma empresa. Do ponto de vista tecnológico, CRM envolve capturar os dados do cliente ao longo de toda a empresa, consolidar todos os dados capturados interna e externamente em um banco de dados central, analisar os dados consolidados, distribuir os resultados dessa análise aos vários pontos de contato com o cliente e usar essa informação ao interagir com o cliente, por meio de qualquer ponto de contato com a empresa".
56
OLAP
Conclusão
Inmon: “É um engano pensar que os enfoques de projeto que funcionaram no passado serão úteis na construção do DW. Os requisitos para a criação de um DW não podem ser conhecidos até que ele seja parcialmente povoado e sendo usado pelo analista de SAD. Portanto, ele não pode ser projetado do mesmo modo pelo qual são construídos os sistemas clássicos baseados em requisitos. Por outro lado, também constitui um engano pensar que não prever requisitos seja uma boa idéia. A realidade se encontra em algum ponto intermediário.”(estratégia evolucionária)
OLAP
FIM