Dra. Angélica Urrutia SepúlvedaUniversidad Católica del Maule, Chile

Universidad Simón Bolivar Venezuela, 2008

DataWarehouse y DataMining

Difusos

Temario: Diseño Conceptual

Diseño Clásico de un DW. Propuesta de un Fuzzy-DW. Minería de Datos. Análisis Manager como

Herramienta de DW y Minería de Datos.

Trabajos Futuros

Diseño Clásico de un DW.

Temas: Motivaciones: La información y las organizaciones Características y operadores de los Sistemas de DW Desarrollo de Sistemas DW.

Motivaciones

Problemática planteada: Acceso a Información para la toma de

decisiones.

La información y las organizaciones Las organizaciones tienen necesidad de:

Conocimiento: Materia prima para toma de decisiones. Es lo que se desea construir.

Información: Materia prima para conocer los fenómenos reales. Un item de datos es información según el

contexto de toma de decisiones. Datos:

Materia prima de la información. Generados por procesos que no necesariamente

los explotan.

La información y las organizaciones

Los datos existen, pero ... No siempre se acceden fácilmente. No siempre se explotan.

Un reporte de los Laboratorios Bell indica que la cantidad de datos se duplica cada 5 años, y que solo se usa un 5% de ella.

La información suele ser difícil de obtener: Deben obtenerse los datos:

A partir de los cuales se construye la información. Que definen el contexto del mismo.

En un cierto contexto, un ítem puede ser información: Dependiendo del tipo de decisiones a tomar. Dependiendo de la persona encargada. Dependiendo de la calidad de su valor.

La información y las organizaciones

Y los sistemas de información tradicionales ... Orientados a sistemas operacionales. Asociados a procesos productivos. Procesan grandes cantidades de

transacciones. Pueden resolver estas necesidades

?

Sistemas de Producción y de Decisión Sistemas orientado a la Producción:

Prioridad: tiempo de respuesta a transacciones read-write.

Se manejan datos actuales muy detallados. Estables y de larga vida util.

Sistema orientado a la Decisión: Prioridad:

expresividad y eficiencia en consultas complejas. Datos actuales+históricos resumidos. En constante evolución.

Sistemas de Producción y de Decisión

Conclusión. Se trata de sistemas con objetivos

diferentes. Se construyen para ser eficientes en

sus objetivos. No es posible usar uno para las

tareas del otro.

Sistemas de Data Warehousing

Arquitectura Base

Sistemas de Data Warehousing Algunos conceptos:

Diccionario de Datos o Metadata: Asocia objetos del negocio a datos en BDs.

Análisis multidimensional y herramientas OLAP:

Modelamiento del problema en dimensiones. Data Mining:

Búsqueda de correlaciones entre datos. Calidad de Datos

Se agregan criterios de Relevancia y Pertinencia de Datos.

SDW: Visión General Definiciones:

Data Warehouse [Inmon 94]: Es un conjunto de datos orientados a

temas, integrados, no volátiles e históricos, organizados para soportar un proceso de toma de decisiones.

Sistema de Data Warehousing: Es un sistema informático capaz de

ofrecer información para toma de decisiones, y cuya pieza principal es un Data Warehouse.

Sistemas de Data Warehousing Definiciones (cont.):

Datos Orientados a Temas: En los DW, los datos se organizan en torno a los

Temas principales de la organización Datos integrados:

Heterogeneidad de datos: Diferentes áreas de la organización. Diferentes tipos (tradicionales, geográfico,

documentos). Aspectos a resolver en la integración:

Unificación de conceptos. Construcción del dato integrado a partir de los

fuentes.

Sistemas de Data Warehousing Definiciones (cont.):

Datos históricos: Se deben manejar los datos con su referencia

temporal. Datos no volátiles:

Los datos deben ser lo suficientemente estables como para permitir análisis “largos” sin que cambien durante el mismo.

Esto se obtiene como consecuencia de: La historización. La planificación de la carga.

Sistemas de Data Warehousing

Los Data Marts. Son aplicaciones de análisis de datos en

áreas precisas de negocios. Por ejemplo:

Ventas, Marketing, Recursos Humanos. Toman sus datos del Data Warehouse. Priorizan la funciones de análisis de datos:

Interfaces a usuario. Indicadores específicos al área de negocio.

Normalmente basados en OLAP.

Estructura del Data Warehouse

Tipos de Operaciones/Transformaciones (1): Extracción de datos.

Consiste en extraer los datos de la BD fuente y cargarlo en el ODS o DW.

Filtrado. Consiste en filtrar datos no admisibles en el DW.

Modificación de formato o valores. Consiste en adaptar formatos o valores para que

cumpla pautas definidas en el DW. Integración.

Consiste en integrar datos provenientes de dos fuentes.

Estructura del Data Warehouse

Tipos de Operaciones/Transformaciones (2): Cálculos y Consolidaciones (Agregaciones).

Consiste en calcular indicadores a partir de datos base. Pueden implicar consolidaciones.

Generación de datos históricos (historización). Consiste en agregar marcas de tiempo a datos.

Generación de versiones. Consiste en agregar atributos diferenciadores de

diferentes versiones de un objeto base. La historización permite hacer esto marcando la

versión con un valor temporal.

Soportar múltiples tipos de usuarios

Diferentes niveles jerárquicos: Directivos. Gerentes de área. Mandos técnicos.

Diferentes funciones: Planificación. Control. Análisis.

Herramientas OLAP Introducción:

Implementan Modelos Multidimensionales. Los Modelos MD representan los datos como

dimensiones en un hipercubo. Tecnología en pleno desarrollo y expansión. Diferentes alternativas tecnológicas:

ROLAP vs. MOLAP vs. HOLAP: ROLAPs: actuan directamente sobre BD Rel. MOLAPs: trabajan sobre almacenamiento especializado. HOLAP: intentan aplicar ambas estrategias.

OLAP - Modelos Multidimensionales

Motivaciones: Representar los datos en forma más cercana a la

intuición del usuario. Resolver problemas planteados en sistemas

relacionales. Principios generales:

La información se representa como: cuadros de doble o triple entrada. cubos de "n" dimensiones.

Una BD-MD incluye varias dimensiones.

OLAP - Modelos Multidimensionales

Ejemplo: Análisis de ventas de autos

Diseño Conceptual DW

¿ Cuáles son las herramientas que necesita el diseñador para poder razonar sobre los datos y presentárselos al usuario ?

Modelos de Datos

Los niveles en diseño de BDs:

Enfoques de Diseño Conceptual

Análisis desde requerimientos: Los requerimientos son el universo de información. Las bases fuente se relacionarán luego. Aplicable cuando se tienen Bases Fuentes complejas.

(Se analizan con los requerimientos en mente). Trabajos: [Car00], [Sap99], [Hus00], [Fra99].

Análisis desde datos: Datos fuentes son el universo de información. El DW se obtiene transformando las fuentes. Aplicable cuando los requerimientos están poco

claros. Trabajos: [Gol98a], [Cab98].

Etapas de Diseño Conceptual Las principales etapas son:

Definir un esqueleto de esquema: Primer grupo de dimensiones medidas.

Establecer correspondencia entre requerimientos y datos fuentes.

Completar jerarquías en las dimensiones.

Especificar segundo grupo de medidas (calculadas). Iterar

MMD en la arquitectura

Motivación

Motivación

Modelos Multidimensionales Qué tienen en común estas dos

últimas representaciones? El usuario final (gerente) las entiende

y maneja habitualmente. Objetivos de los MMD:

Representar los datos en forma cercana a la intuición del usuario.

Resolver problemas planteados en sistemas relacionales.

Características Se representan los datos como una

matriz. En los ejes están los criterios de análisis. En los cruces están los valores a analizar. A esta estructura se le llama Cubo o Hipercubo.

Características

Agregando una 3a. dimensión:

Características

Agregando una 4a. dimensión:

Estructuras básicas Los Cubos o Hipercubos constan

de: Dimensiones:

Criterios de análisis de los datos. Macro-objetos del problema. Variables independientes. Ejes en el hipercubo.

Medidas Valores o indicadores a analizar. Datos asociados a relaciones entre los objetos del problema. Variables dependientes. Variables en la intersección de las dimensiones.

Estructuras básicas

En el ejemplo anterior: Dimensiones:

Modelo Color Vendedor Fecha

Medida: Cantidad Vendida

Caso de Estudio

Dimensiones Jerarquías:

Los valores se organizan en jerarquías (categorías).

Por ejemplo: Dimensión: Vendedores

Medidas

Propiedades: Se ubican en la intersección de

algunos valores de las dimensiones. Dado un valor para cada dimensión se puede determinar un valor para la medida.

Medidas

Cubos La realidad se modela como un conjunto de

cubos. Cada cubo, esta formado por:

Un conjunto de Dimensiones organizadas en jerarquías.

Un conjunto de Medidas asociadas a cada Coordenada.

Es posible moverse en las jerarquías de las dimensiones y observar de esa forma, diferentes visiones de las medidas.

Operaciones Principales operaciones en modelos MD:

Slice. Dice. Rotación. Drill-down. Drill-up. Roll-up. Drill-across. Drill-through.

Operaciones: Slice

Operaciones: Dice

Filtrado (DICE) Se fijan valores para algunas

dimensiones.

Operaciones: Rotación

Rotación. Selecciona el orden de visualización de

las dimensiones.

Operaciones: Drill-up, drill-down

Movimientos en la Jerarquía de una Dimensión (Drill-up,Drill-down)

Operaciones: Drill-up, drill-down

Drill-Up o Drill-Down pueden verse como ajuste en las escalas de los ejes.

Son agrupamientos y des-agrupamientos.

Operaciones: Roll-up Consolidación (Roll-Up).

Calcula las medidas en función de agrupamientos. Realiza el re-cálculo de la medida de acuerdo a

los ajustes de escala.

Limites de los MMD Los MMD no realizan adecuadamente

ciertas operaciones: Salvo en algunos trabajos de investigación,

no se habla de representación y consulta de datos descriptivos o secundarios.

Tampoco se permiten diferentes RollUp´s por medida.

Entonces: Se deben resolver con otras técnicas, o Se deben considerar en el diseño.

Características de los MMD

Resumen: Permiten describir una realidad en

términos de matrices multidimensionales (Cubos).

Desde el punto de Vista del DW, se utilizan para describir Datamarts o el DW Completo.

Las Dimensiones pueden tener una o más jerarquías.

Modelo CMDM:

Estructuras básicas. Niveles. Dimensiones.

Con Jerarquias, formadas por Niveles. Incluye Medidas (Dimensionalidad

Genérica). Relaciones dimensionales. Cubos.

Cruzamientos específicos.

Estrategia basada en Medina y

Dimensiones

Modelo CMDM

Dimensiones: Una dimensión esta formada por:

Modelo CMDM

Niveles: Un nivel representa un conjunto de

datos.

Modelo CMDM

Jerarquías: Los niveles se organizan en

jerarquías. Cada jerarquía está compuesta por

uno o varios niveles. En cada jerarquía:

Se tiene una relación <1-n> entre objetos de nivel superior e inferior.

Modelo CMDM

Jerarquías: Ejemplo

Modelo CMDM Relaciones Dimensionales:

Representan cruzamientos entre Dimensiones.

Las Medidas participan como Dimensiones.

Vista como una relación: Se tiene un elemento en el conjunto

relación si y solo si hay un cruzamiento. Esto obliga a que las Dimensiones

participantes realmente sean cruzables.

Modelo CMDM

Relaciones Dimensionales. Ejemplo

Modelo CMDM Esquema Conceptual MD:

Está formado por un conjunto de Relaciones Dimensionales.

Las Relaciones Dimensionales pueden compartir Dimensiones.

Permite el Drill-Across. Cubos:

Dada una Relación Dimensional, un cubo representa un cruzamiento concreto entre niveles determinados de las Jerarquías de la RD.

Modelo CMDM

Cubos: Ejemplo.

Modelo CMDM Conclusiones sobre CMDM.

Apunta a dar un modelo de especificación de esquemas conceptuales Multidimensionales.

Cumpliendo un rol equivalente al del Modelo ER. Los esquemas conceptuales MD luego serán

traducidos a esquemas lógicos MD. Todavía en desarrollo, se trabaja sobre:

Mejoras de la herramienta CASE. Un lenguaje de Restricciones de Integridad. Una base formal para el modelo.

Modelos de Metadata: CWM

Estructura: Packages que cubren todas las áreas.

DF / Estrategia Basada en Datos

Pautas de diseño Preguntas básicas en diseño:

¿Qué es una Dimensión y qué es una Medida?

¿Tiene sentido construir cualquier cruzamiento de niveles?

¿Cuándo definir una Dimensión con varias jerarquías o varias Dimensiones?

¿Con qué criterios definir una o varias Relaciones Dimensionales?

Dada una relación dimensional, ¿cualquier operación de roll-up es correcta?

¿Cómo clasificar las medidas calculadas?

Def. de Dimensiones y Medidas

¿Qué items pueden ser medidas y cuáles dimensiones? No hay ningún criterio ni método efectivo

para tomar la decisión. Pueden haber “indicios” basados en:

Objetos del problema y/o criterios de análisis Vs. Indicadores y/o medidas.

Interés de totalizar segun Drill-Ups. Identificadores Vs. No Identificadores. Estudio de distribución de valores. Estudio de independencia de variables.

Jerarquías en dimensiones Criterios para construir jerarquías:

Definir caminos de navegación (drill-down/up).

Definir agrupamientos naturales de los datos (reportes).

Asociar diferentes niveles de cálculo de indicadores.

Atención ! Cuidado con el comportamiento de las

medidas cuando se hace roll-up.

Jerarquías en dimensiones Ejemplos:

Los supervisores de ventas estudian las ventas según la ubicación geográfica de los clientes.

Los analistas de marketing estudian los clientes según segmentos de mercado.

Se hacen reportes de distribución geográfica de los segmentos de mercado.

La sección depósito maneja fechas calendario, en cambio contaduría maneja años fiscales.

Relaciones dimensionales

Ejemplos de distintas Medidas:

Tipos de fórmulas Fórmulas descriptivas:

Datos fuentes o agregación de datos fuentes.

Ej: Cantidad de unidades en stock. Costo del item Ultimo precio de venta Cantidad de unidades salientes Margen de ganancia Promedio diario de unidades en stock.

Conclusiones Técnica de diseño

Guiada por los requerimientos de información. Aparecen tareas de mapping.

Introducción de un modelo conceptual. Se busca una notación abstracta y efectiva. Representación de conceptos

multidimensionales Pautas de buen diseño.

Construcción de dimensiones y jerarquías. Construcción de relaciones dimensionales. Aditividad en medidas.

Diseño de un DW Relacional

Características del DW Acceso y mantenimiento de datos

Consultas complejas Se considera solo-lectura. El mantenimiento no se hace vía

sistema OLTP, sino en forma "batch". Usuario final accede directamente al DW con herramientas

de consulta (OLAP)

Modelo Relacional poco adecuado para consultas dimensionales.

Diseño de un DW Relacional

Modelo Dimensional de [Kim96]

Tablas de hechos (fact tables) donde se guardan las medidas numéricas del negocio Intersección de todas las dimensiones granularidad clave compuesta (la combinación de las fk)

Tablas de dimensión (dimension tables) donde se guardan las descripciones textuales de las

dimensiones del negocio

Jerarquías: desnormalizadas o normalizadas

Tipos de esquemas en el MD-Rel

Star: Es la estructura básica del MD 1 tabla grande central y un conjunto de tablas mas

chicas organizadas alrededor de la tabla de hechos.

Otras opciones MD-Rel …

Star-Cluster schema [MK00]

Propuesta de un Fuzzy-DW.

Temas: Conjuntos Difusos Operador Cube Extensión de la FIRST_FSQL Ejemplo Fuzzy-DW

Introducción: Fuzzy Set

A fuzzy set A can be represented as a set of pairs of values: each element u with its degree of belonging μA

 A = {A (u) / u : u U, A (u) [0,1]}

The closer μA(u) is to the value 1, the greater the memberships of the object u U to the set A. The values of memberships vary between 0 (does not belong at all) and 1 (total belong )

Introducción: Grado de Pertenencia

A (u) = 0, indica que u no pertenece

en absoluto al conjunto difuso A.

A (u) = 0, indica que u no pertenece

en absoluto al conjunto difuso A.

A (u) = 1, indica que u pertenece

totalmente al conjunto difuso A.

A (u) = 1, indica que u pertenece

totalmente al conjunto difuso A.

A (u) se denomina grado de pertenencia

del elemento u al conjunto difuso A.A (u) se denomina grado de pertenencia

del elemento u al conjunto difuso A.

Introduccion: Fuzzy Quantifiers

Linguistic Labels “young”, “tall” ...

Q(x)young

14 17 20 x 25 30

0.5

1

0age

degree

Fuzzy or linguistic quantifiers Absolute “large”, “many”..

Relative “the majority”, “almost all”...

Se tiene definidos 14 comparadores difusos divididos en dos familias (de Posibilidad y de Necesidad).

Permiten comparar dos atributos o un atributo con una constante.Para atributos difusos Tipo 3 sólo puede usarse FEQ.Para usar el comparador de “distinto” poner delante de la comparación la negación NOT.Posibilidad Necesidad Significado

FEQ NFEQ Posiblemente/Necesariamente Igual queFGT (FGEQ) NFGT (NFGEQ) Pos./Nec. Mayor (o igual) queFLT (FLEQ) NFLT (NFLEQ) Pos./Nec. Menor (o igual) queMGT (MLT) NMGT (NMLT) Pos./Nec. Mucho Mayor (Menor) que

Comparadores Difusos

Operador Cube

Tablas del cubo Ventas.

Extensión de la FIRST-FSQL: M-FIRST

OBJ# COMCOL# LENF_TYPE

OBJ# COL# MUCHMARGEN

OBJ#1 COL#1 COL#2OBJ#2

OBJ# FUZZY_TAPECOL# FUZZY_NAMEFUZZY_ID

OBJ# BETACOL# ALFAFUZZY_ID GAMMA DELTA

OBJ# DEGREECOL# FUZZY_ID2FUZZY_ID1

OBJ# COL# QUALIFIERFUZZY_ID

FUZZY_COL_LIST (FCL)

FUZZY_APPROX_MUCH(FAM)

FUZZY_COMPATIBLE_COL (FCC)

FUZZY_OBJECT_LIST (FOL)

FUZZY_LABEL_DEF (FLD)

FUZZY_NEARNESS_DEF (FND)

FUZZY_QUALIFIERS_DEF (FQD)

MFDW: Conjunto de 11 Pasos del Método Fuzzy DataWarehuose.

FASE 1: Especificación de requerimientos de datos de gestión.

FASE 2: Implementación de cubos cuantitativos.

FASE 3: Implementación de cubos cuantitativos-cualitativos.

Propuesta de Arquitectura F-MMD

Base de Datos CUBO

Sistema Gestor de Bases de Datos Relacionales OLAP

Sitio Web de Consultas FuzzyMedida

Cliente HTML Fuzzy

Extensión Catalogo del Sistema (M-FIRST)

Figura 11: Arquitectura del sitio para consultas difusas.

Elementos Cuantitativos

Elementos Cuantitativo-Cualitativo

Ejemplo de Medida Difusa

Función trapezoidal para la medida Monto de factura.

1

1000 2000 3000 4000 5000 6000 7000

Mala Regular Buena

0

Etiquetas Lingüísticas para Medidas del Cubo

Medida Monto, según la especificación de requerimiento le corresponderán tres etiquetas lingüísticas Mala, Regular y Buena

Se debe completar las siguientes tablas FIRST: FUZZY_COL_LIST (FCL), FUZZY_LABEL_DEF (FLD) y FUZZY_OBJECT_LIST (FOL).

De haber más medidas con tratamiento FuzzyMedida

Ejemplo de las Tablas M-FIRST

Tabla 1: Tabla FCL para la medida Monto facturado.

OBJ#COL# F_TYPE LEN COM

Facturas Monto Factura

2 2 Medida Monto

Tabla 2: Tabla FOL que define las etiquetas lingüísticas de Monto factura.

OBJ#COL# FUZZY

_IDFUZZY_NAME

FUZZY_TYPE

FactuFactuFactu

Monto F.Monto F. Monto F.

012

MalaRegularBuena

000

Tabla 3: Tabla FLD para los datos de cada etiqueta de Monto factura.

OBJ#COL# FUZZY

_IDALFA BETA GAMMA DELTA

FacturaFacturaFactura

Monto Monto Monto

012

010003000

020004000

100030006000

200040007000

Tabla Extensión M-FSQLFUZZY_LABEL_MULTIDIMENSIONAL (FLM): La tabla FLD, no fue diseñada

para cubos difusos donde la medida intersecta a una o varias dimensiones. Para llevar a cabo dicho tratamiento, se crea una nueva tabla que se adosa FLM a la FIRST, creando la M-FIRST, su estructura es la siguiente:

OBJ#: Almacena el número de objeto de la tabla que tiene un atributo difuso.

COL#: Almacena el número de columna dentro de la tabla que admitirá un tratamiento difuso. En este caso corresponde a la medida

FUZZY_ID: Identificador del objeto difuso asociado a la tabla FOL D1 : Primera dimensión del cubo N1 : N° de nivel de la primera dimensión D2 : Segunda dimensión del cubo N2 : N° de nivel de la segunda dimensión …. Dn : Dimensión n del cubo Nn : N° de nivel de la dimensión n ALFA, BETA, GAMMA Y DELTA: Definen una distribución de posibilidad

trapezoidal, para la medida y dimensiones especificadas.

Tabla de Valores de FuzzyMedida en Fuzzy_Label_Multidimensional para Medida Monto.

OBJ# COL# FUZZY_ID D1 N1 D2 N2 D3 N3 alfa Beta Gamma delta

FacturaFacturaFacturaFacturaFacturaFacturaFacturaFacturaFacturaFacturaFacturaFacturaFacturaFacturaFacturaFacturaFacturaFacturaFacturaFacturaFactura

Monto MontoMontoMontoMontoMontoMontoMontoMontoMontoMontoMontoMontoMontoMontoMontoMontoMontoMontoMontoMonto

MalaBuenaRegularMalaBuenaRegularMalaBuenaRegularMalaBuenaRegularMalaBuenaRegularMalaBuenaRegularMalaBuenaRegular

000000000000allallallallallallallallall

111111111111111111111

000000allallallallallall000000allallall

111111111111111111111

000allallall000allallall000allallall000

111111111111111111111

030007000070001200001000015000050001200005000130000700012000070000120000

050001000001100015000013000200000100001500001200015000010000150000110000140000

300070001000007000120001000000100001500010000050001200010000050001300010000070001200020000070000120000200000

500010000100001110001500010000011300020000100001100001500010000112000150001000011000015000200001110000140000200001

Cubo Ventas Cuantitativo y Cubo Ventas Cuantitativo/Cualitativo.

Contribuciones MFDW Se muestran 11 de pasos que da un Método Fuzzy para implementar

DW, llamado MFDW, y aplicado a un caso práctico de implementación. Los principales aportes de MFDW son:

FuzzyMedida que es una extensión del cubo tradicional que retorna información cualitativa, para medidas asociado a etiquetas lingüísticas.

FML extiende la FIRST propuesta por (Galindo, 1999) generando la M-FIRST que incorpora una nueva tabla Fuzzy_Label_Multidimensional, que se acopla al modelo ya propuesto y permite el tratamiento de cubos multidimencionales.

FLabel y FGrado funciones que permiten asociar grados con las etiquetas lingüísticas y viceversa implementadas en el gestor de bases de datos.

Herramienta Fron End para Web que permite consultar una FuzzyMedida en un Fuzzy DW .

para cualquier BDMS con OLAP utilizando la instrucción CUBE. La herramienta presentada permite trabajar con operaciones Slice,

Dice, Drill-up, Drill-down entre otras para cubo.

MFQDW: Metodología Fuzzy Query para Data Warehouse Se parte de un cubo estrella o copo de

nieves preciso. Se incorporan 3 tablas. Se incorporan 3 funciones Se aplican los principios de derivación

del SQLf.

MFQDW

FUZZYOLAP

5.1 Caso de Estudio

5.2 Definición de Indicadores de gestión

5.4 Base de datos Fuente

5.3 Modelo CMDM de Indicadores

5.5 Mapeo

Fragmentado de los indicadores

5.10 Análisis de Resultados

Datos precisos

Datos Imprecisos

5.7 Implementación

Cubo Olap

5.9 Implementación De Indicadores

Extendidos

Pasos para Olap Difuso

5.6 Selección de indicador de

gestión a implementar

5.8 Análisis de

Indicadores difusos (Etiquetas y otros)

Mapeo desde el modelo CMDM con base de datos fuente.

Participación ventas/ metas

año

tienda

sector

Venta=Venta dimensión Meta=Metas dimensión PCMetas = Ventas/Metas

mes

Dimensión: Fecha Ubicación

tickets

PK posPK localidPK ticketnumberPK opendate

total

localz

PK localId

address phone SectorId

localgroups

PK SectorIdPK localId

name updated eliminated

Metas Ubicación - Externa BDF

PK fechaPK localPK sector

Mto_Meta Mto_Vta Real Porcentaje Cumplimiento

ticketitems

PK,FK1 localidPK,FK1 ticketnumberPK,FK1 opendatePK id

subclass quantity amount itemlocalid item

itemcategories

PK rootPK categoryPK itemtypePK item

eliminated updated

categories

PK idPK root

name description

Metas Categorias - Externa BDF

PK fechaPK categoria_articulo

Mto_Meta Mto_Vta Real Porcentaje Cumplimiento

Medidas

categoría

Productos

producto

Proveedor

Dimensión: Proveedores

Tabla Multidimencional Difusa:

Esta tabla, es llenada a partir de la implementación y ejecución de un procedimiento almacenado.

Sus datos se obtienen a partir de la tabla central de la estrella que tienen las medidas en el DW.

Se utiliza el operador CUBE, entrega registros con indicadores de totalización para cada dimensión definida.

La clave primaria esta formada por la unión de todas las claves de las dimensiones, por otro lado, las medidas tendrán el valor numérico totalizado, según criterios de selección de dimensiones.

Formato de la tupla: {Dimensión1, Dimensión2, …, DimensiónN, Medida1, Medida2, …, MedidaN}

Tabla Matriz de Clasificación

Esta tabla corresponde a la clasificación de todas las combinaciones de dimensiones posibles, generados a partir de definición realizada en tabla Multidimensional Difusa.

Cada una de estas combinaciones y nivel de profundidad de totales especificada, será clasificada y será mediante una llave, obtenida de e interpretar la etiqueta lingüística asociada a cada medida difusa.

La clave primaria de esta tabla es el atributo código de clasificación y los valores posibles para cada dimensión son:YES: Lo cual representa un elemento que pertenece al dominio definidos para esta dimensión difusaALL: lo cual representa un indicador de totalización asociada a la medida difusa.

Formato de la tupla: {Código Clasificación, Dimensión1, Dimensión2, …, DimensiónN}

Tabla Etiquetas Lingüísticas

Tabla que contiene todas las etiquetas lingüísticas asociadas a un código de clasificación, definidas en la tabla Matriz de clasificación.

La clave es el código de clasificación que permite que el monto de la medida sea rescatada de la tabla Multidimensional Difusa, y obtener las etiqueta lingüística para cada una de ellas.

La notación utilizada para representar las etiquetas lingüísticas será la función trapezoidal.

Formato de la tupla: {Código Clasificación, Nombre etiqueta, Valor1 (0), Valor2 (1), Valor3 (1), Valor4 (0)}

La Función Clasificación Se ejecuta con la base de datos, la cual

recorre la tabla Multidimencional Difusa y va comparando los patrones conformados por dimensiones y medidas, contra la tabla de patrones de totalizadores de dimensione previamente definida en tabla Matriz de Clasificación.

Una vez que encuentra el registro en Matriz de Clasificación, rescata su clasificación para posteriormente llamar a otra función para rescatar su etiqueta lingüística.

La Función Etiquetas Lingüísticas

Actúa sobre la base de datos que rescata la etiqueta lingüística. A partir del código de Clasificación, rescatado con Función Clasificación, y la medida rescatada de tabla Multidimencional Difusa.

La Función Consulta Multidimensional Difusa Es una función que nos permitirá,

en base a la estructura y funciones clasificación y etiqueta, realizar una consulta anidada en la cual estén presente todo los componentes (dimensiones, medidas, código de clasificación y etiqueta lingüística) y cuyo resultado mantenga la consistencia deseada.

Extensión del Diseño Estrella a Diseño Difuso

Diseño Estrella

Preciso

Tablas de Extensión

Difusa

Bibliografía Base Urrutia A. Egaña D, (2007) “Una Propuesta

para Dataware House Difuso”. Revista Gerencia colombiana, diciembre de 2008.

Kumar Pavan, Krishna Radha, Kumar Supriya, “Fuzzy OLAP Cube for Qualitative” Institute for Development and Research in Banking Technology, IDRBT-2005

Ling Fen, Tharam Dillon, “Using Fuzzy Linguistic Representations to Provide Explanatory Semantcis for Data Warehoses”, IEEE, Vol. 15 N°1, Enero-Febrero 2003.

Minería de Datos.

Temas: Data Mining en DW. Estrategias de algoritmos Procesos y modelos

Data Mining Objetivos:

Explorar BDs buscando relaciones desconocidas entre los datos.

Por ejemplo: Relaciones entre enfermedades y decesos.

Algunas candidatas a nuevas causas de decesos. Otras podrían ser datos erróneos.

Qué incluye ? Un conjunto muy amplio y heterogéneo de

técnicas y herramientas.

Data Mining en contexto DW Diferencias con OLAP.

Data Mining usa mecanismos de: Descubrimiento de información, Pattern-matching, Deducción de reglas, ... y otros

para determinar relaciones claves entre los datos. Los algoritmos de Data Mining pueden estudiar

varias dimensiones de datos simultáneamente y descubrir los que tienen comportamiento especial.

La iniciativa es del algoritmo y no del usuario.

Aplicación : Criterios Generales

Etapas en uso de DM: Identificación del problema. Definición de la Estrategia de resolución. Aplicación de DM para generar un Modelo. Manipulación del Modelo obtenido. Medición de resultados obtenidos.

DM provee feedback a otros procesos: Construcción del DW.

Estructuración de los datos. Definición de indicadores.

Estructuración/Análisis de datos OLAP post-DM. En base a resultados obtenidos.

Estrategias para Data Mining Introducción.

Las estrategias para Data Mining corresponden al tipo de estudio que se desea realizar.

Las estrategias no son algoritmos en si mismas, sino formas de encarar el problema planteado.

Cada estrategia generará un Modelo, a través de la ejecución de un algoritmo.

Algunas estrategias. Clasificación, Clustering, Asociación, Optimización, Predicción.

Estrategias : Clasificación Objetivo:

Clasificar registros según una variable objetivo, teniendo en cuenta valores de otros atributos.

Ejemplo: Se tiene una BD histórica con datos variados de

clientes y un atributo de calificación de calidad (variable objetivo).

Dado un nuevo registro, del cual se desconoce su valor de variable objetivo, se quiere clasificar según los valores de los atributos.

Observaciones: Es de tipo aprendizaje dirigido, ya que se define la

variable objetivo

Estrategias: Clustering Objetivo.

Generar grupos con registros según su “similaridad” en valores de atributos variados.

Ejemplo: Dada la BD del caso de Clasificación, generar

grupos de clientes que tienen comportamiento similar sobre el conjunto de atributos.

Observaciones. Se trata de aprendizaje no-dirigido. Se modela como un espacio n-dimensional de

puntos, con una dimensión or atributo y un punto por registro.

Estrategias: Visualización Objetivo.

Representar situaciones de problema en forma visual, de forma de facilitar su análisis.

Ejemplo: Mostrar las distribuciones de ventas de

productos en ciudades, teniendo en cuenta las características demográficas.

Observaciones. Se basa en técnicas de Interfase Hombre-

Máquina y de comunicación de información en forma gráfica.

Estrategias: Asociación Objetivo.

Generar reglas de tipo IF A1,…An THEN B, donde A1 …,An son fenónemos en el problema.

Ejemplo: Se tiene una BD con tickets de supermercado. Y

se quiere generar reglas que relacionen los productos comprados, hora de compra, dia, mes, y perfil de cliente.

IF TipoCliente=1 AND CompraProd=p1 THEN CompraProd=P2;

Observaciones. También se lo llama Market Basket Análisis.

Estrategias: Optimización Objetivo.

Seleccionar una combinación de productos (o resultados) que mejor alcanza los objetivos de negocios.

Ejemplo: Lograr una combinación de cantidades

producidas en diferentes productos que tienen sus costos y precios de venta.

Observaciones. Son casos de optimización lineal y no-lineal.

Estrategias: Estimación

Objetivo. Realizar clasificaciones pero con una

variable objetivo continua y no discreta.

Ejemplo: Para el caso de los clientes, tomar

como variable la ganancia esperada que generan.

El Proceso de Data Mining. Introducción.

Aplicar Data Mining corresponde más a un proceso que a una operación individual.

Pasos: Preparación de datos. Definición de estudio. Construcción de Modelo. Entender y aplicar el Modelo.

Proceso: Preparación de datos.

Definición. Consiste en la generación de una base de

datos sobre la cual se pueda aplicar el estudio deseado.

Aspectos a resolver: Limpieza de datos. Valores nulos. Derivación de datos. Integración (merge) de datos.

Proceso: Definición de estudio

Definición. Consiste en definir los resultados a obtener, el

tipo de estrategia y el alcance del estudio. Aspectos a resolver:

Definir los límites. De qué se parte y qué se quiere obtener.

Elegir el tipo de estudio, incluyendo la estrategia.

Especificar los elementos a analizar. Datos relevantes, valores resultados.

Definición de la muestra. ¿ Como tomar una muestra representativa ?

Proceso: Construcción de Modelo

Definición. Consiste en construir un modelo abstracto que

representa el problema y que manipulándolo se tratan de resolver los requerimientos.

Aspectos a resolver: Precisión (accuracy). Comprensibilidad (understandability).

Qué entradas afectan la salida. Por qué tiene éxito o falla.

Performance. Qué tan rápido genera el modelo. Qué tan rápido se obtienen las conclusiones deseadas.

Proceso: Entender y aplicar el Modelo

Definición. Consiste en asociar el modelo resultante

al problema real de forma de comprenderlo.

Implica: Validar los resultados del modelo. Extraer elementos relevantes y descartar

las distorsiones. Concluir qué fenómeno ocurre u ocurrir

Modelos y sus características Modelos de Data Mining:

Un Modelo es una representación de un problema que, instanciado con valores, genera resultados.

Por ejemplo: se tienen modelos predictivos, de clasificación, series de tiempo, clustering, etc.

Los modelos poseen ciertos atributos: Underfitting y Overfitting. Dirigido o no dirigido. Explicabilidad de resultado. Facilidad de aplicación.

Modelos y sus características Underfitting y Overfitting:

Overfitting: más info que la deseable. Todos los elementos se comportan como el set de

entrenamiento (memorización del training set). Se tiene información redundante dentro de los

campos considerados, obteniendo un modelo trivial. Underfitting: menos info que la deseable.

No se llegan a obtener patrones de interés sobre los datos (e.g. con bajo impacto predictivo).

Puede ser consecuencia de la des-actualización de modelos en el tiempo.

Modelos y sus características Dirigidos vs. No dirigidos.

Dirigidos: la forma de la salida del modelo se especifica previo a su construcción.

El modelo se entrena sobre casos donde la salida está determinada (e.g. red neuronal con salida a estimar conocida).

No dirigidos: el propio modelo determina cuál será su salida.

Por ejemplo: estrategia de clustering donde el modelo son los clusters identificados.

Modelos y sus características Explicabilidad.

Resulta clarificante de interés conocer las razones que determinan los resultados.

Diferentes técnicas aportan distintos niveles de explicabilidad sobre sus resultados.

Facilidad de aplicación. Está asociado a la facilidad de uso, de

comprensión de los resultados, de claridad de los resultados, de practicidad y conexión a bases de datos.

Algoritmos de Data Mining. Introducción.

El Modelo resultante del proceso de Data Mining es generado por algoritmos a través de productos de software.

Tipos de algoritmos. Árboles de Decisión. Algoritmos Genéticos. Redes Neuronales. Estadísticos. Algoritmos avanzados de asociación. Algoritmos para Optimización.

Técnicas para Data Mining La elección de una combinación

particular de técnicas dependerá Problema a resolver / análisis DM.

naturaleza de los datos disponibles. Características conocidas sobre los tipos de Modelos generados por las técnicas:

Underfitting & Overfitting Dirigidos vs No dirigidos Explicabilidad Facilidad de aplicación

Data Mining Sintesis.

Area con fuertes componentes matemáticas. Nuevos productos:

Accesibles en precio. Explotables por usuarios no expertos.

Se prevee un gran impacto: en el diseño de Sistemas DW. en la explotación de Sistemas DW.

Todavía trabajo por hacer en la integración a los Sistemas DW.

Herramienta de DW y Minería de Datos.

Temas: Service manager DW, Data Mining

Analysis Manager: Es un complemento que se ejecuta en Microsoft® Management

Console (MMC)

Cubo en Estrella y Copo de Nieve

Datos del Cubo Mediante el Examinador de Cubos

procesamiento del modelo de minería de datos

Arbol de Decisión Custome

Examinar el Cubo Virtual de Minería de Datos

Modelo de Minería de Datos OLAP Mediante Cluster Server de Microsoft

Trabajos Futuros

Estructura del Data Warehouse

Gestión de la Metainformación

La Metainformación Items de metainformación:

Semántica (de datos en el DW). Qué significa ese dato ? Con qué temática se relaciona el ítem ?

Origen. Cúal es su origen ? (BD, cálculo, ...)

Reglas de cálculo. Cómo se calcula el ítem de datos ?

Reglas de agregación. Cuál es el conjunto de datos fuente ?

La Metainformación Items de metainformación (cont.):

Almacenamiento, formato. Cómo se almacena y con qué formato ?

Uso. Qué programas lo usan ?

Datos fuentes. De qué tablas se extrae el ítem ?

Carga. Con qué frecuencia se cargan los datos del DW ? Cómo se realiza las historización.

La Metainformación Gestión de la metainformación.

Es un problema en si mismo, además de la administración del DW.

Concierne funciones de: Modelado de datos. Almacenamiento. Acceso.

Por lo que: Resulta interesante contar con herramientas

especializadas en Gestión de Metainformación. El Data Warehouse Respository.

Data Warehouse Repository Qué es:

Es un sistema que almacena y soporta operaciones sobre la Metadata.

Puede ser usado en diferentes contextos: Sistema de Data Warehousing. Para organizar la Metabase Corporativa de una

org. Como base para herramientas CASE.

Vocación (función principal): Federar la metainformación disponible

sobre los diferentes tipos de datos.

Diseño Conceptual

Conclusiones

Temas: Proceso de diseño. Enfoques de diseño conceptual. Bibliografía.

Diseño Conceptual Las principales etapas son:

Definir un esqueleto de esquema: Primer grupo de dimensiones medidas.

Establecer correspondencia entre requerimientos y datos fuentes.

Completar jerarquías en las dimensiones.

Especificar segundo grupo de medidas (calculadas).

Implementar en una plataforma los cubos en un diseño relacional de estrella o copo de nieve

iterar

Bibliografía [Bal98] Ballard, C. Herreman, D. Schau, D. Bell, R. Kim, E.

Valncic, A.: “Data Modeling Techniques for Data Warehousing”. SG24-2238-00. IBM Red Book. 1998.

[Cab98] Cabibbo, L. Torlone, R.:"A Logical Approach to Multidimensional Databases", EDBT, 1998.

[Car00] Carpani, F.: “CMDM: A conceptual multidimensional model for Data Warehouse”. Master Thesis. Advisor: Ruggia. InCo - Pedeciba, UdelaR, Uruguay, 2000.

[Fra99] Franconi, E. Sattler, U.:"A Data Warehouse Conceptual Data Model for Multidimensional Aggregation", DMDW’99, Germany, 1999.

[Gol98a] Golfarelli, M. Maio, D. Rizzi, S.:"Conceptual Design of Data Warehouses from E/R Schemes.", HICSS’98, IEEE, Hawaii,1998.

Libro: Galindo J., Urrrutia A. y Piattini M. (2006): “Fuzzy Databases:Modeling, Desing and Implementation”, Idea Group Publishing Hershey, USA.

Caminante no hay Caminose Hace Camino al Andar

Gracias