Embed Size (px)
DESCRIPTION
Hoy en día todo se mide a lo largo de un estado contextual (tiempo y espacio), y los eventos que ocurren a lo largo de una secuencia temporal, cómo se ven afectados por otros eventos multidimensionales pasados, y cómo afectan estos nuevos eventos descubiertos a otros en el futuro, es la base de una predicción efectiva en el mundo de la analítica avanzada. I3B proporciona tecnología propia en base a modelos de aprendizaje automático multidimensionales sobre la línea del tiempo. La series temporales modelan todos nuestros comportamientos (consumos, energía, transporte, industria, medicina, meteorología), y sabemos cómo analizarlas., e incluso, como descubrir las relaciones entre concpetos a lo largo del tiempo. El conocimiento no es tener una gran cantidad de datos, sino conocer sus relaciones, y además, temporales...
Citation preview
G R U P O I B E R M Á T I C A
Análisis de Series Temporales multivariables
Tecnología i3B
Abril 2013 / 2
22
Introducción
Objetivos
Puntos de información y de estudio
Tipos de análisis
Análisis proactivo
Análisis determinista
Tecnología Ibermática
Abril 2013 / 3
Introducción
La evolución de la variación de una secuencia de datos, observaciones o valores, medidos en determinados momentos del tiempo, ordenados cronológicamente y, normalmente, espaciados entre sí de manera uniforme.
Conceptos de referencia:
• Amplitud: Distancia entre el cero y el pico máximo. • Periodicidad: Tiempo en el que se recoge
información.• Frecuencia: Número de picos por Periodicidad.• Cadencia: Número de periodos que debemos tener
en cuenta para medir un valor. • Media/Moda….
La variación de un indicador puede depender:• Los valores estáticos de otros indicadores, (hora >
18 , lluvia > 30 Atasco).
• Los valores del propio indicador, o de otros, en relación a sus propios valores pasados (Si C1=Atasco and T=1, C2 = Atasco when T=2).
• La conjunción de las dos anteriores.
La evolución de la variación de una secuencia de datos, observaciones o valores, medidos en determinados momentos del tiempo, ordenados cronológicamente y, normalmente, espaciados entre sí de manera uniforme.
Conceptos de referencia:
• Amplitud: Distancia entre el cero y el pico máximo. • Periodicidad: Tiempo en el que se recoge
información.• Frecuencia: Número de picos por Periodicidad.• Cadencia: Número de periodos que debemos tener
en cuenta para medir un valor. • Media/Moda….
La variación de un indicador puede depender:• Los valores estáticos de otros indicadores, (hora >
18 , lluvia > 30 Atasco).
• Los valores del propio indicador, o de otros, en relación a sus propios valores pasados (Si C1=Atasco and T=1, C2 = Atasco when T=2).
• La conjunción de las dos anteriores.
Abril 2013 / 4
Objetivos
Se trata de tener el conocimiento preciso para tomar decisiones inteligentes, para poder anticiparse a los problemas y resolverlos de manera proactiva, para coordinar los recursos para operar con eficacia.
Debemos utilizar el tiempo de los expertos en mejorar el negocio, no en analizar lo que ocurre en el negocio.
Se trata de mejorar la capacidad de decisión, extrayendo de forma automática las relaciones entre los datos evidentes en base a objetivos, mostrando sólo la información necesaria para los usuarios.
Se trata de tener el conocimiento preciso para tomar decisiones inteligentes, para poder anticiparse a los problemas y resolverlos de manera proactiva, para coordinar los recursos para operar con eficacia.
Debemos utilizar el tiempo de los expertos en mejorar el negocio, no en analizar lo que ocurre en el negocio.
Se trata de mejorar la capacidad de decisión, extrayendo de forma automática las relaciones entre los datos evidentes en base a objetivos, mostrando sólo la información necesaria para los usuarios.
“El conocimiento no es memorizar datos, sino relacionarlos”, Soledad Puértolas,
“Sabemos que no es una acumulación de datos lo que constituye Ciencia, ni siquiera información en el sentido estricto... Sabemos que cada dato tiene sentido únicamente en el contexto de una teoría que religa y predice hechos, en el mejor sentido de la palabra, los inventa”, Antonio Pérez García,
“El conocimiento no es memorizar datos, sino relacionarlos”, Soledad Puértolas,
“Sabemos que no es una acumulación de datos lo que constituye Ciencia, ni siquiera información en el sentido estricto... Sabemos que cada dato tiene sentido únicamente en el contexto de una teoría que religa y predice hechos, en el mejor sentido de la palabra, los inventa”, Antonio Pérez García,
Determinar anomalías sobre el patrón de comportamiento normal en las variaciones de datos multivariables, en una escala temporal.
Encontrar Eventos de interés de forma automática para su resolución inmediata
Eventos son aquellos Conjuntos relevantes de datos en una secuencia temporal, definidos por una agrupación de valores de interés, con un punto central, otro inicial y otro final.
Determinar si dichos eventos son relevantes, y aprender sobre las actuaciones realizadas sobre las alertas asignadas por cada situación.
Determinar anomalías sobre el patrón de comportamiento normal en las variaciones de datos multivariables, en una escala temporal.
Encontrar Eventos de interés de forma automática para su resolución inmediata
Eventos son aquellos Conjuntos relevantes de datos en una secuencia temporal, definidos por una agrupación de valores de interés, con un punto central, otro inicial y otro final.
Determinar si dichos eventos son relevantes, y aprender sobre las actuaciones realizadas sobre las alertas asignadas por cada situación.
Abril 2013 / 5
Puntos de información y de estudio
Un Punto de Información es la unidad mínima de recogida de información (Punto de Suministro, Estación Meteorológica, Contador, Sensores, Pulsometro, etc.).
Distintos Puntos de Información agregan indicadores asociados a un Punto de Estudio concreto, por periodos y frecuencias determinadas, que conforman el conjunto multidimensional del punto, más información adicional agregada (Sector, Zona Geográfica, Meteorología, Datos socio-demográficos, equipos, operadores, estados fisiológicos en pacientes, etc.).
El conjunto de información recogida constituye la “situación contextual” del Punto de Estudio, o la Confiabilidad Operacional.
Un Punto de Información es la unidad mínima de recogida de información (Punto de Suministro, Estación Meteorológica, Contador, Sensores, Pulsometro, etc.).
Distintos Puntos de Información agregan indicadores asociados a un Punto de Estudio concreto, por periodos y frecuencias determinadas, que conforman el conjunto multidimensional del punto, más información adicional agregada (Sector, Zona Geográfica, Meteorología, Datos socio-demográficos, equipos, operadores, estados fisiológicos en pacientes, etc.).
El conjunto de información recogida constituye la “situación contextual” del Punto de Estudio, o la Confiabilidad Operacional.
La confiabilidad de un sistema o activo, es la probabilidad de que pueda operar durante un determinado lapso de tiempo sin perdida aparente de su función.
La confiabilidad de un sistema o activo, es la probabilidad de que pueda operar durante un determinado lapso de tiempo sin perdida aparente de su función.
Abril 2013 / 6
Tipos de Análisis
Análisis Proactivo.• Es requerimiento tener histórico de datos de la fluctuación y comportamiento de
las distintas variables (cuantas más, mejor), relacionadas con los Puntos de Estudio.
• Es necesaria una Predicción Previa de las Tendencias a Futuro.• Los eventos se Generan en Base a la Comparación entre la Predicción y la
Serie Real.• Tipos de Análisis Proactivos:
Análisis Estadístico Análisis No Supervisado
o Redes Neuronaleso Árboles de Decisión
Análisis Supervisado
Análisis Determinista.• Se articula en base a reglas introducidas en el sistema por un experto.• Las reglas pueden aunar indicadores multivariables (valores de distintos Puntos
de Información) para un Punto de Estudio, así como información temporal.• No requiere Predicción Previa.
Análisis Proactivo.• Es requerimiento tener histórico de datos de la fluctuación y comportamiento de
las distintas variables (cuantas más, mejor), relacionadas con los Puntos de Estudio.
• Es necesaria una Predicción Previa de las Tendencias a Futuro.• Los eventos se Generan en Base a la Comparación entre la Predicción y la
Serie Real.• Tipos de Análisis Proactivos:
Análisis Estadístico Análisis No Supervisado
o Redes Neuronaleso Árboles de Decisión
Análisis Supervisado
Análisis Determinista.• Se articula en base a reglas introducidas en el sistema por un experto.• Las reglas pueden aunar indicadores multivariables (valores de distintos Puntos
de Información) para un Punto de Estudio, así como información temporal.• No requiere Predicción Previa.
Abril 2013 / 7
Análisis ProactivoAnálisis Estadístico: Modelado
El análisis estadístico se basa en la “discretización” de los datos de la serie en base a un periodo determinado, y a una agrupación basada en:
• Valor mínimo• Valor máximo• Moda • Media• Mediana
Se selecciona el valor en la “abcisa” que se quiere discretizar (Franja horaria, diaria, semanal, mensual, anual, etc.).
El sistema determina cuál es la mejor agrupación de dicha “abcisa” en función de la distribución de los datos (por frecuencia, por intervalos fijos, etc.).
Se calcula la media, moda, mediana, etc. de los valores que entran en cada una de las agrupaciones de las franjas.
El análisis estadístico se basa en la “discretización” de los datos de la serie en base a un periodo determinado, y a una agrupación basada en:
• Valor mínimo• Valor máximo• Moda • Media• Mediana
Se selecciona el valor en la “abcisa” que se quiere discretizar (Franja horaria, diaria, semanal, mensual, anual, etc.).
El sistema determina cuál es la mejor agrupación de dicha “abcisa” en función de la distribución de los datos (por frecuencia, por intervalos fijos, etc.).
Se calcula la media, moda, mediana, etc. de los valores que entran en cada una de las agrupaciones de las franjas.
DiscretizaciónDiscretización
Abril 2013 / 8
Análisis ProactivoAnálisis Estadístico: Validación
La validación se basa en “observar” si los nuevos puntos se entrada se salen de la agrupación (media, mediana, moda), agrupada por discretización (franja temporal).
Si la desviación sobre la medida seleccionada supera un umbral, se detecta como anomalía. El umbral es parametrizable por el usuario, en base a incrementos, por ejemplo, de la desviación
típica por discretización.
La validación se basa en “observar” si los nuevos puntos se entrada se salen de la agrupación (media, mediana, moda), agrupada por discretización (franja temporal).
Si la desviación sobre la medida seleccionada supera un umbral, se detecta como anomalía. El umbral es parametrizable por el usuario, en base a incrementos, por ejemplo, de la desviación
típica por discretización.
Nueva EntradaNueva Entrada
ModeloModelo
EventoEvento
Método Válido para análisis de un solo indicador, sin referencia a correlaciones con otras variables. Método Válido para análisis de un solo indicador, sin referencia a correlaciones con otras variables.
Abril 2013 / 9
Análisis ProactivoAnálisis Estadístico: Casos de Uso
Análisis de constantes vitales y anomalías en sistemas de monitorización de Pacientes Teleasistencia.Análisis de constantes vitales y anomalías en sistemas de monitorización de Pacientes Teleasistencia.
Abril 2013 / 10
Análisis ProactivoAnálisis No supervisado: Modelado
El análisis No Supervisado estadístico se basa en la “predicción” de la tendencia de la serie en base al conjunto de valores multidimensional. Se toman los valores históricos, y se modelan, en base a técnicas de analítica predictiva, en concreto, Redes Neuronales (RNA). Las Redes Neuronales modelan matemáticamente las relaciones intravariables en función de una variable objetivo.
El análisis No Supervisado estadístico se basa en la “predicción” de la tendencia de la serie en base al conjunto de valores multidimensional. Se toman los valores históricos, y se modelan, en base a técnicas de analítica predictiva, en concreto, Redes Neuronales (RNA). Las Redes Neuronales modelan matemáticamente las relaciones intravariables en función de una variable objetivo.
Modelo y PredicciónModelo y Predicción
En
trada
sE
ntrad
as
Abril 2013 / 11
Análisis ProactivoAnálisis No supervisado: Validación
La validación consiste en detectar situaciones anómalas (Eventos), entre la serie Predictiva y la Serie de Entrada al sistema.No es una validación de diferencias entre los valores de la serie predictiva y la real, puesto que perderíamos Eventos relacionados con anomalías referentes a otros indicadores, como picos por horas determinados, meses, horas-meses, intensidad, temperatura ambiente, o distintas combinaciones de ellos. Tendríamos muchos Falsos Positivos porque la serie predictiva es muy coincidente en las variaciones de picos/valles, pero no en la magnitud exacta de cada pico.
La validación consiste en detectar situaciones anómalas (Eventos), entre la serie Predictiva y la Serie de Entrada al sistema.No es una validación de diferencias entre los valores de la serie predictiva y la real, puesto que perderíamos Eventos relacionados con anomalías referentes a otros indicadores, como picos por horas determinados, meses, horas-meses, intensidad, temperatura ambiente, o distintas combinaciones de ellos. Tendríamos muchos Falsos Positivos porque la serie predictiva es muy coincidente en las variaciones de picos/valles, pero no en la magnitud exacta de cada pico.
i3B ha desarrollado tecnología en por medio de Segmentaciones automáticas multivariables (Clustering).
Los “Clusters” permiten:•Calcular el número de series homogéneas diferentes en los que se distribuye la Información. •Calcular los Eventos Anormales sobre dichas distribuciones conjugando múltiples variables
Abril 2013 / 12
Análisis ProactivoAnálisis No supervisado: Validación. Clustering y Anomalías
La información se agrupa en base a clusters homogéneos de forma automática. Cada elemento de la serie temporal, es una suma de indicadores (Mes, hora, reactiva, operador,
temperatura, consumo, etc.), que, en base a su distribución pertenecen a un cluster. Cada elemento es un vector que contiene una diferencia de “lejanía” con respecto al elemento
central del grupo, o “centroide”. Cuanto más lejos esté un individuo del centro de su grupo, más probabilidad existe de que sea una
anomalía, o un Evento.
La información se agrupa en base a clusters homogéneos de forma automática. Cada elemento de la serie temporal, es una suma de indicadores (Mes, hora, reactiva, operador,
temperatura, consumo, etc.), que, en base a su distribución pertenecen a un cluster. Cada elemento es un vector que contiene una diferencia de “lejanía” con respecto al elemento
central del grupo, o “centroide”. Cuanto más lejos esté un individuo del centro de su grupo, más probabilidad existe de que sea una
anomalía, o un Evento.
Abril 2013 / 13
Análisis ProactivoAnálisis No supervisado: Flujo Completo Se integran los datos. Se Analiza el modelo de Predicción. Se generan los Cluster para todos indicadores en el Punto de Información. Se seleccionan los puntos (Eventos) Anómalos.
Se integran los datos. Se Analiza el modelo de Predicción. Se generan los Cluster para todos indicadores en el Punto de Información. Se seleccionan los puntos (Eventos) Anómalos.
Abril 2013 / 14
Análisis ProactivoAnálisis No supervisado: Árboles de Decisión
Los Procesos de RNA y Clustering son muy efectivos, pero no explican porqué ocurren los Eventos.
Una forma de modelar las explicaciones de los eventos es en Base de Reglas automáticas. i3B gestiona distintos algoritmos de generación de reglas automáticas en base a frecuencias
multivariables.
Los Procesos de RNA y Clustering son muy efectivos, pero no explican porqué ocurren los Eventos.
Una forma de modelar las explicaciones de los eventos es en Base de Reglas automáticas. i3B gestiona distintos algoritmos de generación de reglas automáticas en base a frecuencias
multivariables.
HistóricoHistórico
EntradasEntradas
No Cumple = AnomalíaNo Cumple = Anomalía
Abril 2013 / 15Análisis y predicción de lluvias basado en el vapor de agua gps
Análisis ProactivoAnálisis No supervisado: Modelos en Ventanas Deslizantes
Análisis predictivos basados en relaciones entre valores consecutivos en las series temporales.Análisis predictivos basados en relaciones entre valores consecutivos en las series temporales.
Abril 2013 / 16
Análisis ProactivoAnálisis Supervisados
¿Y si metemos los Eventos y su resolución como una variable más del sistema?¿Y si metemos los Eventos y su resolución como una variable más del sistema?
Propensión a que esa incidencia se vuelva a dar en el futuro en situaciones similares
Propensión a que esa incidencia se vuelva a dar en el futuro en situaciones similares
Abril 2013 / 17
Análisis DeterministaReglas de Expertos
EntradaEntrada
AlarmasNulos…Errores…Máximas…Reglas complejas
AlarmasNulos…Errores…Máximas…Reglas complejas
Abril 2013 / 18
Tecnología IbermáticaUn esquema Híbrido
Análisis EstadísticoAnálisis Estadístico
Análisis ProactivoAnálisis Proactivo
Análisis DeterministaAnálisis Determinista
Sistema de Gestión de EventosSistema de Gestión de Eventos
Abril 2013 / 19
