25
Sistema de Detección de Alarmas de Videovigilancia Basado en Análisis Semántico Carlos Baladrón Zorita Universidad de Valladolid [email protected]

SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Embed Size (px)

Citation preview

Page 1: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Sistema de Detección de  Alarmas de Videovigilancia Basado en Análisis 

SemánticoCarlos Baladrón Zorita

Universidad de [email protected]

Page 2: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Índice

Introducción

Proyecto HuSIMS

Detección de Alarmas Basada en Análisis  Semántico

Conclusiones

Page 3: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Introducción

Page 4: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Introducción

Aumento progresivo de la presencia de  sistemas de videovigilancia

Presentes en entornos donde la seguridad es  crítica: bancos, instalaciones militares, etc.

Bajada del precio del hardware–

Sin embargo el aumento de la presencia de 

cámaras no se ve acompañado por operadores  que las controlen

Se abandona la función preventiva–

Muchos son desatendidos y con fin de obtención 

de pruebas o simplemente disuasorios

Page 5: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Introducción

Una solución es la utilización de inteligencia  artificial para el análisis de las señales de 

videovigilancia

Se abre la puerta al despliegue de sistemas de  videovigilancia

de areas

amplias

Algunos proyectos en marcha–

Chicago OEMC

Londres Surveillance

System

Page 6: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Introducción

Inteligencia artificial aplicada al análisis de  imágenes de videovigilancia:

Detección de movimiento

Identificación de objetos

Identificación de comportamientos

Identificación de personas

Combinación de datos de diferentes cámaras

Page 7: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Proyecto HuSIMS

Page 8: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Proyecto HuSIMS•

HuSIMS

= Human SItuation

Monitoring

System•

Proyecto Celtic/Eureka, financiado en España 

por el Ministerio de Industria, Turismo y  Comercio dentro del plan Avanza

Objetivo: diseñar una red de videovigilancia…–

automatizada 

altamente flexible–

de dimensiones metropolitanas

que pretende detectar alarmas y situaciones  anómalas y/o potencialmente peligrosas de muy 

diversa índole, incluyendo incendios, variedad  de accidentes de tráfico, actos vandálicos, etc.

Page 9: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Proyecto HuSIMS

Puntos clave del sistema HuSIMS:–

Maximizar el número de sensores

desplegados

Minimizar el procesado y la inteligencia en la red de  cámaras

Minimizar la cantidad de datos a transmitir por la red

…por lo tanto:•

La detección de alarmas se basa en los parámetros del 

movimiento

Distribución de alarmas en tiempo real

Utilizar soluciones de conectividad altamente  flexibles

Page 10: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Proyecto HuSIMS

Segmento 1: Red de Sensores

‐ Red wireless tipo malla

‐ Tolerante a fallos

‐ Dimensión metropolitana

‐ Despliegue áltamente flexible

Detección de movimientoSegmento 3: Red de Distribución de 

Alarmas

‐ Soporte a especialistas humanos

‐ En tiempo real y en movilidad

Con video en streaming bajo 

demanda

Segmento 2: Centro de control

‐ Recogida e integración de datos

‐ Interfaz para operadores

‐ Detección de alarmas

Procesado por tres motores de 

inferencia diferentes y 

complementarios

Page 11: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Detección de Alarmas

Page 12: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Detección de Alarmas

Con el fin de minimizar el procesado en los  sensores/cámaras, al centro de control sólo se 

envían los parámetros de movimiento de los  objetos detectados

Las cámaras procesan las imágenes y extraen los  parámetros del movimiento

El centro de control aplica sobre esos datos los  algoritmos de detección de alarmas

Tres motores de procesado en paralelo: –

Semántico

Estadístico–

Fusión de datos

Page 13: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Detección de Alarmas

Detección de alarmas basada en análisis  semántico:

Se basa en la utilización de los parámetros de  movimiento de los objetos (lugares, velocidades, 

tamaño, etc.) para construir un modelo de  “caminos, fuentes y sumideros”

del escenario 

vigilado:•

Caminos son las zonas de la imagen por las que 

habitualmente transitan objetos

Fuentes y sumideros son las zonas de la imagen por las  que habitualmente aparecen/desaparecen objetos

Page 14: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Detección de Alarmas

CENTRO DE CONTROL

CámaraIdentificación 

de Objetos 

móviles

Raw 

Pixel 

Data

JENAFramework 

Semántico

Preprocesad

oRazonador 

Semántico

Caracterización 

Semántica de escena

Identificación 

de Caminos

SENSOR

Modelo de 

Caminos

XML

Objetos 

Enriquecido

XML/Objetos

Aprendizaje Operación

Ontología

Page 15: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Detección de Alarmas•

Identificación de caminos:–

Se estudian las trayectorias de los objetos móviles. 

Aquellas que aparecen de forma recurrente se  consideran caminos

Identificación de fuentes/sumideros–

Se almacenan los puntos en los que aparecen y 

desaparecen los objetos. El conjunto de puntos  obtenido se procesa con un algoritmo de clustering. 

Las áreas de la escena contenidas en cada cluster son  las fuentes/sumideros

Los caminos en condiciones normales unen  fuentes y sumideros

Page 16: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Detección de Alarmas

Page 17: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Detección de Alarmas•

Interpretación semántica:–

La ontología es un modelo de conocimiento específico 

de un dominio dado (tráfico, control de personas,  etc.)

Se especifican clases de objetos y las relaciones entre ellos. 

Ej.: Se define la clase “persona”

y las relaciones “es padre de”, 

“es hijo de”, “es hermano de”

y “es tío de”. El individuo “Juan”

de 

la clase persona puede estar relacionado con el individuo “Pedro”

de la misma clase a través de la relación “es hijo de”.

Se puede razonar sobre la ontología para extraer  información implícita

Si “Juan”

es hijo de “Pedro”, y “Pedro”

es hermano de “Javier”, 

un razonador semántico puede determinar que “Javier”

es tío de 

“Juan”

y “Pedro”

es padre de “Juan”.

Page 18: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Detección de Alarmas

Page 19: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Detección de Alarmas•

Interpretación semántica:•

Dependiendo de las características de los objetos, y de 

acuerdo a cómo define la ontología de cada dominio, a los  caminos, fuentes/sumideros y objetos se les va asignando  un significado (semántica).

Por ejemplo, en el dominio del tráfico:

Dependiendo de su velocidad y tamaño medios, un objeto será

un 

coche o un peatón

Dependiendo de la velocidad media de los objetos que circulan 

por un camino, el camino será

una calzada o una acera

Una zona de intersección entre calzada y acera será

un paso de 

peatones

Una fuente y sumidero puede ser el extremo de la imagen, la 

puerta de un garaje, o un semáforo (los coches parados dejan de  considerarse objetos en movimiento)

Page 20: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Detección de Alarmas

Detección semántica de  alarmas:

La ontología especifica  igualmente las 

condiciones de las  alarmas:

Un objeto se identifica  por tamaño y velocidad  media como un coche.

Está

parado en una acera  ‐> salida de vía

Page 21: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Conclusiones

Page 22: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Conclusiones

El sistema de videovigilancia presenta varias  ventajas que permiten un despligue a gran 

escala en un área metropolitana:–

Coste contenido de los sensores (baja capacidad 

de procesado)

Red de tipo malla

Detección y distribución automatizada de alarmas

Page 23: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Conclusiones

El sistema de detección de alarmas basado en  semántica presenta ventajas:

Modelo de conocimiento detallado del dominio:  las alarmas se disparan a través de conceptos con 

significado, existe gran cantidad de información  sobre las mismas

Información de alto nivel, entendible por  especialistas humanos, que permite bajar el 

tiempo de respuesta–

Permite la implementación de lógica semántica 

para automatizar respuestas a alarmas

Page 24: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Conclusiones

…Pero también desventajas:–

El modelo de conocimiento tiene que estar 

implementado por un humano–

La eficiencia del sistema depende de la calidad del 

modelo–

La capacidad de respuesta del sistema se limita a los 

dominios modelados•

Si la ontología modela el dominio de los accidentes de 

tráfico, el sistema no puede detectar actos de vandalismo

La combinación de este motor de detección con  otros complementarios permite sobreponerse a  estas desventajas

Page 25: SISTEMA DE DETECCIÓN DE ALARMAS DE VIDEOVIGILANCIA BASADO EN ANÁLISIS SEMÁNTICO

Sistema de Detección de  Alarmas de Videovigilancia 

Basado en Análisis  Semántico

Carlos Baladrón ZoritaUniversidad de [email protected]