Upload
jose-ramon-cerquides-bueno
View
164
Download
4
Embed Size (px)
Citation preview
Sistema Inteligente de
Reconocimiento de Anuncios
de Televisión
Autor: José Javier Alcántara Armenteros
Tutor: José Ramón Cerquides Bueno
Trabajo Fin de Grado
Grado en Ingeniería de las Tecnologías de Telecomunicación
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Sistema Inteligente de Reconocimiento de Anuncios
de Televisión
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
• Introducción
• Video Fingerprinting
• Descripción del sistema
• Implementación
• Pruebas y conclusiones
Introducción
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
• Reconocer anuncios durante una emisión de
televisión en tiempo real ingestada como streaming
• Programa en lenguaje C sira-tv
• Informe: momento de emisión y duración del anuncio
• ¿Qué aplicaciones puede tener?
Verificación del cumplimiento de acuerdos entre
anunciantes y cadenas
Explotación de este medio de cara a las nuevas tecnologías
e Internet
Estudio de la competencia y mercado
Objetivo
Sistema Inteligente de Reconocimiento de Anuncios
de Televisión
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
• Introducción
• Video Fingerprinting
• Descripción del sistema
• Implementación
• Pruebas y conclusiones
Video Fingerprinting
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
¿En qué consiste?
• Fingerprint huella digital identificativa
• Sistema basado en Video Fingerprinting:
Extracción de huella: características perceptuales
Estrategia de base de datos: búsqueda y comparación
• Propiedades deseadas:
- Robustez
- Discriminabilidad
- Sencillez
- Precisión
- Eficiencia
- Granularidad
- Escalabilidad
- Versatilidad
- Seguridad
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Sistema completo
• Incluye además:
Detección previa del anuncio en el streaming
Autoaprendizaje de nuevos anuncios
Sistema Inteligente de Reconocimiento de Anuncios
de Televisión
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
• Introducción
• Video Fingerprinting
• Descripción del sistema
• Implementación
• Pruebas y conclusiones
Descripción del sistema
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Detección de anuncios
• Entre 5 y 12 frames monocromáticos negros introducen cada
segmento de vídeo en la señal de TV posible anuncio
• Frame monocromático negro si:
Al menos el 92% de sus píxeles son negros
Un píxel es negro si su valor es como máximo 18 de 256 niveles
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Extracción de huella
• A partir del primer frame no negro con baja resolución
(32x32 píxeles) del posible anuncio:
1) Obtención del plano de luminancia
2) Transformada Discreta del Coseno 2-D
3) Reordenanción en un vector de 1024 elementos
4) Codificación binaria:
- Elementos ≥ ‘0’ ‘1’
- Elementos < ‘0’ ‘0’
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Estrategia de bases de datos
• Antes de la monitorización: se generan las huellas de la base
de datos de vídeos o se cargan en memoria si ya existen
• Tras detección y cálculo de huella: recorremos la base de
datos comparando la huella calculada con todas las demás
• Criterio de igualdad distancia hamming
1) Operación XOR entre las dos huellas
2) Suma de bits: valor comprendido entre 0 y 1024
Estrategia de bases de datos
• Resultado de la comparación:
distancia hamming < 18% vídeo candidato
• Una vez se ha buscado en toda la base datos puede haber:
Un solo candidato anuncio encontrado
Varios o ningún candidato segundo criterio:
• Se extrae una segunda huella a partir del frame un
segundo después del primer frame no negro
• Se vuelve a buscar en la base de datos:
Uno/varios candidatos anuncio encontrado
Ningún candidato anuncio no
encontrado
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Almacenamiento y autoaprendizaje
• Cuando nos encontramos ante un anuncio no encontrado lo
clasificaremos según la duración del segmento de vídeo:
Anuncio desconocido duración mayor a 30 s
Programación en otro caso
• En ambos casos se escribe en disco el segmento de vídeo
para posterior detección humana. Podremos:
Detectar errores
Actualizar la base de datos: autoaprendizaje
• También se podrán escribir en disco los frames que
originan las huellas así como las huellas mismas como
imágenes binarias
Sistema Inteligente de Reconocimiento de Anuncios
de Televisión
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
• Introducción
• Video Fingerprinting
• Descripción del sistema
• Implementación
• Pruebas y conclusiones
Implementación
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Entorno de trabajo
• Sistema Operativo
• Plataforma de desarrollo
• Pruebas
• Herramienta principal
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Parámetros de entrada y salida
• Parámetros de entrada obligatorios:
channel texto indentificativo del canal de TV
id identificador abreviado
source ruta/URL del flujo de entrada
dirbbdd rutas a las bases de datos
format formatos de vídeo a cargar
• Parámetros de entrada adicionales:
help permite mostrar ayuda de uso
spotlenght duración para considerar anuncios
output ruta de fichero para generar informe
saveframes permite volcar frames a disco
savefingerprints permite guardar imágenes binarias
• Informes de salida:
Estado de la monitorización
Resultado de la ejecución
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Gestión de procesos y memoria
• Hilos
• Buffers
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Módulos funcionales
Sistema Inteligente de Reconocimiento de Anuncios
de Televisión
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
• Introducción
• Video Fingerprinting
• Descripción del sistema
• Implementación
• Pruebas y conclusiones
Pruebas y conclusiones
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Pruebas más importantes
• Ingesta de streaming
• Huellas
• Detección de anuncios
• Comparación de huellas
• Codificación de segmentos
• Memoria
Decodificación
Microcortes
Entorno local
Implementación
Almacenamiento
Sincronización
Formatos
Umbrales de negro
Vídeos corruptos
Hilos
Buffers
Testeo
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
• Estructura de directorios necesaria:
• Emitimos streaming de TV localmente con VLC Media Player y
monitorizamos
Demostración de funcionamiento
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Demostración de funcionamiento
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Detección humana
• Análisis posterior de segmentos y frames volcados a disco
• Necesario debido a la posibilidad de:
Sobresegmentación de programación
Anuncios desconocidos con duración mayor a 30 s
Anuncios conflictivos:
diferencias
significativas
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
Futuras implementaciones
• En desarrollo:
Ingesta de varios streamings en paralelo
Información de salida subida a bases
de datos en la nube en tiempo real
• Se estudian posibilidades como:
Codificar marcas de tiempo en el canal de subtítulos
Combinación de Sistemas de Audio y Video
Fingerprinting
Sistema Inteligente de Reconocimiento de Anuncios
de Televisión
Dep. Teoría de la Señal y Comunicaciones
Escuela Técnica Superior de Ingenieros
Universidad de Sevilla
PREGUNTAS