Encontrar material AV con contenido correspondiente a algunos
keywords
Descripcin semntica
Encontrar material AV con contenido correspondiente a una
semntica especificada
Audio: unas notas musicales (caractersticas de rtmo y
meloda)
Encontrar la correspondiente pieza musical o pelcula.
Video: trayectoria de movimiento (caractersticas de video de
bajo nivel)
Encontrar video con una trayectoria de un objeto especfica
(e.g. movimientos similares de jugadores de futbol)
8. Tipos de peticiones
Una imagen como ejemplo:
Encontar una imagen con caractersticas globales o locales
similares.
9. Descripcin de contenido
Informacin acerca del contenido
Ttulo, autor, derechos de autor, condiciones de acceso,
perfiles, formato de cdigo, gnero, enlaces a material relacionado,
etc.
Informacin presente en el contenido.
Caractersitcas de bajo nivel que permiten la extraccin
automtica tal como: (Video) color, textura, forma, posicin,
movimiento, y (Audio) tiempo, timbre, emocin, etc.
Caractersticas de alto nivel (semntica) relacionadas a la
interpretacin del contenido: un nio recogiendo flores para su madre
mientras el perro juega a su alrededor, Un crepsculo hermoso visto
desde la orilla de una baha, etc.
10. Aplicaciones
Tocar unas cuantas notas en un teclado y obtener una lista de
las piezas musicales similares al tono requerido, o imgenes que
contengan las notas en cierta manera, e.g. en trminos de
emocin.
Dibujar unas cuantas lneas en la pantalla y obtener un grupo de
imgenes que contengan grficos similares.
Describir acciones y obtener una lista de escenarios
conteniendo esas acciones.
Usando un extracto de la voz de Pavarotti, se puede obtener una
lista sus grabaciones, video clips y material fotogrfico.
11. Tipos de aplicaciones
Aplicaciones tipo Pull: Explorar y buscar
Motores de bsqueda para internet y base de datos multimedia en
internet.
Motores de bsqueda que trabajen con descripciones
estandarizadas.
Aplicaciones tipo Push : Filtrado y seleccin automtica
Agentes inteligentes que filtren descripciones
estandarizadas.
Agentes inteligentes que tomen decisiones basados en
descripciones estandarizadas.
12. reas de aplicacin
Seleccin de material multimedia de difusin (e.g. radio,
TV)
Arquitectura y diseo de interiores (e.g. para buscar nuevas
ideas)
Servicios culturales (museos de historia, galeras de arte,
etc)
Bibliotecas digitales (e.g. catlogo de imgenes, diccionario de
msica, etc)
E-Commerce (e.g. publicidad personalizada, catlogos en lnea,
etc)
Educacin (e.g. Bsqueda multimedia de material de estudio)
Edicin multimedia (e.g. servicio de noticias
personalizadas)
13. Revisin del MPEG-7
Introduccin: Objetivo del MPEG-7
Alcance del MPEG-7
Componentes del MPEG-7
Conclusiones
14. Alcance del MPEG-7
La generacin de la descripcin (extraccin de caractersticas,
indexar procesos, herramientas de anotaciones, etc.) y consumo
(motores de bsqueda, herramientas de filtrado, dispositivos de
exploracin, etc), son partes no normadas del MPEG-7.
El objetivo es definir lo mnimo que garantice
interoperabilidad.
Description consumption Description Description generation Scope of
MPEG-7 Research and future competition
15. Flujo de informacin
El contenido y su descripcin pueden ser multiplexados
16. reas de trabajo del MPEG-7 Descriptors: (Sintaxis y
semntica de la representacin de caracterstica) D7 D2 D5 D6 D4 D1 D9
D8 D10 D3 Tags < scene id=1> < time> .... <
camera>.. < annotation Instantiation 10101 1 0 Encoding &
Delivery Language Description Definition extension Definition
Description Schemes D1 D3 D2 D5 D4 D6 DS2 DS3 DS1 DS4
Structuring
17. Partes del MPEG-7
ISO / IEC 15938 - 1: Sistemas
ISO / IEC 15938 - 2: Description Definition Language
ISO / IEC 15938 - 3: Visual
ISO / IEC 15938 - 4: Audio
ISO / IEC 15938 - 5: Multimedia Description Schemes
ISO / IEC 15938 - 6: Software de referencia
ISO / IEC 15938 - 7: Conformance
ISO / IEC 15938 - 8: Extraccin y utilizacin
18. MPEG-7: El Plan de trabajo
Competicin:
Trabajo individual
Definicin de los alcances y los requerimientos
2001 2000 1999 1998 1996
Colaboracin:
Trabajo comn
Experimentacin
Modelo experimental
Requerimientos
Call for proposals Working draft Committee draft Draft
international standard Final committee draft International
standard
19. Revisin del MPEG-7
Introduccin: Objetivo del MPEG-7
Alcance del MPEG-7: partes y plan de trabajo
Componentes del MPEG-7
Herramientas de descripcin
Description Definition Language
Herramientas de sistema
Software de referencia
Conclusiones
20. Componentes del MPEG-7
Herramientas de descripcin
Descriptores
Esquemas de decripcin
Description Definition Language
Definicin de herramientas de descripcin y extensiones
Descripciones textuales codificadas (XML)
Herramientas del sistema
Arquitectura de terminal
Descripciones binarias codificadas (BiM)
Software de referencia
21. Herramientas de descricpcin del MPEG-7 Esquemas de
descripcin (estructura) and Descriptores (caractersticas)
22. Elementos bsicos Estructuras matemticas y tipos de datos
Anotacin textual Trminos, trminos controlados, y esquemas de
clasificacin Lenguaje, persona y lugar Informacin temporal
Localizador de media Identificador nico Referencia
23. Herramientas de esquema Mpeg7Main and Mpeg7Unit Video,
Audio, Imagen, Descripcion de contenido, Contenido Administracin,
coleccin, usuario Estructurado en pa- quetes o carpetas para
motores de bsqueda y aplicaciones
24. Administracin de contenido Ttulo, creador, gnero, tema,
idioma Revisin de media Material relacionado Aspectos financieros
Periodos de disponibilidad Compresion, codificacin y
almacenamiento
25. Descripcin del contenido Estrucutura espacial-temporal Ds
de bajo nivel audio, y video anotaciones textuales (semntica
elemental Objetos y eventos Conceptos abstractos Relaciones
26. Descripcin del contenido: descriptores audiovisuales de
bajo nivel
Color
Camera motion
Motion activity
Mosaic
Color
Motion trajectory
Parametric motion
Spatio-temporal shape
Color
Shape
Position
Texture
Video segments Still regions Moving regions Audio segments
Spoken content
Spectral characterization
Music: timbre, melody
27. Navegacin y acceso Soporte eficiente para descubrimiento,
exploracin, navegacin, visualizacin. Modos jerrquicos Descomposicin
en espacio-tiempo y en frecuencia Resmenes Adaptacin al terminal, a
la red o a las preferencias de usuario
28. Organizacin de contenido Contenidos de grupos AV, segmento,
eventos u objetos dentro de grupos de coleccin. Elementos de
propiedades comunes Herramientas para el modelamiento de atributos
y caractersticas del contenido AV. Modelos probabilsticos y
analticos
29. Interaccin de usuario Identificacin de usuario para un
acceso, presentacin y consumo del contenido AV Historial del
consume del contenido AV por un usuario durante un periodo de
tiempo Ayuda a determinar las preferencias de usuario
30. Uso de las herramientas de descripcin
Librera de herramientas de descripcin estandarizadas.
El DDL puede ser utilizado para manejar necesidades especficas
de la aplicacin.
Extensiones: Herramientas de descripcin de aplicacin.
31. DDL del MPEG-7
... un lenguaje que permite la creacin de nuevos esquemas de
descripcin, y posiblemente, descriptores. ste permite adems la
extensin y modificacin de los esquemas de descripcin
existentes.
Description Definition Language:
Definicin de los Ds y DSs:
Esquema XML (Estructura y tipo de datos) + extensiones
MPEG-7
Permite definir nuevas entidades.
32. Sistemas del MPEG-7
Las herramientas del sistema permiten:
Transporte y almacenamiento eficiente de descripciones
MPEG-7
Binarizacin del DDL para transporte y entrega Error
resilience
Sincronizacin entre descripcin y contenido
Administracin y proteccin de la propiedad intelectual
(IPMP)
33. MPEG-7 Arquitectura de terminal
Entidad que hace uso de las descripciones MPEG-7
Capa de entrega
sincronizacin
multiplezacin
Corrientes elementales
Unidades de acceso
Capas de compresin
informacin de esquema
informacin de descricpcin
34. MPEG-7 eXperimentation Model (XM)
XM: Software de referencia MPEG-7
Plataforma de simulacin para los Ds, DSs, CSs, y DDL del
MPEG-7.
Componentes no normados
Aplicaciones servidore: extraccion
Aplicaciones cliente: Bsqueda y filtrado
35. MPEG-7 XM Architecture
36. Revisin del MPEG-7
Introduccin: Objetivo del MPEG-7
Alcance del MPEG-7
Componentes del MPEG-7
Conclusiones
37. Conclusiones
MPEG-7: Descripcin de contenido AV para interoperabilidad
Herramientas de descripcin: Descriptores y Esquemas de
Descripcion
Librera de heramientas de descripcin
Cubre un gran rango de necesidades genricas
Perfiles bajo consideracin
Description Definition Language:
Esquema XML Schema mas extensiones
Definicin de herramientas de descripcin MPEG-7
Formatos de codificacin
XML: formato textual (flexibilidad)
BiM: formato binario (eficiencia)
Otros:
Arquitectura de terminal, unidades de acceso, software de
referencia.