Upload
dinhliem
View
213
Download
0
Embed Size (px)
Citation preview
Tecniche di annotazione per contenuti
multimediali
Tecniche di annotazione per contenuti multimediali
Sommario
� Introduzione
� Annotazioni Audio
� Annotazioni di Immagini
� Annotazioni di Video
2
Applicazioni Informatiche
� Annotazioni di Video
Tecniche di annotazione per contenuti multimediali
Sommario
� Introduzione
� Annotazioni Audio
� Annotazioni di Immagini
� Annotazioni di Video
3
Applicazioni Informatiche
� Annotazioni di Video
Introduzione
Librerie Digitali
� Una libreria digitale è
• Un collezione di oggetti informativi
• Una collezione di servizi che supportano
– gli utenti nella gestione di oggetti informativi
4
Applicazioni Informatiche
– gli utenti nella gestione di oggetti informativi
– le organizzazioni nella presentazione di questi oggetti
direttamente o indirettamente attraverso canali elettronici/digitali
DLib Working Group on Digital Library
Introduzione
Dati delle librerie musicali
� Dati: i file digitali memorizzati• Testo (e-book, documenti Word, pagine Web,
PDF, Blog, etc.)
• Audio
– Parlato (broadcasting, podcasting, registrazioni, etc.)
5
Applicazioni Informatiche
etc.)
– Musica (CD, MP3, etc.)
• Immagini/Photo: collezioni di pixel
• Video: sequenze di immagini + audio (musica e/o parlato)
Introduzione
Attività associate a una libreria digitale
� Memorizzazione e “conservazione” dei dati in formato elettronico• Trasformazioni (digitalizzazione di libri, foto,
etc.)• Cambi di formato
� Reperimento dei contenuti e creazione di interfacce per la ricerca dei dati
6
Applicazioni Informatiche
interfacce per la ricerca dei dati
� Estrazione e/o generazione dei metadati (o annotazioni)
� Gestione copyright, etc.
Introduzione
Cose’è un metadato?
� I metadati sono dati relativi ai dati• Descrivono in modo strutturato
proprietà dei dati
– Esempio: creatore, proprietario, data di creazione, modifica, descrizione
� Alcuni metadati sono presenti in modo
7
Applicazioni Informatiche
� Alcuni metadati sono presenti in modo esplicito nei dati• Esempio: dimensione file, nome, etc.
� Altri sono impliciti e sono estratti tramite algoritmi di analisi dei dati
Introduzione
Utilità dei metadati
� I metadati servono per• Migliorare le ricerche interrogando non
solo i dati ma anche i metadati
– I metadati spesso contengono delle informazioni che sono contenute in forma implicita nei dati
• Facilitare lo scambio di informazioni tra
8
Applicazioni Informatiche
• Facilitare lo scambio di informazioni tra sistemi diversi
– Se si utilizzano gli stessi metadati o metadati “compatibili”
- Esempio: formati XML (MPEG7, Dublin Core, etc.)
Introduzione
Perché annotare contenuti multimediali?
� I computer non sono in grado di comprendere il significato di un contenuto multimediale• Un calcolatore, a differenza di un
essere umano, non può comprendere che questa immagine rappresenta un tramonto
9
Applicazioni Informatiche
rappresenta un tramonto• Pixel e campioni audio non portano
semantica, ma solo informazione binaria
� E’ necessario produrre rappresentazioni trattabili da un calcolatore• Esempio: testo o numeri
Introduzione
Perché annotare automaticamente contenuti multimediali?
� L’annotazione manuale di oggetti multimediali è un processo• Costoso
– Esempio: la segmentazione manuale di un video richiede circa 10 ore di lavoro per 1 ora di video
– Le collezioni multimediali possono anche contenere milioni di oggetti
• Incompleto o inaccurato– un utente può non essere in grado di cogliere tutti i
significati associati ad un oggetto multimediale
10
Applicazioni Informatiche
– un utente può non essere in grado di cogliere tutti i significati associati ad un oggetto multimediale
– “una immagine vale più di mille parole!”• Difficoltoso
– Alcuni contenuti sono difficili da descrivere a parole- Esempio: una melodia senza accompagnamento vocale
e con una struttura irregolare
� Le tecniche di annotazione automatica consentono di creare annotazioni di buona qualità e a “basso” costo
Introduzione
Esempi di utilizzo di annotazioni multimediali
� Archiviazione• Gestione efficiente di grosse collezioni di dati
multimediali• Aggregazione di contenuti in insiemi coerenti
per significato
– Esempio: insieme delle canzoni di genere “Indie”
� Ricerca
11
Applicazioni Informatiche
� Ricerca• Trovare tutti i contenuti aventi la stessa
annotazione
– Esempio: cercare tutte le puntate dei Simpson in cui viene pronunciata la parola “ciambella”
Introduzione
Esempi di utilizzo di annotazioni multimediali
� Comparazione• Identificazione di contenuti MM equivalenti
– Esempio: Protezione del brand e della proprietà intellettuale
• Individuazione di contenuti simili
– Esempio: trovare abiti aventi lo stesso tipo di tessuto e colore
12
Applicazioni Informatiche
tessuto e colore
Tecniche di annotazione per contenuti multimediali
Sommario
� Introduzione
� Annotazioni Audio
� Annotazioni di Immagini
� Annotazioni di Video
13
Applicazioni Informatiche
� Annotazioni di Video
Audio
Segmentazione
� OBIETTIVO: dividere una traccia audio in segmenti omogenei al fine di determinare il loro tipo• Musica• Parlato• Rumore• Musica e parlato
14
Applicazioni Informatiche
• Musica e parlato• …
� Possibili utilizzi• Miglioramento performance di altre
tecnonologie di annotazione (es. parlato, musica)
• Meccanismi di accesso al contenuto di un video• Rimozione o identificazione pubblicità
Audio
Segmentazione - Esempio 15
Applicazioni Informatiche
CREDITS: Thorsten Hermes@SSMT2006
Audio
Identificazione dello speaker
� OBIETTIVO: identificare automaticamente gli individui che prendono parte ad una conversazione
16
ERIC
DAVID
JOHN
Applicazioni Informatiche
� UTILIZZI:• Meccanismi di ricerca e catalogazione
– Esempio: trova tutte le registrazioni in cui viene intervistato X
• Individuazione di un parlatore in video-conferenze
• Esecuzione di comandi vocali
JOHN
Audio
Word spotting
� OBIETTIVO: riconoscere automaticamente dal parlato parole appartenenti a un vocabolario chiuso
17
Call
Open
Bomb
Applicazioni Informatiche
� UTILIZZI:• Riconoscere parole specifiche nel parlato
spontaneo– Esempio: blacklist words (attack, bomb,…)
• Esecuzione di comandi vocali• Controlli di accesso (password vocali),
possibilmente combinato con il riconoscimento del parlatore
Audio
Speech to text
� OBIETTIVO: riconoscere automaticamente dal parlato parole appartenenti ad un dizionario completo
18
Applicazioni Informatiche
� UTILIZZI:• Trascrizione automatica• Meccanismi di ricerca e catalogazione
– Esempio: trova tutti i video in cui qualcuno pronuncia la parola “ciambelle”
Audio
Trascrizione automatica del parlato - Esempio 19
Applicazioni Informatiche
CREDITS: Thorsten Hermes@SSMT2006
Audio
Identificazione di eventi sonori
� OBIETTIVO: identificare automaticamente nell’audio la presenza di eventi sonori significativi• Esempio: spari, urla
� UTILIZZI:• Meccanismi di ricerca e catalogazione
20
Applicazioni Informatiche
• Meccanismi di ricerca e catalogazione• Creazione di sommari automatici
CREDITS: Thorsten Hermes@SSMT2006
Audio
Identificazione di eventi sonori 21
Applicazioni Informatiche
CREDITS: Thorsten Hermes@SSMT2006
Audio
Classificazione di generi musicali
� OBIETTIVO: identificazione automatica del genere musicale di una data canzone• Rock, pop, Jazz, Blues, etc.
22
Rock
Dance!
Applicazioni Informatiche
� UTILIZZO:• Meccanismi di ricerca e catalogazione
– Esempio: trova tutte le canzoni Pop nella collezione musicale
• Selezione automatica di canzoni in una playlist
Audio
Individuazione di strumenti
� OBIETTIVO: identificazione automatica degli strumenti utilizzati per l’esecuzione di una canzone• Batteria, chitarra elettrica, chitarra acustica,
pianoforte, etc.
23
Applicazioni Informatiche
� UTILIZZO:• Meccanismi di ricerca e catalogazione• Input per algoritimi di identificazione del genere
Audio
Caratteristiche ritmiche
� OBIETTIVO: identificazione automatica delle caratteristiche ritmiche di una data canzone• Esempio: BPM
24
Applicazioni Informatiche
� UTILIZZO:• Ricerca e catalogazione• Nike+ per iPod• Composizione automatica di playlist
Audio
Caratteristiche di struttura
� OBIETTIVO: segmentare automaticamente una canzone nelle sue componenti strutturali• Intro• Chorus• Outro• Etc..
25
Applicazioni Informatiche
� UTILIZZO:• Ricerca e catalogazione• Composizione automatica di playlist• Tecniche avanzate di navigazione nel file
musicale
Tecniche di annotazione per contenuti multimediali
Sommario
� Introduzione
� Annotazioni Audio
� Annotazioni di Immagini
� Annotazioni di Video
26
Applicazioni Informatiche
� Annotazioni di Video
Immagini
Estrazione feature di basso livello
� OBIETTIVO: estrarre caratteristiche implicite di una immagine� Luminosità� Colore dominante� Orientamento dell’immagine� Presenza di tessiture
27
Applicazioni Informatiche
� UTILIZZO:� Classificazione e ricerca (anche per
similarità)� Input per successivi algoritmi di analisi
Immagini
Segmentazione testo/immagine di documenti
� OBIETTIVO: identificare la tipologia di contenuto di una immagine� testo/immagine� Sezioni di una immagine
28
Applicazioni Informatiche
� UTILIZZO:� Classificazione e ricerca� Input per successivi algoritmi di analisi
delle immagini
Immagini
Optical character recognition (OCR)
� OBIETTIVO: convertire le parole contenute all’interno di una immagine nel corrispondente testo• Digitializzazione di testi
cartacei• Estrazione di testo da
fotografie– Targhe, sottotitoli, etc.
29
Applicazioni Informatiche
– Targhe, sottotitoli, etc.
� UTILIZZO: • Meccanismi di ricerca e
catalogazione– Esempio: trova tutte le
immagini in cui appare la targa X
• Meccanismi di archiviazione digitale
Immagini
Riconoscimentoedidentificazionedivolti
� OBIETTIVO: riconoscere e identificare I volti presenti all’interno di una immagine
� UTILIZZO:• Conteggio di persone• Applicazioni di sicurezza• Ricerca e catalogazione
30
Applicazioni Informatiche
• Ricerca e catalogazione
CREDITS: Thorsten
Hermes@SSMT2006
Immagini
Riconoscimento ed identificazione di volti 31
Applicazioni Informatiche
Immagini
Riconoscimento ed identificazione di volti 32
Applicazioni Informatiche
CREDITS: Thorsten Hermes@SSMT2006
Tecniche di annotazione per contenuti multimediali
Sommario
� Introduzione
� Annotazioni Audio
� Annotazioni di Immagini
� Annotazioni di Video
33
Applicazioni Informatiche
� Annotazioni di Video
Immagini
Riconoscimento di persone
� OBIETTIVO: riconoscimento di persone all’interno di una immagine
� UTILIZZO:• Conteggio di persone
34
Applicazioni Informatiche
• Conteggio di persone• Applicazioni di sicurezza
(riconoscimento di situazioni potenzialmente “critiche”)
• Ricerca e catalogazione– Trova tutte le immagini che
contengono folle dipersone
Immagini
Riconoscimento di oggetti
� Obiettivo: identificare e registrare gli oggetti che compaiono in una immagine• Palleda tennis, calcio, basket, etc.• Automobili
� Possibili utilizzi• Archiviazione e ricerca• Sicurezza
35
Applicazioni Informatiche
• Sicurezza• Aiuti visuali per gli spettatori
Immagini
Riconoscimento di oggetti attraverso esempi
� Obiettivo: identificare degli oggetti in una immagine dato un esempio• Riconoscimento indipendente da
posizione dello scatto,distanza etc.
36
Applicazioni Informatiche
� Possibili utilizzi• Archiviazione e ricerca• Identificazione di contenuti MM
equivalenti
– Esempio: Protezione del brand e della proprietà intellettuale
Video
Motion identification
� Obiettivo: identificare movimenti della camera durante la registrazione di una scena• Zoom• Rotazione• Panoramica (orizzontale o
verticale)
37
Applicazioni Informatiche
verticale)
� Possibili utilizzi• Identificazione automatica
di tecniche di regia• Riconoscimento di registi• Input per algoritmi di
segmentazione
CREDITS: Thorsten Hermes@SSMT2006
Video
Motion identification 38
Applicazioni Informatiche
CREDITS: Thorsten Hermes@SSMT2006
Immagini
Inseguimento di oggetti
� OBIETTIVO: riconoscimento di un oggetto all’interno di un video• Persone• Palle da tennis, calcio, basket,
etc.• Automobili
� UTILIZZO:• Riconoscimento del movimento
39
Applicazioni Informatiche
• Riconoscimento del movimento delle persone
• Applicazioni di sicurezza (riconoscimento di comportamenti “sospetti”)
• Ricerca e catalogazione– Trova tutte le immagini che contengono
folle di persone
• Aiuti visuali per gli spettatori• On-line gaming• Tactics analysis
Immagini
Riconoscimento del movimentodellepersone
� Obiettivo:riconoscere il tipo di movimento effettuato da una persona• Camminare• Correre• Cadere
� Possibili utilizzi• Applicazioni di sicurezza (riconoscimento di
comportamenti “sospetti”)
40
Applicazioni Informatiche
• Applicazioni di sicurezza (riconoscimento di comportamenti “sospetti”)
• Ricerca e catalogazione
Video
Segmentazione – Fotogrammi chiave
� OBIETTIVO: dividere una traccia video in funzione dei suoi fotogrammi chiave• Compressione• Temporalmente equidistanti
� Possibili utilizzi• Sommario del video• Analisi dei fotogrammi chiave per annotazioni
41
Applicazioni Informatiche
• Analisi dei fotogrammi chiave per annotazioni su immagini
Video
Segmentazione – Riprese
� OBIETTIVO: dividere una traccia video in segmenti dove la ripresa della camera è ininterrotta
• Transizioni instantanee• Fades• Uno shot ha lunghezza minore o
uguale ad una scena• Una scena può contenere più shot
� Possibili utilizzi• Sommario del video• Estrazione di keyframe
42
Applicazioni Informatiche
• Estrazione di keyframe• Composizione “semantica” di video (manuale o
automatica)
Video
Esempi di segmentazione – Riprese 43
DISSOLVE HARD CUT
Applicazioni Informatiche
DISSOLVE HARD CUT
FADE-IN FADE-OUT
CREDITS: Thorsten Hermes@SSMT2006
Video
Segmentazione - Scene
� Obiettivo: dividere una traccia video in segmenti che riguardano una azione coerente• Master scene• Flashback scenes• Introduction scenes• …
� Possibili utilizzi
44
Applicazioni Informatiche
� Possibili utilizzi• Sommario del video• Composizione “semantica” di video (manuale o
automatica)
Video
Video OCR
� Obiettivo: estrarre testo da filmati• Titoli introduttivi• Titoli di coda (attori, registi etc.)• Sottotitoli• Nome di luoghi, persone, fatti etc.• Data/ora registrazione
� Possibili utilizzi
45
Applicazioni Informatiche
� Possibili utilizzi• Indicizzazione per ricerca testuale
Video
Video Summarization
� Obiettivo: creare automaticamente una versione compatta di un filmato, capace di trasmetterne sintenticamente il suo contenuto• Composizione “intelligente” di segmenti eterogenei
� Come?• Segmentazione
46
Applicazioni Informatiche
– Video
– Audio
� Possibili utilizzi• Trailers di film• Preview• Pubblicità
CREDITS: Thorsten Hermes@SSMT2006
Tecniche di annotazione per contenuti multimediali
References
� Slides del corso di “Archivi Multimediali e Data Mining”, Politecnico di Torino, Prof. Silvia Chiusano
� Slides e video delle lezione tenute dal Prof. Thorsten Hermes presso la summer school SSMS 2006
47
Applicazioni Informatiche