Lezione 1: Introduzione
Informatica e Produzione Multimediale
Docente: Umberto Castellani
INFORMAZIONI GENERALI
E-mail: [email protected] Pagina web:
http://www.sci.univr.it/~castella/teaching.html
Ricevimento:– Giovedì dopo lezione (luogo da definire)
Organizzazione del corso
Lezioni con proiezione di lucidi Esercitazioni in laboratorio
Materiale didattico:– “Comunicazione visiva digitale – fondamenti di eidomatica”,
D. Marini, M. Bertolo, A. Rizzo. Addison-Wesley– “Audio e multimedia” V. Lombardo, A. Valle. Apogeo– Dispense e siti web consigliati dal docente.– Materiale dello scorso anno:
http://profs.sci.univr.it/%7Ecastella/teaching.html
Scopo del corso
Approfondire i concetti fondamentali del multimedia
Approfondire i principi di elaborazione automatica di dati multimediali
Introduzione ai principali strumenti di elaborazione di dati multimediali
Programma del corso
Principi del multimedia Gestione ed elaborazione delle immagini Animazione 2D e 3D Principi di computer graphics Gestione ed elaborazione del video Gestione ed elaborazione dei suoni
Photoshop/Illustrator Art of Illusion Final Cut
Multimedia è bello?
Il multimedia è uno strumento fondamentale per la comunicazione:– nei sistemi distribuiti (i.e., reti di calcolatori)– nei sistemi interattivi
Il multimedia permette di ridurre la barriera che separa l’essere umano dal calcolatore
Comunicazione Multimediale
Con il multimedia è possibile organizzare forme di comunicazione che adottano i codici più vari: da quelli testuali a quelli simbolici.
Si parla di Comunicazione Multimediale (o Multi-modale) in cui i diversi media vengono aggregati per la creazione di messaggi ricchi e articolati.
Linguaggio Multimediale
Il multimedia costituisce una forma di linguaggio dotato di segni che assumono valore simbolico in relazione al significato che attribuiamo a ciò che osserviamo e al valore pragmatico degli scopi della comunicazione (es. interpretazione dei colori, segnali di pericolo, allarmi).
Il linguaggio multimediale è più indeterminato del linguaggio verbale e più variegato (es. opere d’arte).
Computabilità del multimedia
I dati multimediali sono diventati computabili: esistono dispositivi in grado di creare una rappresentazione numerica dei dati multimediali.
L’informatica è la disciplina di supporto alla elaborazione di dati multimediali (es. testi, immagini, suoni, video, etc.).
Sintesi e analisi multimediale
Con l’avvento dei calcolatori i dati multimediali assumono rappresentazioni digitaliSintesi: digitale ”analogico” Analisi: ”analogico” digitaleEs: immagini.
Esempio di sintesi
Title: Kong and the Bird
Author : Goro Fujita
http://www.pocketmovies.net/cat_8_0.html
Esempio di analisi
Autori: Roberto Marzotto e Michele Aprile
Umberto Castellani Interaction Design13
Image Based Modelling and Rendering
The Campanile Movie and The Matrixhttp://www.debevec.org/Campanile/
Algoritmi e sistemi per il multimedia
E’ possibile progettare e costruire algoritmi e sistemi di programmi che permettono di elaborare un insieme di dati multimediali.
Occorre cercare quali sono i dati primitivi e le funzioni che permettono di trasformarli.
Occorre controllare con precisione il comportamento e gli effetti di tali funzioni.
Rivoluzione digitale?
L’avvento del digitale ha completamente cambiato la ‘gestione’ dei dati multimediali
Ciclo di vita dei dati multimediali: prima molto frammentato.
Es. l’ immagine viene concepita, viene creata, viene mostrata, viene distribuita, viene archiviata, viene degradata.– Per ogni una di queste fasi si usavano strumenti
tecnici distinti.
Integrazione dei dati multimediali
Le varie fasi del ciclo di vita dei dati digitali vengono integrate mediante l’uso del calcolatore.
Unificazione tecnologica: i mezzi di produzione materiale sono compresenti sul calcolatore con software specialistico.
Le capacità che erano appannaggio di diversi specialisti sono incorporate nei software
Integrazione dei media
Il calcolatore non integra solo le diverse fasi del ciclo di vita di un singolo media.
Le diverse tipologie di dati multimediali convergono sul calcolatore sotto forma di dati digitali (es. testi, immagini, suoni, etc.).
Tecnici del software?
La difficoltà di usare il software per elaborare dati multimediali frena gli aspetti ‘creativi’ dell’esperto in comunicazione multimediale.
Attenzione all’usabilità del software. Lo scopo del corso è di apprendere i principi
e le basi del multimedia e approfondire le competenze tecniche per ridurre l’intermediazione di tecnici esperti di programmazione e di sistemi informatici.
Definizione di Multimedia
Multimedia: applicazioni che usano modalità multiple includendo testi, immagini, disegni (grafici), animazioni, video, audio (suoni e voce), e che prevedono la possibilità di una qualche interazione anche in ambienti distribuiti.
da “Fundamentals of Multimedia”, Z. Li and S. Drew - Prentice Hall.
Tecnologie Multimediali
PCs, DVDs, games, TV digitale, Web, wireless, mobile phones, palmari, GPS, etc.
La tendenza è di integrare questi dispositivi su singoli dispositivi multimediali (Es. smart phone), o interi ambienti (e.g, smart room, locative media) .
Cerca su Web
Augmented reality demo Image based retrieval demo Gesture recognition demo Xbox kinetic Smar room
Discipline multimediali
Elaborazione delle immagini Computer Graphics Human Computer Interaction (HCI) Computer Vision Data compression Reti di calcolatori Basi di dati
Applicazioni multimediali
Video teleconferenze E-learning Telemedicina Ambienti cooperativi Data retrival e Data mining Realtà Virtuale e Realtà Aumentata Applicazioni audio, riconoscimento del parlato Effetti speciali
Smart desk
http://vismod.media.mit.edu/vismod/demos/smartroom/
• 3D person tracking
• Face recognition
• Facial expression analysis
• Gesture, action and events analysis
• American Sigh Language
• Vision-steered audio input
• Transaural audio rendering
Espressioni facciali
http://xenia.media.mit.edu/~irfan/research/mimic.html
Le espressioni facciali sono “inseguite” e riprodotte da modelli (avatar) sintetici
Demo 1
Demo 2
Effetti speciali
The matrix (vedi anche “Campanile” e “VIPS demo”)