Upload
benciu-florin-valentin
View
8
Download
0
Embed Size (px)
DESCRIPTION
IOM_2_APsmallIOM_2_APsmallIOM_2_APsmallIOM_2_APsmallIOM_2_APsmallIOM_2_APsmallIOM_2_APsmallIOM_2_APsmallIOM_2_APsmall
Citation preview
–
curs 2
Anca Popescu - [email protected] – [email protected]
1 Universitatea Politehnica Bucuresti Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei 2013 - 2014
Cuprins
1. Modelul Interpretarii imaginii2. Modelul intelegerii si valorizarii vorbirii3. Fluxuri informationale umane4. Dispozitive I/O la sisteme om-masina5. Performante I/O la om6. Exemple de sisteme om-masina (ALADIN, KIM)7. Sisteme om-masina bazate pe voce
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
2
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
3
Modelul Interpretarii imaginii
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
4
Modelul intelegerii si valorizarii vorbirii
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
5
Fluxuri informationale la om
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
6
aparat comportare partener rata de date (kByte/s)
Tastatura intrare om 0.01
Maus intrare om 0.02
Intrare vorbire intrare om 0.02
scanner intrare om 200
Iesire vorbire iesire om 0.6
Imprimanta.... iesire om 1
Imprimanta laser iesire om 100
Afisare grafica iesire om 30.000
CPU iesire masina 200
Terminal de retea Intrare sau iesire masina 0.05
Terminal LAN Intrare sau iesire masina 200
Memorie optica memorie masina 500
Banda magnetica memorie masina 2.000
Discheta memorie masina 2.000
CD-ROM memorie masina 6.000
Dispozitive I/O la sisteme om-masina
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
7
Performante I/O la om
Organul uman Rata de date I/O (kByte/s)
Intarzierea I/O
Ureche 8000 – 60000 10Ochi: citire text 0.030 – 0.370 10Ochi: intelegerea de forme
125.000 10
Mana: Tastare 0.010 – 0.025 100Voce 0.003 – 0.015 100Pentru comparatie: ISDN
8000
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
8
Exemple (1) ALADIN – Ambient Lighting Assistance for an Ageing Population
: Dezvoltarea de sisteme preventive si de asistenta care sa permita persoanelor in varsta sa traiasca independente in propriile locuinte
: un sistem de iluminare adaptiv, capabil sa se adapteze la nevoile psiho-fiziologice ale unei persoane in varsta
: • Tendinte socio-demografice , rata natalitatii in scadere in societatiel vestice• Durata asteptata de viata in crestere datorita progresului tehnologic si inmedicina • Grup vulnerabil, cu dizabilitati• Programe europene de “active ageing” (imbatranire activa)• Programe similare: sisteme de securitate (prin senzori de miscare si pozitie);sisteme de compensare (alarme pentru activitati fizice, medicamentatie, etc); sisteme de asistare ambientala (AAL – ambient assisted living – monitorizarea starii de sanatate si a nivelului cognitiv prin observare continua)
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
9
Exemple (1) ALADIN – Ambient Lighting Assistance for an Ageing Population
Concept: Lumina are capacitatea de a imbunatati performantele cognitive si de a reduce influentele negative
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
10
Exemple (1) ALADIN – Ambient Lighting Assistance for an Ageing Population
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
11
Exemple (1) ALADIN – Ambient Lighting Assistance for an Ageing Population
Input
Psycho-Physiological Signals
Output
Light Parameters
Signal Processing and
Feature Extraction
Features
Signal Parameters
Controller Controller
Decision and
“Prediction”
Compute the New Light
Parameters
Co
mpa
rato
r
Target / Reference Values
Describe the desired “wellbeing” of the subject
Deviation
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
12
Exemple (1) ALADIN – Ambient Lighting Assistance for an Ageing Population Fuzzy
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
13
Exemple (2) Knowledge-driven Information Mining (KIM)
• Cautare la nivel semantic• Acces simplu la cunostinte si date• Descoperire interactiva de cunostinte• Partajarea informatiilor cu alti utilizatori• Interfete vizuale noi• Opereaza cu volume mari de date• Se adapteaza la utilizator si la scenariileformulate de acesta
• O colectie de algoritmi pentru extragerea detrasaturi primitive • Un algoritm de invatare automata (reteaBayesiana) pentru generarea imaginilor clasificate • Un sistem de management al bazelor de datepentru popularea cataloagelor de continut, semantica si cunostinte
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
14
Exemple (2) Knowledge-driven Information Mining (KIM)
Moduri de operare
• interogari semantice• permite explorarea unui volum mare de date
• explorarea continutului imaginilor• regasire probabilistica de informatii integrata cu invatare interactiva si clasificareaimaginilor
• extragerea de cunostinte, interpretarea si intelegerea structurilor si obiectelor
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
15
Exemple (2) Knowledge-driven Information Mining (KIM)
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
16
Exemple (2) Knowledge-driven Information Mining (KIM)
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
17
Exemple (2) Knowledge-driven Information Mining (KIM)
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
18
Sisteme om-masina bazate pe voce
Cele 2 directii de comunicare trebuie tratate separat:
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
19
Sisteme om-masina bazate pe voce
Avantajele comunicarii prin vorbire: 1. Vorbirea este cea mai naturala si confortabila forma de comunicare
pentru om 2. In cazul sistemelor de control, actionarea prin vorbire ofera
posibilitatea de control “fara maini” 3. Persoane cu dizabilitati motrice 4. Eficient si in absenta iluminarii 5. Nu necesita nici un fel de instruire pentru utilizator
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
20
Sisteme om-masina bazate pe voce Comunicarea masina-om: Exemplu: call centers, GPS Metode: 1. Sinteza de voce artificiala – exploateaza un set predefinit de esantioane
de vorbire naturala; foloseste baze de date de vorbire si metode de selectie si cuplare a elementelor vorbite pentru generarea de secvente de vorbire. Dezavantaj: limitarea numarului de rostiri posibile
2. Generare de semnal vocal – calculatorul simuleaza procesul natural de producere a vorbirii (se simuleaza activitatea laringelui, coardelor vocale, nazalizari, articulari, modulatii)
2013 - 2014 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
21
Sisteme om-masina bazate pe voce Comunicarea om-masina: Recunoasterea automata a vorbirii de catre masina: • introducere date prin input verbal • control al robotilor si masinilor industriale • interactiune cu servicii automate (e.g. phone-banking) 1. Achizitia semnalului si transmiterea acestuia catre sistem2. Preprocesare pentru accentuarea trasaturlor 3. Segmentare pentru localizarea elementelor recognoscibile (foneme, trifoni, etc) 4. Extragerea trasaturilor 5. Recunoasterea elementelor si reconstructia vorbirii 6. Analiza lexicala, sintactica si semantica a vorbirii recunoscute7. Intelegerea sensului frazei rostite
Sistemul fonator uman
22
Universitatea Politehnica Bucuresti Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
• Vorbirea = comunica informatii de
la vorbitor spre ascultator, printr-un
sistem de sunete articulate
• Aparat fonator uman = adaptarea
aparatelor respirator si masticator
la producerea vorbirii
Modelarea producerii vorbirii
23
Universitatea Politehnica Bucuresti Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
Generator de impulsuri
Circuit de formare
Generator de zgomot
Modelare traiect vocal
Model radiatie
vocalizate
nevocalizate
Parametri traiect vocal
H(z) R(z)
V(z)
s(n) k
AV
AN
• Cei mai parametri ai modelului:
Tonul fundamental
Decizia vocalizat/nevocalizat
AN ,AV
Modelul tractului vocal al
Foneme
24
Universitatea Politehnica Bucuresti Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
• Fonem = cea mai mica unitate fonetica cu sens prezenta in
vorbire; similar cu litera în limbajul scris
• Tipuri de foneme:
Vocale: a, e, i, o, u, â
Consoane
Nazale (m, n)
Fricative nevocalizate (f, s,
Fricative vocalizate (v, z)
Stopatele vocalizate (b, d, g)
Foneme
25
Universitatea Politehnica Bucuresti Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
Consoane
Stopatele nevocalizate (p, t, c)
Glisante (r)
Africative (z, h)
Lichide (l)
26
Universitatea Politehnica Bucuresti Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
Urechea medie
Memebrana
Presiunea pe timpan
Deplasarea
Deplasarea membranei
• Urechea 3 : urechea urechea
urechea medie
• Omul vorbirea prin 4 parametri:
calitate, intensitate, sunetelor
Parametri semnalului vocal
27
Universitatea Politehnica Bucuresti Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
• Decizia vocalizat/nevocalizat: tipul semnalului de . În
cazul semnalelor vocalizate, trenul de impulsuri periodic
semnalului o ;
• Tonul fundamental: perioada trenului de impulsuri folosit ca
în cazul sunetelor vocalizate;
• Formant: concentrare de energie într-o de
de produse în traiectul
vocal
Analiza în timp a semnalului vocal
28
Universitatea Politehnica Bucuresti Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
• Scop: determinarea parametrilor globali pentru semnal,
valabil pe termen scurt
• Clasificare:
–
29 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
a e i o u â
f
t
t
• Evenimentele vorbirii se prin intermediul sursei
de semnal:
de
30 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
• Semnalul vocal permanent
caracteristicile pentru a codifica diverse succesiuni de foneme
• Nu se pot aplica metodele standard de calcul ce pornesc de la
ipoteza unui sistem liniar invariant în timp
• Pentru decodarea de interlocutor, parametrii
fonem sunt pe o
• Analiza semnalului vocal se face pe în care
semnalul este considerat
30
Ferestruirea semnalului vocal
31 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
• caracterului analiza semnalului vocal se
pe segmente de (ferestre) presupus
• Durata ferestrei de : dimensiune 20 – 30 ms
• Pas de prelucrare:
în timp între ferestre de
consecutive;
dimensiune: 10-15 ms
Ferestruirea semnalului vocal
32 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
• Ferestruirea semnalului în timp:
• În :
• Orice tip de are un spectru de tip trece jos (un lob
principal la joase mai lobi secundari
diferit
• Dezavantaj: schimbarea structurii spectrale a semnalului
][][][ nwnxnxw
)()()( WXX w
33 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
A.
• sub numele de Dirichlet
• Cel mai simplu tip de
• Preia o de semnal, a efectua
• Conduce la de la capete
restinNn
nw,0
10,1][
s
f
TT
N
34 Universitatea Politehnica Bucuresti
Facultatea de Electronica, Telecomunicatii si Tehnologia Informatiei
• pentru minimizarea primului lob secundar
restin
NnN
nnw
,0
0,1
2cos46.054.0][
• Efect de aliere
restin
NnN
nnw
,0
0,1
2cos15.0][
Reprezentare timp
Reprezentare timp
Reprezentare
Reprezentare