Upload
others
View
15
Download
0
Embed Size (px)
Citation preview
ComunicaComunicații Multimediații Multimedia
Ș.l. dr. ing. Radu Ovidiu Predaemail: [email protected]
site: www.comm.pub.ro/preda/cm
Comunicații multimediaComunicații multimedia
• Cap. 1 – Introducere. Noţiuni de bază în prelucrareanumerică a semnalelor
• Cap. 2 – Tehnici de compresie a datelor
• Cap. 3 – Compresia imaginilor. Standardele JPEG și JPEG2000
Structura cursuluiStructura cursului
JPEG2000
• Cap. 4 – Compresia video. Standardele H26x
• Cap. 5 – Codarea video MPEG1
• Cap. 6 – Codarea video MPEG2
• Cap. 7 – Codarea video MPEG4
• Cap. 8 – Codarea audio MPEG
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• Multimedia = combinaţia mai multor medii
– Ex: text, muzică, voce, audio, imagini, grafică,video, etc.
• Sistem multimedia
sistem care procesează informaţia (semnale) prin
Ce este multimedia?Ce este multimedia?
– sistem care procesează informaţia (semnale) princel puţin un mediu
• continuu sau
• discret
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• Semnal = funcție de una sau mai multe variabile independente
– Exemple: s(t), s(x, y), s(x, y, t)
• Semnal 1D de regulă funcție de t
Semnale 1DSemnale 1D
• t - continuu sau discret
• Semnal continuu în timp (CT) sc(t) – definit laorice moment de timp
• Un semnal analogic este un semnal CT
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• Semnal în timp discret (DT) sd(t) este definit lamomente discrete de timp
sd(t) secvență de numere
• Amplitudine semnal: continuă sau discretă
Semnale 1DSemnale 1D
• Semnale digitale: t și amplitudinea lui s(t)discrete
• Eșantionare semnal CT semnal DT
• Eșantionare semnal CT + cuantizare amplitudine semnal semnal digital
• Ex: semnal vocal codat PCM
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Semnale 2DSemnale 2D -- ImaginiImagini
• O imagine I
– funcție de 2 variabile independente
– Rețea ortogonală de puncte
– Pixel = cel mai mic element al imaginii
• I(x, y) = amplitudinea imaginii la poziția (x, y)
• Amplitude = intensitatea luminii sau culoare
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• I poate fi:
– O funcție cu mai multe valori:
• imagine color cu 3 componente
R(x, y), G(x, y), B(x, y)
Reprezentarea imaginilorReprezentarea imaginilor
– O funcție cu o singură valoare
• Imagine de intensitate sau cu nuanțe de gri I(x,y)
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• Imagine digitală de intensitate = matrice 2D
• I(x, y): x, y și I au valori finite discrete
Reprezentarea imaginilorReprezentarea imaginilor
• I(x, y) reprezentată pe b biți
8biți 256 niveluri de gri
0 = negru, 128=gri, 255=alb
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• I = imaginea originală
• Izg = imaginea afectată de zgomot
• Iproc = imaginea cu zgomot după diferite operații de procesare de imagini
Calitatea imaginilorCalitatea imaginilor
• Dorim să evaluăm calitatea imaginii Iproc față de I
– Nu există metode standard
– Măsurători obiective (MSE, SNR, PSNR)
– Măsurători subiective (prin vizualizare +scor)
– Măsurători perceptuale (au în vedere HVS)
( )proc zgI procesare I
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• Eroarea pătratică medie (MSE)
• MSE mai mică calitate mai bună
Calitatea imaginilor: MSECalitatea imaginilor: MSE
2
1 1
1[ ( , ) ( , )]
M N
procx y
MSE I x y I x yMN
• MSE mai mică calitate mai bună
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• Raportul semnal – zgomot (SNR)
• Zgomotul imaginii măsurat în dB
Calitatea imaginilor: SNRCalitatea imaginilor: SNR
2 2
10 10 102
_ _10log 10log 10log
_ _
I I
zg
putere medie semnalSNR
putere medie zgomot MSE
• SNR mai mare calitate mai bună
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• Raportul semnal – zgomot de vârf (PSNR)
• pentru I(x,y) pe 8 biți
Calitatea imaginilor: PSNRCalitatea imaginilor: PSNR
2max
10 10
_ _10log 10log
_ _
Iputere max semnalPSNR
putere medie zgomot MSE
• pentru I(x,y) pe 8 biți
• PSNR mai mare calitate mai bună
2
10
25510log
PSNR
MSE
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Exemplu: PSNR pentru imagini codate JPEG
Calitatea imaginilor: PSNRCalitatea imaginilor: PSNR
Imagineoriginală
JPEG Q=90PSNR=40dB
JPEG Q=2PSNR=20dB
JPEG Q=20PSNR=30dB
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Spectrul electromagneticSpectrul electromagnetic
frenvența(Hz)
Lungimeade undă
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Culoare Frecvență Lungime de undă
violet 668–789 THz 380–450 nm
albastru 631–668 THz 450–475 nm
Spectrul vizibilSpectrul vizibil
albastru 631–668 THz 450–475 nm
cian 606–630 THz 476–495 nm
verde 526–606 THz 495–570 nm
galben 508–526 THz 570–590 nm
portocaliu 484–508 THz 590–620 nm
roșu 400–484 THz 620–750 nm
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• surse de iluminare:– emit lumină (ex. soare, bec, monitor TV)
– culoarea percepută depinde de frecvența emisă
– urmează regula aditivă: R+G+B = alb
• surse de reflexie:
Iluminare și reflexieIluminare și reflexie
• surse de reflexie:– Reflectă lumina incidentă (ex. vopsea, suprafață mată,
haine)
– Culoarea percepută depinde de frecvența reflectată (frecv.emisă – frecv. absorbită)
– urmează regula substractivă: R+G+B = negru
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Anatomia ochiului umanAnatomia ochiului uman
iris
pupilă
sclerotică
http://www.stlukeseye.com/Anatomy.asp
sclerotică
iris
cornee
pupilă
cristalin
conjunctivă
nerv optic
retină
coroidă
umoare vitroasă
fovee
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Formarea imaginiiFormarea imaginii
http://www.stlukeseye.com/Anatomy.asp
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Ochi vs. camerăOchi vs. cameră
sclerotică
iris
cornee
pupilă
cristalin
nerv optic
retină
coroidă
umoare vitroasă
fovee
Echivalență cameră – ochi uman
Componente cameră Componente ochi
lentilă cristalin, cornee
diafragmă Iris, pupilă
film retină
cablu de transfer nerv optic
conjunctivăretină
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• retina conține foto-receptori
• 2 tipuri:
– conuri:• vedere pe timp de ziuă
• Percep culoarea
• 3 tipuri: R,G,B (L,M,S)
Percepția umană a culoriiPercepția umană a culorii
• 3 tipuri: R,G,B (L,M,S)
– bastonașe: • vedere pe timp de noapte
• Percep doar luminozitatea(luminanța)
• senzația de culoare caracterizată prin
– Luminanță
– Crominanță• Tonul culorii
• Saturație (puritatea culorii)
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Răspunsul în frecvență al conurilor și bastonașelorRăspunsul în frecvență al conurilor și bastonașelor
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Funcția de eficiență luminoasăFuncția de eficiență luminoasă
albastru x20luminanță
roșuverde
Sen
sib
ilita
tere
lati
văSe
nsi
bili
tate
rela
tivă
Lungime de undă (nm)
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• Specificarea valorilor celor trei stimuli asociați celor 3 culori primare
– RGB
– CMY
• Specificarea luminanței și crominanței
Modele de reprezentare a culorilorModele de reprezentare a culorilor
• Specificarea luminanței și crominanței
– HSI (Hue, saturation, intensity)
– YIQ (folosit la standardul TV color NTSC)
– YCbCr (folosit la televiziunea color digitală)
• Specificarea amplitudinii:
– 8 biți/componentă sau 24 biți/pixel
– total de 16 milioane culori
– display RGB truecolor de 1024x768 2.25 MB
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
RGB vs. CMYRGB vs. CMY
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
RGB vs. YIQRGB vs. YIQ
• RGB YIQ
Y = 0.299 R + 0.587 G + 0.114 B
I = 0.596 R -0.275 G -0.321 B
Q = 0.212 R -0.523 G + 0.311 B
• YIQ RGB
R =1.0 Y + 0.956 I + 0.620 Q
G = 1.0 Y - 0.272 I -0.647 Q
B =1.0 Y -1.108 I + 1.700 Q
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Planul IQPlanul IQ la luminanță constantă Y=0.5la luminanță constantă Y=0.5
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
RGB vs. YIQRGB vs. YIQ
RGB
Y I Q
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
RGB vs.RGB vs. YCYCbbCCrr
• RGB YCbCr
Y = 0.257 R + 0.504 G + 0.098 B + 16,
Cb = -0.148 R - 0.291 G + 0.439 B + 128
Cr = 0.439 R - 0.368 G - 0.071 B + 128Cr = 0.439 R - 0.368 G - 0.071 B + 128
• YCbCr RGB
R = 1.164 Y + 0.0 Cb+ 1.596 Cr
G = 1.164 Y - 0.392 Cb - 0.813 Cr
B = 1.164 Y + 2.017 Cb + 0.0 Cr
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
PlanulPlanul CCbbCCrr la luminanță constantă Y=0.5la luminanță constantă Y=0.5
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
RGB vs.RGB vs. YCYCbbCCrr
RGB
Y Cb Cr
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• Procesarea Digitală a Semnalelor Video (PDSV)
– Extensie a teoriei semnalelor și sistemelor la 3 dimensiuni
• Concept general:
Achiziție (de la 3D la 2D, lentile, senzori,
Semnale 3DSemnale 3D
– Achiziție (de la 3D la 2D, lentile, senzori, multiplexoare)
– Transmisie (1D)
– Reproducere (demultiplexoare, monitoare, HVS)
• Imaginea = proiecție printr-un sistem de lentileoptice pe un senzor (matrice de capacitoare)
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Proiecție din 3D în 2DProiecție din 3D în 2D
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• semnal video s(x, y, t) = semnal 3D continuu (funcție de 3 variabile independente, 2 dim. spațiale și timp)
• Procesare NUMERICĂ a semnalelor video
• Eșantionarea semnalului continuu semnal spațiu-timp discret
Semnale 3DSemnale 3D
timp discret
• Video color 3 numere reale la fiecare poziție (x, y, t)
– cele 3 numere reprezintă RGB, YIQ sau YCbCr
– în general, cele 3 componente sunt tratate separat
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• Video compus
– Conversie din RGB în YIQ (YUV)
– multiplexare YIQ (YUV) într-un singur semnal
– Componentele de crominanță sunt multiplexate în banda superioară a lui Y
Video compus și video pe componenteVideo compus și video pe componente
banda superioară a lui Y
– Utilizat în toate dispozitivele video analogice (TVanalogic, casete VHS, etc.)
• Video pe componente
– 3 componente de culoare capturate/salvate/afișate separat
– Stocate în format RGB sau YCbCr
– Utilizate la formatele video digitale
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• Semnal 3D continuu (temporal, orizontal, vertical)
• Video analogic în format rastru
– Eșantionare în timp: cadre consecutive• Mișcare fluentă: ≥ 25 cadre/s
– Eșantionare pe verticală: cadru reprezentat printr-un set
Video analogicVideo analogic
– Eșantionare pe verticală: cadru reprezentat printr-un setde linii
• Rastru video = semnal 1D conținând linii din cadre succesive
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• sisteme de televiziune analogică:
– NTSC (National Television System Committee) -America de Nord, America Centrala şi Japonia
– PAL (Phase Alternating Lines) - majoritatea ţărilordin Europa, Africa, Australia, America de Sud şi
Video analogicVideo analogic
din Europa, Africa, Australia, America de Sud şiChina
– SECAM (Systeme Electronique Couleur AvecMemoire) - Franţa, Rusia şi fostele ţări sovietice
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Video analogicVideo analogic
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Video AnalogicVideo AnalogicStandarde TV NTSC PAL SECAM
Imagini pe secundă 29.97 25 25
Durata imaginii (ms) 33.37 40 40
Linii pe imagine 525 625 625
Raport de aspect 4:3 4:3 4:3
Întreţesere 2:1 2:1 2:1Întreţesere 2:1 2:1 2:1
Durata liniei (μs) 63,56 64 64
Spațiu de culori YIQ YUV YDbDr
Bandă luminanță (MHz) 4.2 5.0/5.5 6.0
Bandă crominanță (MHz) 1.5(I)/0.5(Q) 1.3 1.0
Subpurtătoare color (MHz) 3.58 4.43 4.25(Db),4.41(Dr)
Modulație culoare QAM QAM FM
Subpurtătoare audio (MHz) 4.5 5.5/6.0 6.5
Bandă totală (MHz) 6.0 7.0/8.0 8.0
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Spectrul semnalului NTSCSpectrul semnalului NTSC
YII și Qaudio
Purtătoareimagine
Subpurtătoarecrominanță
Subpurtătoareaudio
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Rastru NTSCRastru NTSC
Curse inverse pentruprimul câmp
Cursă inversă întrecâmpul 1 și 2
Cursă inversă întrecâmpul 2 și 3
Nivel de negru
Nivel maxim
Nivel de alb
Nivel de negru
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• Video digital se obține prin:
– Eșantionarea și cuantizarea rastrului TV analogic
• Standardul ITU-R BT.601
– Folosirea unei camere video digitale
• utilizează senzori cu transfer de sarcină (CCD)
Video digitalVideo digital
• utilizează senzori cu transfer de sarcină (CCD)
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
RGBRGB -- YCYCbbCCrr
• RGB YCbCr
Y = 0.257 R + 0.504 G + 0.098 B + 16,
Cb = -0.148 R - 0.291 G + 0.439 B + 128
Cr = 0.439 R - 0.368 G - 0.071 B + 128Cr = 0.439 R - 0.368 G - 0.071 B + 128
• YCbCr RGB
R = 1.164 Y + 0.0 Cb+ 1.596 Cr
G = 1.164 Y - 0.392 Cb - 0.813 Cr
B = 1.164 Y + 2.017 Cb + 0.0 Cr
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Formate deFormate de subeșantionaresubeșantionare a crominanțeia crominanței
4:4:4pentru fiecare2x2 pixeli de Y
4 Cb & 4 Cr(fără
subeșantionare)
4:2:2pentru fiecare2x2 pixeli de Y
2 Cb & 2 Cr(subeșantionare
2:1 peorizontală)
4:1:1pentru fiecare4x1 pixeli de Y
1 Cb & 1 Cr(subeșantionare
4:1 peorizontală)
4:2:0pentru fiecare2x2 pixeli de Y
1 Cb & 1 Cr(subeșantionare2:1 pe orizontală
și verticală)
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Rețele de acces și fluxuri de dateRețele de acces și fluxuri de date
Reţea de acces Flux de date maxim
Modem telefonic convenţional 28.8 kbps
ISDN (Integrated Services Digital Network) 64-144 kbps (px64)
T-1 (Trunk Level 1) 1,5 Mbps
T-3 (Trunk Level 3) 45 Mbps
ADSL (Asymetric Digital Subscriber Line) 1.5-24 Mbps downstreamADSL (Asymetric Digital Subscriber Line) 1.5-24 Mbps downstream0.5-3.5 Mbps upstream
Modem de cablu 512kbps - 52 Mbpsdownstream
Ethernet (reţea locala cu transfer depachete IP)
10/100 Mbps
B-ISDN/ATM 55-200 Mbps
Ex: cadru RGB 24b/pixel de 1024x768 2.25 MB25 cadre/s 56.25 MB/s 450 Mb/s
necesitatea de a comprima datele brute
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• CCITT G3/G4 (standarde CCITT grup 3, respectiv 4)
– folosite pentru compresia imaginilor binare
– codează imaginea sursa linie cu linie
• JBIG (Joint Bi-level Image Group)
– compresie fără pierderi pentru imagini binare
Standarde de compresie a imaginilorStandarde de compresie a imaginilor
– compresie fără pierderi pentru imagini binare
– rată de compresie de maxim 20:1
• JPEG (Joint Picture Expert Group)
– standard de compresie pentru imagini cu nuanţe degri şi color cel mai folosit la ora actuala;
– utilizează DCT-2D, PCM/DPCM și codare Huffman
– ofera rate de compresie de la 5:1 la 50:1
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• JPEG2000
– standard de compresia a imaginilor cu nuanţe de gri şicolor derivat din JPEG
– compresia bazată pe Wavelet și codare aritmetică
– oferă imagini de calitate foarte bună
Standarde de compresie a imaginilorStandarde de compresie a imaginilor
– oferă imagini de calitate foarte bună
– rate de compresie foarte mari de până la 300:1
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• H.261
– standard de codare video folosit în aplicaţii ISDN cu flux dedate multiplu de 64kbps (numit şi p64 kbps)
– rate de compresie de la 25:1 la 100:1
• H.263
Standarde de compresie videoStandarde de compresie video
• H.263
– standard de compresie video iniţial pentru aplicaţii PSTN(mai puţin de 64 kbps),
– actual şi pentru fluxuri de date mai mari
– înlocuiește standardul H.261;
– rate de compresie cuprinse între 6:1 şi 140:1
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• MPEG-1 (Motion Picture Expert Group)
– standard de compresie a imaginilor în mişcare şi asunetului asociat pentru stocare pe medii digitale
– rată de bit de până la aproximativ 1,5 Mbps
• MPEG-2
Standarde de compresie videoStandarde de compresie video
• MPEG-2
– îmbunătăţire a standardului MPEG-1
– rate de bit de 1.5-50 Mbps
• MPEG-4
– o nouă îmbunătăţire a standardului MPEG cu codarebazată pe obiecte
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
• H.264/MPEG-4 AVC (Advanced Video Coding)
– standard de compresie video de generaţie mai nouă;
– unul dintre cele mai folosite formate pentru înregistrare,compresie şi distribuţie de video de înaltă definiţie;
– folosit pentru:
Video digitalVideo digital
– folosit pentru:• stocare pe Blue-Ray Disc și HD-DVD
• streaming pe Internet: YouTube, Vimeo, iTunes Store
• playere software ca Adobe Flash Player, Microsoft Silverlight,Quicktime, Nero
• transmisiune TV digitală: DVB-S2, DVB-C2, DVB-T2
• înregistrare video HD la camere foto/video: AVCHD (Sony,Panasonic)
• videoconferințe în timp real
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Formate video digitalFormate video digital
Format video Rezoluție YEșantionare crominanță
Rata cadrelor(Hz)
Rată de bitbrută (Mbps)
HDTV prin aer, cablu, satelit, video MPEG2, 20-45 Mbps
SMPTE296M 1280x720 4:2:0 24P/30P/60P 265/332/664
SMPTE295M 1920x1080 4:2:0 24P/30P/60I 597/746/746
Producție video, MPEG2, 15-50 Mbps
BT.601 720x480/576 4:4:4 60I/50I 249BT.601 720x480/576 4:4:4 60I/50I 249
BT.601 720x480/576 4:2:2 60I/50I 166
Distribuție video de înaltă calitate (DVD,SDTV), MPEG2, 4-10 Mbps
BT.601 720x480/576 4:2:0 60I/50I 124
Distribuție video de calitate intermediară (VCD,WWW), MPEG1, 1.5 Mbps
SIF 352x240/288 4:2:0 30P/25P 30
Videoconferință prin ISDN/Internet, H261/H.263, 128-384 Kbps
CIF 352x288 4:2:0 30P 37
Videotelefonie prin modem telefonic/wireless, H.263, 20-64 Kbps
QCIF 176x144 4:2:0 30P 9.1
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Transformate pentru semnale multidimensionaleTransformate pentru semnale multidimensionale
Semnale 1D: s(t)
• Unele caracteristici ale semnalului pot fi ușor descrise în domeniul frecvență
• Transform Fourier: s(t) S(ω) (sau s(t) S(ft)) unde
– t este timpul în secunde;– t este timpul în secunde;
– ft este frecvența temporală în Hz (cicluri/s)
– ft măsoară variații temporale ale amplitudinii lui s(t)
– ω = 2πft este frecvența unghiulară temporală în 1/s=Hz
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Transformate pentru semnale multidimensionaleTransformate pentru semnale multidimensionale
• semnalele sinusoidale s(t) = Acos(2πft + φ) suntimportante pentru că pot fi folosite pentru a sintetizaorice semnal:
0
( ) cos(2 )k kk
s t A f t
• orice semnal poate fi descompus în multe semnalesinusoidale de diferite f și diferite A
• în loc de cos putem folosi exponențiale: serii Fourier
0k
2
2
cos(2 ) sin(2 )
( ) k
j ft
j f tk
k
e ft j f
s t A e
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Transformate pentru semnale multidimensionaleTransformate pentru semnale multidimensionale
Cum putem observa f din forma de undă în timp?
• constantă în timp componentă pe f=0 (DC)
• sinusoidă o singură componentă pe frecvența f
• semnal periodic semnal care se repetă după uninterval de timp Tinterval de timp T
• semnal variabil lent conține doar frecvențe joase
• semnal variabil rapid conține frecvențe înalte
• estimarea celei mai mari frecvențe:
– inversul celui mai scurt interval între un minim și un maxim al semnalului
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Transformate pentru semnale multidimensionaleTransformate pentru semnale multidimensionale
• Avantajul reprezentării în domeniul frecvență
– arată clar compunerea semnalului în frecvență
– se poate schimba amplitudinea oricărei componente prinfiltrare
• FTJ netezire, eliminarea zgomotului
• FTS detecția variațiilor/tranzițiilor/contururilor
• FTB păstrarea unui interval de frecvențe
• amplif. fr. înalte intensificarea variațiilor/tranzițiilor/contururilor
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Transformate pentru semnale multidimensionaleTransformate pentru semnale multidimensionale
Semnale 2D (imagini): I(x,y)
• Frecvența spațială măsoară cât de repede se modifică intensitatea imaginii în planul imaginii
• Frecvența spațială caracterizată prin frecvențe de variație pe două dimensiuni ortogonalepe două dimensiuni ortogonale
– pe orizontală: fx: cicluri/unitatea de distanță pe orizontală
– pe verticală: fy: cicluri/unitatea de distanță pe verticală
• Poate fi specificată și prin:
– amplitudine:
– unghi de variație:
2 2m x yf f f
( / )y xarctg f f
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Transformate pentru semnale multidimensionaleTransformate pentru semnale multidimensionale
( , ) sin(10 )I x y x ( , ) sin(10 20 )I x y x y
• fx=5 înseamnă că avem cinci cicluri pe fiecare rând
(fx,fy)=(5,0) (fx,fy)=(5,10)
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Transformate pentru semnale multidimensionaleTransformate pentru semnale multidimensionale
Semnale 3D (video): s(x,y,t)
• Frecvențe spațiale fx și fy
• Frecvență temporală ft
– Măsoară variația temporală a intensității pixelului
– Depinde de poziția spațială (fiecare punct poate varia – Depinde de poziția spațială (fiecare punct poate varia diferit)
– Cauzată de mișcarea obiectului sau camerei
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Transformate pentru semnale 1DTransformate pentru semnale 1D
• Semnale continue x(t)
– Transformata Fourier
– Transformata Laplace
2
0
( ) ( ) j ftX f x t e dt
– Transformata Laplace
– Transformata Cosinus
– Transformata Wavelet
0
( ) ( ) stX s x t e dt
0
2( ) ( )cos(2 )X f x t ft dt
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Transformate pentru semnale 1DTransformate pentru semnale 1D
• Semnale discrete x(n), n=0,1,…,N-1
– Transformata Fourier Discretă
– Transformata Z
1 2
0
( ) , 0,1,..., 1kN j nN
kn
X x n e k N
– Transformata Z
– Transformata Cosinus Discretă
– Transformata Wavelet Discretă
1
0
1( )cos , 0,1,..., 1
2
N
kn
X x n n k k NN
1
0
( ) ( )N
n
n
X z x n z
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Transformate pentru semnale 2D (imagini)Transformate pentru semnale 2D (imagini)
Semnal 2D discret (imagine): I(x,y)
1. Transformata Fourier Discretă 2D
1 1 2
0 0
( , ) ( , ) , 0,1,..., 1, 0,1,..., 1ux vyN M jN M
x y
F u v I x y e u N v M
• FFT-2D - metodă numerică de calcul a DFT-2D
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Transformate pentru semnale 2DTransformate pentru semnale 2D
1. Transformata Fourier Discretă 2D
• pentru o imagine reală (spectru centrat pe mijloc)( , )F u v
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Transformate pentru semnale 2DTransformate pentru semnale 2D
2. Transformata Cosinus Discretă 2D
• de regulă se aplică pe blocuri din imagine
1 1
0 0
0,1,..., 11 1( , ) ( , )cos cos ,
0,1,..., 12 2
N M
x y
u NC u v I x y x u y v
v MN M
• de regulă se aplică pe blocuri din imagine
• blocuri de 8x8 pixeli:
7 7
0 0
2 1 2 1( , ) ( , )cos cos
16 16u v
x y
x u y vC u v k k I x y
1, pentru , 0
2 2,1
, înrest2
u v
u v
k k
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Transformate pentru semnale 2DTransformate pentru semnale 2D
2. Transformata Cosinus Discretă 2D
• C(0,0) - coeficient DC, reprezintă frecvenţa spaţială (0,0)sau media valorilor pixelilor din bloc
• ceilalţi coeficienţi - coeficienţi AC şi reprezintăfrecvenţele spaţiale orizontale şi verticale din blocfrecvenţele spaţiale orizontale şi verticale din bloc
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Transformate pentru semnale 2DTransformate pentru semnale 2D
2. Transformata CosinusDiscretă 2D
• Orice bloc 8x8 esteaproximat cu ocombinație liniară a combinație liniară a celor 64 de blocuri debază
• De la stânga la dreaptași de sus în jos frecvența crește cu 0.5 cicluri
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Transformate pentru semnale 2DTransformate pentru semnale 2D
2. Transformata Cosinus Discretă 2D
Imagine originală I(x,y) Fiecare sub-imagine e obținută din coeficienții DCT de la poziția
corespunzătoare (ceilalți coef =0)
Noţiuni de bază în prelucrarea numerică a semnalelorNoţiuni de bază în prelucrarea numerică a semnalelor
Transformate pentru semnale multidimensionaleTransformate pentru semnale multidimensionale
3. Transformata Wavelet Discretă 2D
Noţiuni de bază în prelucrarea numericNoţiuni de bază în prelucrarea numerică aă a semnalelorsemnalelor
Transformate pentru semnale 3D (video)Transformate pentru semnale 3D (video)
Semnal 3D discret (secvență video): s(x,y,t)
1. Transformata Cosinus Discretă
a) 2D-DCT pe fiecare cadru video
b) 3D-DCT pe întreaga secvență video (sau grup de cadre)
– integrează şi dimensiunea temporală– integrează şi dimensiunea temporală
– elimină corelaţia intra-cadru, cât şi inter-cadru
– efort de calcul mare
1 1 1
0 0 0
1 1 1( , , ) ( , )cos cos cos ,
2 2 2
0,1,..., 1
0,1,..., 1
0,1,..., 1
N M P
x y t
C u v p I x y x u y v t pN M P
u N
v M
p P