1

PARI 51Images Numériques

Par : Bernard Besserer

Cours #4 : Images animées

2

Introduction

Film : séquence d’images

Histoire :– 1882 : E.J.Marey Chronophotographe– 1893-95 : T. Edison Kinetoscope, Lumière Cinématographe– 1930-40 : Télévision (BBC 1932, NBC 1939)– 1965 : Magnétoscope (Sony Betamax)

Numérique :– 1993 : Standard MPEG2, TV Numérique (DirecTV) – 1995 : DV– 1996 : DVD– 2001 : Films cinéma tournés 100% en TVHD

(Vidocq de C. Comar alias Pitof, Starwars ep. II de G. Lucas)– TVHD : 1920x1080, 16:9, 24fps

2

3

Images Animées Analogiques

Vidéo (Normes TV - PAL) :– 625 lignes dont 575 visibles– 25 images/seconde avec entrelacement– Espace colorimétrique Luminance-Chrominance (YUV)– Moins de bande passante (donc moins de résolution)

pour la couleur– VHS, S-VHS, Hi8 : CIF (360 x 288)

Film– 24 images/seconde, progressif (sans entrelacement)– Résolution dépendante du grain du film

(équivalent numérique : 2K (2048 x 1536))

4

la vidéo analogique

Principe de la TV (balayage) : 1930Retransmission JO Berlin : 1939

Rappels :– Signal électrique analogique

– Synchronisation sur chaque lignede balayage

– Normes :• PAL /SECAM : 625 lignes

dont 575 visibles25 images / sec

• NTSC : 575 lignesdont 480 visibles30 images /sec

3

5

Entrelacement

La transmission de l'image s'effectue en mode entrelacé :– On transmets d'abord les lignes paires de

l'image(trame paire)

– Puis les lignes impaires(trame impaire)

– La fréquence est doublée (50 demi-images / sec)

Même bande passante, mais :– Fatigue visuelle réduite (rémanence du

tube et persistance rétinienne)– Comme l'acquisition et la restitution

se fait en entrelacé : meilleure capture du mouvement (plus fluide)

6

Entrelacement

4

7

Entrelacement des images

L'entrelacement est gênant pour le traitement d'image si il y a mouvement.

Très souvent, l'acquisitionmême de l'image esteffectué en mode entrelacé

8

Conformité avec la TV analogique

La plupart des caméras respectent les normes vidéo analogiques(généralement PAL) :– 25 images/sec, entrelacement

(donc 50 trames/sec), 625 lignes dont 575 sont visibles.

– Il faut pouvoir brancher directement un moniteur de contrôle

– Il faut pouvoir enregistrer le signal sur un magnétoscope

– Une carte d'acquisition numérise le signal si l'image doit être traitésur ordinateur…Les paramètres de l’image acquise peut différer de l’image capturée par le CCD

5

9

Caméra à sortie numérique

– Il existe des caméras intégrant l'ensemble de l'image àl'instant T (mode progressif) et transmettant les trames successivement

– Il existe des caméras 100% progressives• Changer d'interface… une interface numérique s'impose

(IEEE 1394, CameraLink, USB2)• La présence d'une interface numérique ne signifie pas que

les images sont produites en mode progressif !

10

Vidéo Numérique Sans Compression

Séparation de la luminance et de la chrominance (espace YUV ou YCrCb). Luminance et 2 informations chromatiques (Y-R, Y-B)Sous-échantillonnage de la chrominance (4:2:2 ou 4:1:1 ou 4:2:0)

6

11

Vidéo Numérique Sans Compression

Calcul du débit vidéo :– 4:2:2

• 720 x 576 (luminance) + 360 x 576 (Cr) + 360 x 576 (Cb) x 8 bits = 6635520 bits / image = 829440 octets / image

• soit un débit de 829440 x 25 = 20,736 Mo/sec ou 166 Mb/sec

– 4:1:1• 720 x 576 (luminance) + 180 x 576 (Cr) + 180 x 576 (Cb)

x 8 bits = 4976640 bits / image = 622080 octets / image• soit un débit de 15,552 Mo/sec ou 124 Mb/sec

– 4:2:0• 720 x 576 (luminance) + 360 x 288 (Cr) + 360 x 288 (Cb)

x 8 bits = 4976640 bits / image = 622080 octets / image• soit un débit de 15,552 Mo/sec ou 124 Mb/sec

Un disque dur de 1Go (10 Go) peut contenir :– 51 secondes (8m30s) de vidéo sans compression 4:2:2– 68 secondes de vidéo sans compression en 4:1:1 ou 4:2:0– 4 minutes et 45 secondes de vidéo DV (avec compression!)

12

Vidéo Numérique Avec Compression

CodecCOdeur/DECodeur ou COmpresseur/DECompresseur– Software / Hardware– Avec ou sans perte

Format d’encapsulation : AVI– Le format AVI (comme les

.WAV) est un fichier RIFF (Ressource InterchangeFile Format)

– Portabilité du fichier ?

Logiciels disponibles pour l’encodageQualité de l’imageApplication

7

13

Vidéo Numérique : DV

Format DV : Digital VidéoDéveloppé par un consortium de 10 constructeurs dont Sony(Panasonic et JVC pour des équipements pro)

Compression propriétaireCompression DCT (proche du JPEG) intra-image réduisant le débit à25 Mbits/sec = 3,5 Mo/sec en 4:2:0 ou 4:1:1 Disque dur 7200 rpm : 8-10 Mo/secCodec software ou hardwarePremier codage effectué par le caméscopeDuplication sans perteMontage à l’image prèsDécompression/compression nécessaire que pour le calcul d’effets

Variantes professionnelles (mêmes principes, mais caractéristiques différentes pour les bandes) :DVCAM, DVCPRO25 et DVCPRO50

14

Vidéo Numérique : DV

Utilisation du bus IEEE1394 comme moyen de transport privilégié– Développement conjoint

SONY/APPLE (aussi nomméfirewire ou i-link)

Bus synchrone à débit élevé(50 Mo/sec) destiné a connecter les équipements multimédia et mémoires de masseCartes interface disponibles, intégration dans certains portables ou iMacCoût élevé de la connectique

8

15

MPEG

MPEG : Motion Picture Expert GroupMPEG1– débit max d’environ 1 Mb/sec (de l’ordre de 150

Ko/sec).– En général, format d ’image de 360 x 288 (CIF)– Application multimédia lue depuis un CD-ROM, VCD,

vidéos sur le Web.

MPEG2– débit max d’environ 10 Mb/sec (soit 1.25 Mo/sec),

format d ’image de 720 x 576, normes du DVD vidéo– Qualité TV, utilisé en diffusion numérique (DVB : câble,

satellite, bientôt terrestre)– Normes peuvent être outrepassées impossibilité de

lecture sur du matériel standard

16

MPEG

MPEG– Format de diffusion (encodage final)– Stream / téléchargeable– Peu adapté au montage délicat (compression

inter-frame)

– Utilisé pour :• Le CD-i (MPEG1) – Visioconf (variante)• Le VCD (MPEG1), le S-VCD (MPEG2)• Le DVD (MPEG1 et MPEG2)• La diffusion : DVB (Digital Video Broadcasting)

DVB-T, DVB-S, DVB-C

9

17

MPEG

La compression MPEG : succession de méthodes de compression. Taux de compression considérable 20:1

System Diagram EncoderSystem Diagram Encoder

DCTDCT VLC EncoderVLC Encoder Motion Motion EstimationEstimation

QQ

Prediction VectorPrediction Vector

Image BlocksImage Blocks

Prediction Error VectorPrediction Error Vector

DCT:DCT: generate DCT coefficientsgenerate DCT coefficientsQuantizationQuantization (Q):(Q): compress the data for faster transmission ratecompress the data for faster transmission rateMotion Estimation:synthesis prediction, prediction error value, Motion Estimation:synthesis prediction, prediction error value,

and DCT coefficientand DCT coefficient

18

Découpage Hiérarchique de la séquence

Group of Picture (GOP) de I à IPictureSliceMacroblockBlock

10

19

MPEG

Principe :– De façon régulière (en général, 2 fois par seconde), on

encode une image complète (I-Frame, compression Intraframe) avec compression (DCT)

– Pour les autres images, compression en tenant compte du mouvement (on enregistre que les changements)

I

P

B

20

On n'encode que les changements

11

21

MPEG

22

Motion Compensation DiagramMotion Compensation Diagram

++

++

I FrameI Frame

Motion VectorMotion Vector

Prediction ErrorPrediction Error

Forward PredictionForward Prediction

Resulting PictureResulting Picture

Compensation de mouvement

12

23

Compensation de mouvement

24

Gestion de la couleur

13

25

Débit d’un flux MPEG

Débit variable selon le type d’image (I-frame, P-frame, B-frame) et selon le mouvementEncodage selon divers critères en une ou 2 passes

26

Profil

14

27

MPEG 4

MPEG4 : Coding of Audiovisual Objects– Adaptation à des débits variables entre 5Kb - 10 Mb/sec.– Résolution et fréquence images QCIF - TVHD– Deux types d’algorithmes de compression:

• VLBV (Very Low Bit Rate Video), de 5 Kbit/s à 64 Kbit/s.• HBV (Higher Bit Rate Video) - de 64 Kbit/s à 2 Mbit/s

– Encodage basé sur le contenu (objets médias)– DRM (Digital Rights Management)– AIC :Advanced Interactive Content : Interactivité

(Hypermédia)– Représentation 2D/3D– SNHC (Synthetic Natural Hybrid Coding)– Vidéoconférence, vidéo interactive, multimédia sur

internet.

28

MPEG4

Objets médias

Maillage 3D et textures

15

29

MPEG4

Interactivité

30

MPEG

MPEG7 : Multimedia Content Description Interface– Bits à propos des bits– Description du contenu

• Bas niveau : couleurs, formes, caractéristiques du son…• Haut niveau : information structurelle à propos du contenu

des collections– Complément du MPEG4 – Indexation et recherche par le contenu– Intégration de l’information MPEG7 aux broadcasts,

enregistreurs vidéo personnels, moteurs de recherche.

MPEG21 : Multimedia Framework– Multiplateformes : Broadcast, Internet, Disques…– Interopérabilité

16

31

Vidéo Numérique

Souvent formats asymétriques (calcul encodage/décodage)

32

Vidéo Numérique

Image couleur 24 bits Blocs Bit errors

Effet de Gibbs

17

33

Conclusion

Problèmes – Pérennité des supports– Portabilité des formats / CODEC– Copyright– Accès au contenu

Les choix du format, support, etc. dépendent de l’application.