23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
1 /46
MPEG 4
Eine Übersicht
• Einleitung
• Strukturen
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
2 /46
Warum MPEG 4?
• Verbreitung von Multimediaanwendungen
• interaktives Fernehprogramm
• Fernsehen übers Internet
Mehr Daten an viele verschiedene Geräte
• Einleitung– Warum?
– Erwartungen
– Interessen
– DivX;-)
– History
– Realität
– Hierarchie
– Vergleich
– Standart
• Strukturen
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
3 /46
Welche Erwartungen?
• überall kompatibel (Standard)
• CoDec gut skalierbar
• Echte Interaktivität
• CoDec gut adaptierbar auf diverse Eingangsinformationen
• Einleitung– Warum?
– Erwartungen
– Interessen
– DivX;-)
– History
– Realität
– Hierarchie
– Vergleich
– Standart
• Strukturen
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
4 /46
Nutzerinteressen
• Video-Pendant zur MP3
• Tauschen von DVD-Filmen übers Internet – >Aushebeln von CSS– >Datenreduktion ohne sichtbaren
Qualitätsverlust
• Einleitung– Warum?
– Erwartungen
– Interessen
– DivX;-)
– History
– Realität
– Hierarchie
– Vergleich
– Standart
• Strukturen
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
5 /46
Mythos DivX;-)
• 1999 hackte Jerome Rota (Gej) den damaligen M$ MPEG4-Codec
• nicht ISO-kompatibel
• erzeugt .avi’s
• Einleitung– Warum?
– Erwartungen
– Interessen
– DivX;-)
– History
– Realität
– Hierarchie
– Vergleich
– Standart
• Strukturen
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
6 /46
Geschichte
• Oktober 1998 beim 45ten MPEG-Treffen: MPEG 4 Standard definiert
• Dezember 1999 beim 50ten MPEG-Treffen: MPEG 4 Version 2 wird bekanntgegeben (abwärtskompatibel)
• Einleitung– Warum?
– Erwartungen
– Interessen
– DivX;-)
– History
– Realität
– Hierarchie
– Vergleich
– Standart
• Strukturen
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
7 /46
Realität
• ISO-Standard (nicht kostenlos!)
• Multimedia-Bitstromformat für– natürliches Audio und Videomaterial
– synthetisches Audio und Videomaterial
– 5KBit/s bis 10MBit/s
• Sehr umfangreiche Toolsammlung für Video und Audiokompression
• Einleitung– Warum?
– Erwartungen
– Interessen
– DivX;-)
– History
– Realität
– Hierarchie
– Vergleich
– Standart
• Strukturen
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
8 /46
Hierarchie
• MPEG4 soll die Vorgänger nicht ersetzen, nur ergänzen
• Einleitung– Warum?
– Erwartungen
– Interessen
– DivX;-)
– History
– Realität
– Hierarchie
– Vergleich
– Standart
• Strukturen
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
9 /46
Vorab-Vergleich
• 640x480, 25fps, 500kbit/s Video, 128 kbit/s Audio, beste Qualität
• Quelle: DVD
• -> MPEG 1 (TMPGEnc)
• -> MPEG 2 (TMPGEnc)
• -> MPEG 4 (3ivX)
• Einleitung– Warum?
– Erwartungen
– Interessen
– DivX;-)
– History
– Realität
– Hierarchie
– Vergleich
– Standart
• Strukturen
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
10 /46
ISO/IEC 14496
• ISO/IEC 14496-1 (Systems)Tools: BiFS, Object Descriptors, FlexMux, MP4 File Format, etc.
• ISO/IEC 14496-2 (Visual)Natürliches und synthetisches Coding, sowie Gesichts und Körperanimation
• SO/IEC 14496-3 (Audio)Sprach Coding, General Audio Coding, Structured Audio, Text to Speech interface,...
• ...
• SO/IEC 14496-8
• Einleitung– Warum?
– Erwartungen
– Interessen
– DivX;-)
– History
– Realität
– Hierarchie
– Vergleich
– Standart
• Strukturen
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
11 /46
Grundstrukturen
• Speichern von Szeneninhalten anstatt von Pixeln
• Mischkodieren von natürlichen und synthetischen Objekten
• Szenengraph speichert deren Position vierdimensional
• Einleitung
• Strukturen– Szene
– Szenengraph
– Beispiel
– Eigenschaften
– Extras
– Schichten
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
12 /46
Bestandteile einer SzenePrimitive Objekte
Video Objekte (VO) Audio Objekte (AO)
natürlich synthetisch natürlich synthetisch
• Einleitung
• Strukturen– Szene
– Szenengraph
– Beispiel
– Eigenschaften
– Extras
– Schichten
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
13 /46
Der Szenengraph
• Gerichteter, zyklenfreier Graph
• verfügt über ein Koordinatensystem in das die Objekte eingebettet werden
• verfügt über eine virtuelle Kamera, die den sichtbaren Ausschnitt festlegt
• Einleitung
• Strukturen– Szene
– Szenengraph
– Beispiel
– Eigenschaften
– Extras
– Schichten
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
14 /46
Der Szenengraph (nodes)• grouping nodes
– fassen die Objekte einer Szene zusammen
• children nodes– Kinder der gn, repräsentieren Objekte
• bindable children nodes– spezifische Kinder, die in jeder Szene nur
eine Instanz haben dürfen
• sensor nodes– Sensoren für Benutzereingaben
• Einleitung
• Strukturen– Szene
– Szenengraph
– Beispiel
– Eigenschaften
– Extras
– Schichten
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
15 /46
Beispiel einer Szene• Einleitung
• Strukturen– Szene
– Szenengraph
– Beispiel
– Eigenschaften
– Extras
– Schichten
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
16 /46
Passender Szenengraph• Einleitung
• Strukturen– Szene
– Szenengraph
– Beispiel
– Eigenschaften
– Extras
– Schichten
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
17 /46
Eigenschaften einer Szene
• Objekte separat codiert, also manipulierbar– Objekte austauschen, anfügen und
löschen– falls Verbindung bidirektional,
müssen nur gewünschte Objekte übertragen werden
– Wahl der Perspektive (3D-Objekte) oder des Ausschnitts möglich
• Einleitung
• Strukturen– Szene
– Szenengraph
– Beispiel
– Eigenschaften
– Extras
– Schichten
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
18 /46
MPEG-J
• Java API in MPEG 4– steuert den Decoder “intelligent”– passt z.B. das Video der Hardware
des Benutzers an
• Einleitung
• Strukturen– Szene
– Szenengraph
– Beispiel
– Eigenschaften
– Extras
– Schichten
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
19 /46
BIFS/VRML(ab MPEG 4 v.2)
• Sprache zur Beschreibung von 3D Objekten
• VideoObjekte können mit Sensoren versehen werden
• Java-Code in Skriptnodes
Beispiel 1
Beispiel 4Beispiel 3
Beispiel 2
• Einleitung
• Strukturen– Szene
– Szenengraph
– Beispiel
– Eigenschaften
– Extras
– Schichten
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
20 /46
Schichtenmodel• Einleitung
• Strukturen– Szene
– Szenengraph
– Beispiel
– Eigenschaften
– Extras
– Schichten
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
21 /46
Schichtenmodell
• Delivery Layer– DMIF sendet Pointer um richtige
Daten zu laden– in elementare Ströme demultiplexen
• Sync Layer– Sync., Zeitstempel, Fehlerkorrektur
• Decompression Layer– decodieren, zusammenstellen
• Einleitung
• Strukturen– Szene
– Szenengraph
– Beispiel
– Eigenschaften
– Extras
– Schichten
• Audio
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
22 /46
Audiocodierung
• Natürlich– Sprache– Musik
• Synthetisch– Text to Speech– MIDI– Structured Audio Orchestra Language
• Einleitung
• Strukturen
• Audio– Übersicht
– nat. Sprache
– nat. Musik
– syn.Sprache
– syn. Musik
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
23 /46
Natürliche Sprache
• Harmonic Vector eXcitation Code (HVXC)– 2-6kBit/s bei 8kHz
• Code Excitat Linear Prediction (CELP)– 6-24kBit/s bei 8 bis 16 kHz
• Einleitung
• Strukturen
• Audio– Übersicht
– nat. Sprache
– nat. Musik
– syn.Sprache
– syn. Musik
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
24 /46
Natürliche Musik
• MPEG 2 AAC– bei 96 kBit/s vergleichbar zu MP3 mit128 kBit/s
– sehr niedrige Bitraten möglich (ab 16 kBit/s)
Mp4 Beispiel mit 48 kBit/s
• Einleitung
• Strukturen
• Audio– Übersicht
– nat. Sprache
– nat. Musik
– syn.Sprache
– syn. Musik
• Video
• Extras
Mp3 Beispiel mit 48 kBit/s
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
25 /46
Natürliche Musik• TwinVQ
– bei 96 kBit/s vergleichbar zu MP3 mit128 kBit/s
– längere Komprimierungsdauer
• Einleitung
• Strukturen
• Audio– Übersicht
– nat. Sprache
– nat. Musik
– syn.Sprache
– syn. Musik
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
26 /46
Text to Speech
• Liest Texte vor
• Reine Schnittstellendefinition
• ermöglicht es Phoneme zu definieren
• ermöglicht Animation computergenerierter Gesichter
• Einleitung
• Strukturen
• Audio– Übersicht
– nat. Sprache
– nat. Musik
– syn.Sprache
– syn. Musik
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
27 /46
MIDI
• Nur Informationen über Instrument, Note, Lautstärke, Dauer etc. werden übertragen
• Qualität von Instrumentendatenbank abhängig– dadurch unflexibel
• Nur für Musik einsetzbar
Soundbeispiel 3:41min in 67KB
• Einleitung
• Strukturen
• Audio– Übersicht
– nat. Sprache
– nat. Musik
– syn.Sprache
– syn. Musik
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
28 /46
SAOL
• Structured Audio Orchestra Language (vom MIT Media Laboratory)
• Verbesserung von MIDI: ausser Noten können auch Instrumente und Samples übertragen werden
• Einleitung
• Strukturen
• Audio– Übersicht
– nat. Sprache
– nat. Musik
– syn.Sprache
– syn. Musik
• Video
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
29 /46
Videocodierung
• Wiederum wird unterschieden zwischen– natürlichen Videoobjekten– synthetischen Videoobjekten
• Einleitung
• Strukturen
• Audio
• Video– Übersicht
– natürlich
– synthetisch
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
30 /46
Natürliche Videokodierung
• Für verschiedene Bandbreiten besser skalierbar
• Einleitung
• Strukturen
• Audio
• Video– Übersicht
– natürlich
– synthetisch
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
31 /46
Shape Coding• Es wird in einer Matrix (Bitmap) binär gespeichert, ob
ein Bereich zum VO gehört oder nicht
– wird zur effektiven Speicherung in 16x16 Blöcke geteilt die verlustfrei oder -behaftet komprimiert werden
• Mit 255 Werten kann man einen Transparenzgrad speichern (Grey Scale Shape Coding)
– DCT Beispiel
• Einleitung
• Strukturen
• Audio
• Video– Übersicht
– natürlich
– synthetisch
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
32 /46
Motion Coding
• Wie in MPEG 2– Zeitliche Redundanz wird verringert– nicht blockbezogen sondern auf
Videoobjekte
• Einleitung
• Strukturen
• Audio
• Video– Übersicht
– natürlich
– synthetisch
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
33 /46
Texture Coding
• bewegte Texturen– Wie in MPEG 2– 8x8 Block DCT->Quantisieren– Möglichkeit der DCT-Koeffizienten
Vorhersage
• statische Texturen– Abbilden auf Polygone möglich– Wavelet Transformation
Vergleich mit JPEG
• Einleitung
• Strukturen
• Audio
• Video– Übersicht
– natürlich
– synthetisch
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
34 /46
DCT-Prediction
• Bildgradient entscheidet ob Zeilen oder Spalten vorhergesagt werden.
• Einleitung
• Strukturen
• Audio
• Video– Übersicht
– natürlich
– synthetisch
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
35 /46
Sprite Coding
• Hintergrund wird nur einmal übertragen, und relevante Objekte dann gestreamt
Wetterkarte
• Einleitung
• Strukturen
• Audio
• Video– Übersicht
– natürlich
– synthetisch
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
36 /46
Synthetische Videokodierung
• VRML-Standart integriert
• facial and body animation
• 2D-Meshes
• Einleitung
• Strukturen
• Audio
• Video– Übersicht
– natürlich
– synthetisch
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
37 /46
Facial Animation
• 84 FDP’s beschreiben ein neutrales Gesicht und können dann animiert werden
• Einleitung
• Strukturen
• Audio
• Video– Übersicht
– natürlich
– synthetisch
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
38 /46
Facial and Body Animation
• Nur sinnvolle Punkte lassen sich animieren
• Einleitung
• Strukturen
• Audio
• Video– Übersicht
– natürlich
– synthetisch
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
39 /46
2D-Meshes
• Über zweidimensionale Objekte kann ein Gitternetz gespannt werden
• Texturen werden auf Polygone gelegt anstatt auf das ganze Objekt
• Einleitung
• Strukturen
• Audio
• Video– Übersicht
– natürlich
– synthetisch
• Extras
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
40 /46
Profile
• Sehr viele Möglichkeiten um zu komprimieren
• viele verschiedene Clients
• viele MP4-Lösungen– > Profile beschränken den Encoder
• Tools
• Bitrate
• Bildgröße
• max. Anzahl der Objekte– Level 0 / 1 unterstützen bis zu 99 Macroblöcke.
– Level 2 / 3 unterstützen bis zu 396 Macroblöcke.
• Einleitung
• Strukturen
• Audio
• Video
• Extras– Profile
– Sicherheit
– Ergebnisse
– Beispiele
– Ausblick
– Quellen
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
41 /46
Sicherheit
• Objekte können mit digitalem Wasserzeichen versehen werden
• Qualitätsverlust beim kopieren
• Soll freigiebiges Tauschen einschränken
• Einleitung
• Strukturen
• Audio
• Video
• Extras– Profile
– Sicherheit
– Ergebnisse
– Beispiele
– Ausblick
– Quellen
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
42 /46
Ergebnisse
• Erster Multimediastandard, der natürliche und synthetische Ursprungsdaten in gleichem Maße gut komprimiert
• Encoder arbeitet inhaltssensitiv, nicht nur Blockbasiert
• gut skalierbar, also für viele Nutzer interessant
• auch für Home-Entertainment Bereich verwendbar, da ISO-Standart
– wird erst dann auch akzeptiert
• Einleitung
• Strukturen
• Audio
• Video
• Extras– Profile
– Sicherheit
– Ergebnisse
– Beispiele
– Ausblick
– Quellen
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
43 /46
Weitere Beispiele
• -> Video on Demand
• -> Start Up Trailer
• Vergleich:-> Flash(190KB) mit -> BIFS(136KB)
• Einleitung
• Strukturen
• Audio
• Video
• Extras– Profile
– Sicherheit
– Ergebnisse
– Beispiele
– Ausblick
– Quellen
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
44 /46
Ausblick
• MPEG 7 - Multimedia Content Description Interface– Toolset um MM-Inhalte zu
beschreiben (Metadaten, Strukturen, Beziehungen...)
– Einfachere Suche nach MMI im Netz und Datenbanken
– Ergänzt MPEG 4– Beinhaltet keine Kompression
• Einleitung
• Strukturen
• Audio
• Video
• Extras– Profile
– Sicherheit
– Ergebnisse
– Beispiele
– Ausblick
– Quellen
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
45 /46
Noch Ausblickender
• MPEG 21– umfassende Lösung für Zugriff auf
Digitale Medien– beinhaltet anbieten, suchen, kaufen,
DRM, etc.
• Einleitung
• Strukturen
• Audio
• Video
• Extras– Profile
– Sicherheit
– Ergebnisse
– Beispiele
– Ausblick
– Quellen
23 Januar 2003 MPEG 4 Seminararbeit von Martin Goralczyk
46 /46
Quellen
• Internet– Google
– www.m4if.org
– www.envivio.com
– graphics.cs.uni-sb.de/Courses/ws9900/cg-seminar
• Einleitung
• Strukturen
• Audio
• Video
• Extras– Profile
– Sicherheit
– Ergebnisse
– Beispiele
– Ausblick
– Quellen