GDNÄ 2012: Prof. Heinz Gerhäuser über die "Faszination MP3"

© Fraunhofer IIS

127. Versammlung der Gesellschaft Deutscher Naturforscher und Ärzte (GDNÄ)

14. Bis 18. September 2012 Georg-August-Universität Göttingen

Faszination mp3 – Wie ein Audiocodierverfahren die Welt verändert hat

Prof. Dr. Heinz Gerhäuser, Institutsleiter (i. R.) Fraunhofer-Institut für Integrierte Schaltungen IIS

n  Die Fraunhofer-Gesellschaft und das Institut Fraunhofer IIS

n  Am Anfang war die Idee

n  Grundlegende Untersuchungen

n  Ein langer steiniger Weg

n  Der Durchbruch

n  Spektakulärer Erfolg

Inhalt

© Fraunhofer IIS 2 2

Fraunhofer in Deutschland

n  Gegründet 1949, Zentrale in München

n  60 Institute plus Forschungsinstitutionen, Arbeitsgruppen, Außenstellen und Anwendungszentren an 40 Standorten

n  Mehr als 20.000 Mitarbeiter

n  Budget: 1,8 Milliarden €

n  ca. 2/3 der Finanzierung durch Vertragsforschung und öffentliche Projekte

München

Holzkirchen

Freiburg

Efringen- Kirchen

Freising Stuttgart

Pfinztal Karlsruhe Saarbrücken

St. Ingbert Kaiserslautern

Darmstadt Würzburg

Erlangen

Nürnberg

Ilmenau

Schkopau

Teltow

Oberhausen

Duisburg

Euskirchen Aachen St. Augustin Schmallenberg

Dortmund

Potsdam Berlin

Rostock

Lübeck Itzehoe

Braunschweig

Hannover

Bremen

Bremerhaven

Jena

Leipzig

Chemnitz

Dresden

Cottbus Magdeburg

Halle

Fürth

Wachtberg

Ettlingen

Kandern

Oldenburg

Freiberg

Paderborn

Kassel

Gießen Erfurt

Augsburg

Oberpfaffenhofen

Garching

Straubing

Bayreuth

Bronnbach

Prien

Hamburg


Fraunhofer-Institut für Integrierte Schaltungen IIS

Gegründet: 1985

Standorte in Erlangen, Fürth, Nürnberg, Dresden, Ilmenau, Würzburg, Bamberg, Waischenfeld

Mitarbeiter: > 750

Budget: ca. € 95 Mio. Finanzierung > 75% Projekte < 25% Grundfinanzierung

www.iis.fraunhofer.de


Geschäftsfelder am Fraunhofer IIS

n  IC-Design und Entwurfsautomatisierung

n  Audio/Video/Multimedia

n  Digitale Rundfunksysteme

n  Kommunikationsnetze

n  Bildsysteme und Qualitätssicherung

n  Navigation, Lokalisierung und Robotik

n  Eingebettete Systeme

n  Logistik

n  Medizintechnik

n  Energiemanagement


Hervorragende technische Ausstattung

Schalllabor, digital ausgestattetes Kino, Bildaufnahmestudio, Rundfunkstudio, Antennenmessraum, Antennenmast 50 m, Satellitenradio Uplink-Station, ...


Ende der 70er Jahre, Anfang der 80er Jahre

Idee von Prof. Seitzer, Friedrich-Alexander- Universität Erlangen-Nürnberg, Musiksignale über Telefonleitungen zu übertragen

1411 kbit/s

Unkomprimierte Musik: 1411 kbit/s würde ca. 22 Telefon- leitungen belegen

2 x 64 kbit/s 2 ISDN-B Kanäle

?

Prof. Dr.-Ing. Dieter Seitzer Gründungsdirektor des Fraunhofer IIS


Vorarbeiten an der Universität Erlangen-Nürnberg n  Forschung auf dem Gebiet der digitalen

Signalverarbeitung in Echtzeit startete 1978. Ein Bit-Slice-Signalprozessor wurde 1979 realisiert (Gerhäuser)

n  Forschung auf dem Gebiet von Algorithmen für die Audiocodierung begann 1980 an der Universität Erlangen-Nürnberg (Brandenburg)

n  Die Algorithmen wurden am Anfang per Computersimulation an einem Laborrechner entwickelt (für 15 Sekunden Musik war eine Rechenzeit von mehr als 5 Stunden notwendig)

n  Signalverarbeitung in Echtzeit spielte eine Schlüsselrolle

n  Am 1985 gegründeten Fraunhofer IIS begannen die Forschungsarbeiten auf dem Gebiet der Audiocodierung 1986

1979: Erste Hardware für die Audiocodierung am Lehrstuhl für Technische Elektronik, Universität Erlangen-Nürnberg


Integrierte Schaltung für den ersten MP3-Spieler

Layout des ersten Single-chip Decoders MAS3503C für das Audiocodierverfahren MPEG 1 Layer 3 (mp3) von Intermetall von 1994

Quelle: Micronas

4k Worte RAM

4k Worte ROM

1 Wort = 20 Bit

CPU

Prozess: 0,8 µm CMOS Chipfläche: ca. 50 mm2,

Verlustleistung: 200 mW @ 3V

Firmware von Fraunhofer IIS


Fraunhofer IIS »Home of mp3«

Entwicklung der Audiocodierung in Erlangen:

n  seit 1981 Forschungsthema an der Uni Erlangen

n  seit 1986 Audio-Codierung am Fraunhofer IIS

n  1992: MPEG-1 Layer 3 wird Internationaler Standard

n  1997: der mp3-Internet Boom beginnt

n  1997: der Nachfolger MPEG-2 AAC wird internationaler Standard

n  1999: mp3 ist de-facto Standard für Musik im Internet

n  2000: Zukunftspreis des Bundespräsidenten für mp3

1987: der erste echtzeitfähige Stereo-Audio-Codec

2007: 20 Jahre später


About 30-times data reduction and compression by the same quality

Ori

gin

al

Verringerung der Bitraten für eine Audioqualität nahe an CD-Qualität für verschiedene Audiocodecs

1411

192 160 128 96 64 24 0

200 400 600 800

1000 1200 1400 1600

PCM MPEG-1 L2

AC-3 MP3 MPEG-2 AAC

MPEG-4 AAC

HE-AAC v2

Mehr als 50-fache Reduktion und Kompression der anfallenden Datenmenge bei nahezu gleich bleibender Qualität!

Ori

gin

al

Datenraten in kbit/s, Stereo


Wie funktioniert Audiocodierung?


Schallwellen

Schallwellen entstehen wenn bei der Klangerzeugung eines Objektes die umgebende Luft verdrängt und dadurch der Luftdruck verändert wird.

Zeit

Dieser Abstand wird Amplitude genannt

Dieser Abstand bestimmt die Frequenz der Welle


Eine einzelne Welle ist ein einzelner Ton

Musik als Zusammensetzung von Tönen und Geräuschen

www.lehrklaenge.de

Schallwellen


Universalität durch Digitalisierung

Analoge Anzeige: •  unendlich viele Zeitpunkte •  fließende Übergänge

Digitale Anzeige: •  endlich viele

Zustände •  Übergänge in diskreten Stufen

Bedeutung von »Digital« in der Technik:

n  Umwandlung und Darstellung von analogen Signalen (z. B. Zeit, Temperatur, Spannung, …) als wert- und zeitdiskrete Zahlenfolgen

22:09:37

n  Weiterverarbeitung, Speicherung und Übertragung meist als Binärfolge von Nullen und Einsen durch digitale Elektronik in Geräten und Systemen

n  Darstellung im Computer:

Bit (0 oder 1) und Bytes (1 Byte = 8 Bit, 28 = 256 mögliche Kombinationen)

n  Beispiel: Umwandlung einer Dezimalzahl in eine Dualzahl

[173]10 = [1010 1101]2 = 1·27 + 0·26 + 1·25 + 0·24 + 1·23 + 1·22 + 0·21 + 1·20

n  Größere Einheiten: 1 KiloByte, 1 MegaByte, 1 GigaByte, 1 TeraByte


Binäre Informationsdarstellung (0, 1) erlaubt:

n  Einheitliche Verwendung von Bits und Bytes unabhängig von der Art der Information (Text, Sprache, Musik, Grafik, Bilder, Videos)

n  Einheitliche Technik für die digitale Signalverarbeitung (digitale Schaltkreise, Prozessoren)

n  Verlustfreies Kopieren, Speichern und Übertragen

n  Vielfältige Verarbeitungsmöglichkeiten

n  Verschlüsselung und elektronische Signatur

n  Qualität wird nur durch den Aufwand begrenzt

Digitale Darstellung der Information


Analoges Signal:

Die Anzahl der Abtastwerte (Samples) pro Sekunde ist die »Sample-Rate«

Audio-CD hat 44.100 Abtastwerte pro Sekunde

Kleinster Wert ist -32,768

Diskretes, digital dargestelltes Signal:

Größter Wert: 32,767

Abtastung und Quantisierung von Musik


CD: Bandbreite: 16 Hz – 20 kHz Abtastfrequenz: 44,1 kHz (44.100 Abtastwerte pro Sekunde)

Digitales Signal Abtastrate: Anzahl der Abtastwerte pro Sekunde

Telefon: Bandbreite: 300 Hz - 3,4 kHz Abtastfrequenz: 8 kHz (8.000 Abtastwerte pro Sekunde)


Telefon: Bandbreite: 300 Hz - 3,4 kHz Abtastfrequenz: 8 kHz (8.000 Abtastwerte pro Sekunde)

Digitales Signal Abtastrate: Anzahl der Abtastwerte pro Sekunde

CD: Bandbreite: 16 Hz – 20 kHz Abtastfrequenz: 44,1 kHz (44.100 Abtastwerte pro Sekunde)


Digitales Signal Quantisierung: Bit pro Abtastwert (Sample)

16 Bit 8 Bit 4 Bit

Beispiel: CD 16 Bit = 65.535 mögliche Werte für jeden Abtastwert 8 Bit: 256 Werte, 4 Bit: 16 Werte



16 Bit 8 Bit 4 Bit


16 Bit 8 Bit 4 Bit


© Fraunhofer IIS 22

n  Nur ein Bruchteil der Information ist tatsächlich nötig für guten Klang!

n  Kernideen: »Redundanzreduktion« und »Irrelevanzreduktion«

Warum funktioniert Datenreduktion?

Max. 10% relevant Redundanz

Irrelevanz

Redundante Signalanteile kann man ohne Informationsverlust entfernen

è verlustlose Audiocodierung

è Mittlere Reduktion auf die Hälfte

Irrelevante Signalanteile sind für den Empfänger ohne Bedeutung;

Reduktionsfaktor: 8...32 bei sehr guter Tonqualität erreichbar

Reduktion ist - obwohl nicht hörbar – ein Informationsverlust (verlustbehaftete Audiocodierung)


Musik

Sprache

Was hören wir eigentlich? - Die Ruhehörschwelle Alles, was unterhalb der Ruhehörschwelle liegt, ist unhörbar

Ruhehörschwelle


Verschiebung der Ruhehörschwelle durch Lautsignal (Maskierung)

Wie hören wir? - Die Mithörschwelle

Der Mensch hört nicht alles gleich gut, es gibt »Maskierungseffekte«

Musik


Was überhören wir? - »Maskierte Töne«

Der Mensch hört nicht alles gleich gut, es gibt »Maskierungseffekte«

Musik Sprache


1000 Frequenz [Hz]

Lautstärke [dB] 160 Hz

Verdecker

0 -10 -20 -30

1200

7

Serie von Sinustönen mit der selben Frequenz und ansteigender Lautstärke

-40 -50 -60 -70 -80

6 5 4 3 2 1

Hörschwelle

Beispiel: Verdeckung im Frequenzbereich


MPEG-1 »Stammbaum«

IRT (MASCAM)

Philips

CCETT

Thomson Brandt (MSC)

AT&T (PXFM)

Fraunhofer-IIS Uni-Erl.(OCF)

MUSICAM

ASPEC

LAYER 1

LAYER 2

LAYER 3

Psychoacoustic model 2 (optional)

simplified version

CNET

(mp3)


Blockdiagramm MPEG-1 Layer 3 („mp3“) Encoder

Source: Herre, J.: Lecture „Advanced Topics in Perceptual Audio Coding”, FAU Erlangen, SS 09


Erste Einschätzungen zur Hardwarekomplexität von der amerikanischen Halbleiterindustrie 1990: »Complexity to high, to expensive!«

Blockdiagramm MPEG-1/2 Layer-3 („mp3“) Decoder


Status 1992:

Professionelle Anwendungen:

n  MPEG Layer-2 (Jingle-Abspieler, ISDN)

n  MPEG Layer-3 (nur einzelne Geräte)

n  Dolby AC-2 und andere

Consumeranwendungen:

n  MPEG Layer-1 (DCC)

n  MPEG Layer-2

n  DAB

n  CD-I (mit Video)

n  Dolby AC-2

n  kein MPEG Layer-3


FhG-Strategie 1993

Setzen auf den Markt für Profigeräte

Beginn der Zusammenarbeit mit Micronas (damals Intermetall)

Firma Telos Systems USA setzt auf Layer-3:

n  Kleine amerikanische Firma

n  Eigene Kapazität zur Entwicklung von Hardware

n  Sehr gutes Marketing im Rundfunkbereich

n  Wichtigste Person: Steve Church

Dialog-4 (Ludwigsburg) setzt auf Layer-3

Konferenz der Audio Engineering Society in New York 1993: Stimmungsumschwung


Sysiphus hatte es auch nicht schwerer :-)

Internes Meeting am Fraunhofer IIS 1995 »wir haben die Chance, Layer-3 zu dem Internet-Audio-Standard zu machen«

Jedoch:

n  1995: RealNetworks beginnt den Siegeszug, ohne mp3

n  1996: RealNetworks lizensiert eine Variante von Dolby AC-3

n  1997: Liquid Audio lizensiert Dolby Digital

n  1998: Lucent macht viel Werbung für EPAC

n  1999: Microsoft startet mit WMA ein eigenes Verfahren in Konkurrenz zu mp3 und AAC

n  1999: Sony verwendet ATRAC-3

Viele der genannten Firmen lizenzieren heute unsere Patente


1994 / 1995:

n  FAQ (Harald Popp), Internet als Vertriebsweg

n  Shareware als Marketinginstrument: gute Encoder/Decoder zum Testen für alle

n  Erste Pläne zu Echtzeitdecodierung auf PC’s

n  Weitere Anwender im Profibereich, Telos erreicht erheblichen Marktanteil

n  MPEG-2 Audio LSF-Erweiterungen werden fertiggestellt (LSF = low sampling frequency)

n  Der erste MASC Layer 3 - Decoderchip funktioniert


Wie mp3 sich im Internet durchsetzte:

n  Winplay3 als Demo, Name mp3 (14.7.95) Registriercodes bald im Netz verfügbar

n  l3enc / l3dec eigentlich nur für Profinutzer oder Bastler, Encoder sind teuer

n  Macromedia lizensiert Layer-3 n  Andere Decoder werden programmiert n  Erste Lizenz an Microsoft

n  Ein Windows-Encoder wird gestohlen, der Kopierschutz

entfernt und und kostenlos als Download-Software im Internet angeboten

n  mp3.com startet

n  Apple startet die Musik-Internet-Handelsplattform iTunes (verwendet AAC, die Nachfolgegeneration von mp3)

1995

1996

1997

2003:


Wesentliche Elemente des Erfolges:

Durchhalten: Eine Kerngruppe hat immer an den letztendlichen Erfolg geglaubt

Die »good guys«:

n  Wissenschaftlich korrekte Darstellung

n  Im Zweifel immer mit anderen zusammenarbeiten hat langfristig Freunde gebracht

n  Präsenz auf Tagungen und Messen: Wirkung manchmal erst nach langer Zeit

n  Ruf als führende Forscher lange vor dem wirtschaftlichen Erfolg

n  Vision mit Intuition kombinieren

n  Fehler vermeiden (z. B. Copyright-Diskussion)

n  Richtige Wege gehen (z. B. Bedeutung d. Internet)


Probleme der Musikindustrie mit mp3:

n  Folgendes wurde plötzlich um den Faktor 12 (die typische Kompressionsrate) billiger:

n  Kosten der Speicherung von Musik am PC

n  Kosten des Transfers von Musik über CD-ROM

n  Kosten der Übertragung von Musik über Internet

n  Beginnend mit amerikanischen Studenten, wurde der Austausch von mp3-Musik zum Volkssport

n  Analoge Kassetten erlauben keine Kopie der Kopie, mp3's behalten ihre Qualität (solange nicht zwischendurch decodiert/encodiert wird)

n  Die Herkunft von mp3's ist nicht feststellbar (anonymes Veröffentlichen ist möglich)


Piraten und die Musikindustrie

Erste mp3-Websites Ende 1996 / Anfang 1997 Sommer 1997: Gerichtsbeschlüsse, Bekanntmachung in USA Today

n  Reaktion: mehr Piraten

Rio PMP300 von Diamond (erster mp3-Player in den Läden) wird im Sommer 1998 angekündigt

Herbst 1998: Gerichtsverfahren gegen Diamond

Die RIAA (Recording Industry Association of America (RIAA - Verband der Musikindustrie in den USA) verliert das Gerichtsverfahren

n  Reaktion: mehr Piraten

Ende 1999: Napster tritt auf ...

Weltweit wird mp3 ein Thema für die Medien


Reaktionen der Musikindustrie

Zunächst: »geht uns nichts an«

Ab 1997: langsames Verstehen der Situation, Versuch durch Schließung von Web-Sites .mp3 zu verbannen

Bis heute ist es schwierig, legale elektronische Vertriebsrechte zu bekommen:

n  Wer soll in Zukunft das Geschäft betreiben ?

n  Oft ist die Rechtslage völlig unklar

Seit Ende 1997: Entstehen einer »alternativen« Musikverlagsbranche:

n  Elektronischer Vertrieb ohne Sicherheitssysteme

Gesicherte Systeme haben es bis jetzt doppelt schwer: wenig Content, Konkurrenz zu .mp3


Lizensierung im Internetzeitalter

Lizensierung über Thomson Multimedia

n  Seit 1999 in San Diego, Kalifornien

Fraunhofer war wesentlich an der Entwicklung der Lizenzmodelle beteiligt (1995 - 2000)

n  z. B. Verhandlungen bei Microsoft

Was nicht funktioniert hat:

n  Gebühr pro Decoder auch bei Software

n  Kopplung freier Decoder an Kopierschutz

n  Kein Content im geschützten Format

n  Konkurrenz durch andere Decoder

Was funktioniert:

n  Flexibilität, eingehen auf viele Geschäftsmodelle


Mitgliedschaft in Standardisierungsgremien und Organisationen


5 Generationen erfolgreicher Audio Codecs

1992 1997 2003 2007

mp3, mp3 Surround, mp3HD

AAC, AAC Low Delay

HE-AAC, HE-AACv2

MPEG Surround, AAC-ELD

xHE-AAC, -ELDv2

2012


Apple Facetime nutzt Fraunhofer-Codec AAC-ELD für beste Kommunikationsqualität

n  Apple Facetime ist die neue VoIP-Anwendung von Apple für iPhone, iPad und Mac OSX

n  Apple Facetime nutzt den Kommunikations-Codec Enhanced Low Delay AAC (AAC-ELD) für die Übertragung von Sprache in CD-Qualität

n  Das Fraunhofer IIS war maßgeblich an der Entwicklung von AAC-ELD beteiligt

Fraunhofer-Technologie in allen iPhone4, iPad2 und Mac OS X Lion Computern


MP3: Eine deutsche Erfolgsgeschichte!

n  MP3 sichert mehr als 10.000 Arbeitsplätze in Deutschland

n  MP3 garantiert 300 Millionen Euro an Steuereinnahmen pro Jahr

n  MP3 sichert der Fraunhofer-Gesellschaft jährlich Einnahmen in Millionenhöhe

n  Erster MP3-Decoderchip stammt aus Deutschland

n  Über 1000 Lizenznehmer von Audio-Patenten und hunderte erfolgreiche Produkte mit Fraunhofer- Software


Mehr als 1000 Lizenznehmer unserer Audiocodecs


International Audio Laboratories Erlangen

Einzigartige Konzeption und Struktur: Gemeinsame Forschungseinrichtung des Fraunhofer IIS und der Universität Erlangen-Nürnberg

n  Finanzierung vom Fraunhofer IIS für zunächst 10 Jahre (15 angestrebt)

n  Ziel: Top-Forschung im Gebiet Audio & Multimedia

Fraunhofer IIS Uni / FAU

Technische Fakultät Department EEI

Abteilungen Audio & Multimedia Echtzeitsysteme

(»IIS Labs«) 40 MA

(»AudioLabs-FAU«) 6 Professoren + 6 x 2 wiss. MA

International Audio Laboratories Erlangen

© Fraunhofer IIS

Erfolgsgeschichte MP3 – Am Fraunhofer IIS arbeiten heute mehr als 200 Experten auf dem Gebiet der Audiotechnik


Vielen Dank für Ihre Aufmerksamkeit

Viele in diesem Vortrag nicht genannte Kollegen des Fraunhofer IIS und von anderen Organisationen haben zum Erfolg von MP3 beigetragen. Ihnen danke ich an dieser Stelle ausdrücklich. Besondere Anerkennung gebührt: Bernd Edler, damals an der Universität Hannover James D. Johnston, damals bei den Bell Laboratories, USA Ernst Schroeder, damals bei Thomson Consumer Electronics in Deutschland

Education

GDNÄ 2012: Prof. Heinz Gerhäuser über die "Faszination MP3"