Wozu braucht man Vektorrechnung bei derDatenübertragung?

Henrik Schulze

Fachhochschule Südwestfalen Meschede

Nürnberg, 2011-06-07

Überblick

Eigenschaften von Vektoren Signale als Vektoren

Projektion, Skalarprodukt und OrthogonalitätDetektoren und Matched FilterInterferenzfreiheit und orthogonale Signale ( OFDM)

Gaußsches Rauschen als Vektor

Physikalische Messung und mathematisches ModellOptimale Empfänger und Projektionen

Kanalcodierung und Vektoren im RN

Zusammenfassung und Ausblick

2

Vektoren

Vektoren a, b, c haben jeweils eine Richtung und einen Betrag(eine “Länge”) |a| , |b|, |c| . Man kann sie

addieren

a b

c = a + b und

mit einer Zahl (einem Skalar) σ

multiplizierena b = 5

2a

und erhält wieder Vektoren, wobei die üblichen Rechengesetzegelten (Distributiv-, Assoziativ-, Kommutativgesetz).

Vektorraum -Struktur

3

Diskrete Signale sind Vektoren

Nicht nur die vertrauten 2D- oder 3D- Vektoren haben dieseStruktur, sondern auch N-dimensionale diskrete Signales [n] , s (Audiosamples o.ä.):

s =

s1

s2...

sN

mit s1 = s [1] , s2 = s [2] , ...

Unendliche Dimension (N → ∞) ist möglich: Diskrete Signaleendlicher Energie

Es =∞∑

n=1

|sn|2 < ∞

bilden einen Vektorraum, weil

Es, Er < ∞ ⇒ Es+r < ∞ und Eσs < ∞

4

Zeitsignale als Vektoren

Nicht nur diskrete Signale haben diese Struktur, sondern auch(diverse Klassen von) von Signalen (z.B. die stetigenFunktionen). Man kann sie genauso addieren und mit Skalarenmultiplizieren.

Funktionen mit gewissen Eigenschaften sind Vektoren!

Die quadratintegrablen Funktionen sind Vektoren Das sindgerade die Signale s (t) mit endlicher Energie

Es =

∫ ∞

−∞|s (t)|2 dt < ∞

Denn: Bei Addition und Multiplikation mit einem Skalar bleibtdie Energie endlich:

Es,Er < ∞ ⇒ Es+r < ∞ und Eσs < ∞

5

Koordinatensysteme: Kraftvektor

Beispiel: Kraftvektor im 3D

F = F1e1 + F2e2 + F3e3

e1, e2, e3: Basis eines kartesischen Koordinaten-SystemsF1, F2, F3: Koordinaten in dieser Basis (=Projektionen)

F

F1

F2

e1

e2

6

Koordinatensysteme: Signalvektor

Beispiel: Übertrage Vorzeichen-Symbole si mit dem Puls g (t)im Symboltakt T :

0 T 2T 3T 4T

+g(t) +g(t − T ) +g(t − 3T )

t

−g(t − 2T )

s(t)

s (t) = s0g (t) + s1g (t − T ) + s2g (t − 2T ) + ...+ sLg (t − LT )

Die verzögerten Pulse gi (t) = g (t − iT ) sind die Basis und dieSymbole si sind die Koordinaten in dieser Basis.

s (t) = s0g0 (t) + s1g1 (t) + ...+ sLgL (t)

7

Skalarprodukt – geometrisch

Im euklischen Raum (z.B. 3D): u · v = |u| · |v| cosϕ

·ϕ

u

v|u| cosϕ

Mit Skalarprodukten beschreibt man Projektionen :

·ϕ

v F‖

F

F⊥

F‖ = (v · F) v

ist die Komponente der Kraft F parallel zum Einheitsvektor v

8

Das Skalarprodukt in Dirac- SchreibweiseDie Bra-Ket-Notation der Quantenmechanik

Schreibweise:u · v 〈u | v〉

Bracket : 〈u| nennt man Bra -Vektor, |v〉 nennt man Ket -Vektor.

Projektion der Kraft auf den Einheitsvektor v:

F‖ = v (v · F) | F‖〉 = |v〉 〈v | F〉

ist die Komponente der Kraft F parallel zum Einheitsvektor vund

| Pv〉 = |v〉 〈v|ist der Projektor auf den (Einheits-) Vektor v.

Projektion = Multiplikation mit einem Bra-Vektor 〈v|

9

Berechnung des Skalarproduktes; Orthogonalität

Für (komplexe) Vektoren u, v mit Koordinaten ui und vi :

〈u | v〉 =∑

i

u(∗)i vi

Für (komplexe) Signale u , u (t) und v , v (t) endlicherEnergie:

〈u | v〉 =∫ ∞

−∞u(∗) (t) v (t) dt

Definition: |u〉 und |v〉 nennt man orthogonal, falls

〈u | v〉 = 0

Schreibweise: | u〉 ⊥| v〉

10

Orthogonalität der Quadraturkomponenten

Quadraturmodulation der Tiefpass-Signale x (t) und y (t):

s (t) =√

2 x (t) cos (2πf0t)−√

2 y (t) sin (2πf0t)

x (t) cos (2πf0t) ⊥ y (t) sin (2πf0t)

y(t)

x(t)

t

z (t) = x (t) + jy (t) ≃ s (t) =(

x (t)y (t)

)

11

Orthonormale Basis und Koordinaten als Projektionen

Orthonormale1 Basisvektoren |ei〉:

〈ei | ek〉 = δik

Entwicklung nach einer orthonormalen Basis:

|u〉 =∑

k

uk |ek〉 y (Projektion auf | ei〉)

〈ei | u〉 =∑

k

uk〈ei | ek 〉 y (wegen 〈ei | ek〉 = δik )

ui = 〈ei | u〉

Die ui sind die Projektionen auf die Basis vektoren | ei〉.

1Orthonormal steht für orthogonal und normiert

12

Signale als diskrete, endlich-dimensionale Vektoren

Die Signale

s (t) =

L∑

i=1

si ei (t) bzw.

|s〉 =

L∑

i=1

si |ei〉

kann man sich als Vektoren im L - dimensionalen Raumvorstellen:

| s〉

s1

s2

| e2〉

| e1〉

Wegen si = 〈ei | s〉 ist 〈ei | der Detektor für das Symbol si .In der Nachrichtentechnik nennt man ihn Matched Filter

13

Trennbarkeit: Freiheit von Intersymbolinterferenz (ISI)Trennbarkeit =Orthogonalität.

Grundprinzip:

......

∑ s2

s3

Orthogonale Detektoren

s1e1(t)

s2e2(t)

s3e3(t)

∑

k skek (t)

s1∫∞

−∞e∗

1(t)(·)dt

∫∞

−∞e∗

2(t)(·)dt

∫∞

−∞e∗

3(t)(·)dt

Der Detektor

〈ei |,∫ ∞

−∞e∗

i (t) (·) dt

filtert die Information si zu Puls Nr. i heraus und blendet alleanderen aus, – wie ein Polarisationsfilter

Stichworte: Matched-Filter (MF) - Empfänger,Korrelationsempfänger, OFDM-Filterbank

14

Beispiele für orthonormale Basis (-Signale)

Basis-Signale ei (t), die die Orthonormalitätsbedingung

〈ei | ek〉 =∫

e(∗)i (t) ek (t) dt = δik

erfüllen:

1 Pulse g (t) im Symboltakt T : t

h(t)

0−T T 2T 3T

ei (t) = g (t − iT )

Orthogonalitätsbedingung ⇔ h (t) = g(∗) (−t) ∗ g (t) erfülltdie Nyquistbedingung h (iT ) = δi0

2 Die Fourier-Basissignale

ek (t) =1√T

exp(

j2πktT

)

für das Intervall [0,T ] sind orthonormal OFDM =Orthogonal Frequency Division Multiplexing

15

OFDM= Orthogonal Frequency Division Multiplexing

Fourier-Basissignale auf [0,T ] :

ek (t) =1√T

ej2πfk t mit fk =kT

Sendesignal mit Daten in {sk}K/2k=−K/2:

|s〉 =

K/2∑

k=−K/2

sk |ek〉

Fourieranalyse (=Projektion) liefert die Koordinaten zurück:

sk = 〈ek |s〉 =∫ T

0

1√T

e−j2πfk ts (t) dt

16

Übertragung mit Rauschen“Without noise, communication is no fun!” (James Massey)

Betrachte reellen AWGN (additive white Gaussian noise)-Kanal:

r (t) = s (t) + n (t)

Das Sendesignal s (t) ist endlich-dimensional, aber das weißeRauschen n (t) ist kein anständiges Signal:

Weißes Rauschen gibt es physikalisch nicht (P = ∞)

AWGN ist eine mathematische Fiktion2, ähnlich dem δ-Puls

es ist als Grenzwert anständiger Signale zu erklären oder

man muss mit anständigen Signalen multiplizieren undüberintegrieren Filtern

Außerdem ist das weiße Rauschen ein stochastischer Prozess.

2eine verallgemeinerte Funktion oder Distribution

17

Wie definiert man (reelles) AWGN?Skizze einer mathematischen Formulierung durch eine physikalische Messvorschrift

Definition

AWGN der Dichte N0 ist ein (distributiver) stochastischerProzess n (t) mit folgender Eigenschaft: Für ein beliebigesreelles Signal g (t) mit endlicher Energie ist

ng , 〈g | n〉 =∫ ∞

−∞g (t)n (t) dt

eine mittelwertfreie Gaußsche Zufallsvariable (GZV) derVarianz

E{

n2g

}

=N0

2〈g | g〉 .

Das Rauschen ist also durch seine Detektor-Outputs definiert!Diese liefert z.B. ein Spectrum Analyser

18

Exkurs: Prinzip eines (linearen) Messgerätes

Ein Messgerät liefert aus viele (lineare) Messungen zu jeder Messung gehört ein Detektor

...

Signal

Messwert 1

Messwert 2

Messwert 3

(ggf. + Statistik)Detektoren

Messgerät

Detektor〈g2 |

Detektor〈g3 |

Detektor〈g1 |

Die Menge aller theoretisch möglichen Messwerte3 legtdas Signal fest, – aber kein Gerät kann diese alle messen!Manche Signale sind nicht unterscheidbar – man nenntdas begrenztes AuflösungsvermögenDeshalb darf man auch mit fiktiven Signalen wie δ (t) odern (t) rechnen: Der Fehler ist nicht messbar!

3ggf. + deren Statistik

19

Detektion des Rauschen mit orthonormaler Basis

Betrachte orthonormale Basis von Pulsen ei (t) , |ei〉 und diezugehörigen Detektoren 〈ei |. Detektor-Outputs sind die GZV

ni = 〈ei | n〉 =∫ ∞

−∞ei (t) n (t) dt

mit der Varianz

E{

n2i

}

=N0

2.

Satz

Die GZV ni sind unkorreliert (und damit statistisch unabhängig):

E{nink} =N0

2δik

20

Einschub: Beweis durch Charakteristisches Funktional

Beweis.

Für AWGN gilt nach Definition

C [g] = E{

ej〈g|n〉}

= e−12σ

2〈g|g〉 , σ2 = N0/2.

Berechne − C [λ1g1 + λ2g2]|λ1,λ2=0 und erhalte

E{〈g1 | n〉〈n | g2〉} = σ2〈g1 | g2〉

Mit g1 = e1 und g2 = e2 folgt die Behauptung.

21

Was braucht der Empfänger?

Sendesignal:

s (t) =L∑

k=1

skek (t) mit 〈ei | ek 〉 = δik

Empfangssignal:r (t) = s (t) + n (t)

Detektor-Outputs ri = 〈ei | r〉 diskreter Kanal:

ri = si + ni bzw. als Vektoren geschrieben:

r = s + n

Problemstellung:

Welche Folge {sk}Lk=1 wurde am wahrscheinlichsten

gesendet?Enthalten die {rk}L

k=1 alle nötige Information, um diese zuermitteln?

22

Sufficient Statistics der MF-Outputs

Die Antwort ist “Ja”!

Satz

Die Folge {rk}Lk=1 (bzw. der Vektor r) enthält alle Information

zur optimalen Schätzung der wahrscheinlichsten Sendefolge{sk}L

k=1 (des wahrscheinlichsten Sendevektors r).

23

Sufficient Statistics der MF-OutputsBeweisskizze

Gegeben: Die Detektor-Outputs ri zu ei (t) (i = 1, ...,L);gedachte zusätzliche Detektoren eL+1 (t) , ... orthogonal zue1 (t) , ...,eL (t) liefern Outputs nL+1, ...

Rauschvektor (alle Dimensionen)

.

s(r1, ..., rL)

(nL+1, ...)

Detektoren 1 bisLDimensionen zu den

n

Zusätzliche Detektoren

24

Sufficient Statistics der MF-OutputsBeweisskizze

Gegeben: Die Detektor-Outputs ri zu ei (t) (i = 1, ...,L);gedachte zusätzliche Detektoren eL+1 (t) , ... orthogonal zue1 (t) , ...,eL (t) liefern Outputs nL+1, ...

Rauschvektor (alle Dimensionen)

.

s(r1, ..., rL)

(nL+1, ...)

Detektoren 1 bisLDimensionen zu den

n

Zusätzliche Detektoren

Damit erhält man aber nicht mehr brauchbare Information alsdurch den Vektor r = s + n

25

Sufficient Statistics der MF-OutputsBeweisskizze

Gegeben: Die Detektor-Outputs ri zu ei (t) (i = 1, ...,L);gedachte zusätzliche Detektoren eL+1 (t) , ... orthogonal zue1 (t) , ...,eL (t) liefern Outputs nL+1, ...

Rauschvektor (alle Dimensionen)

.

s(r1, ..., rL)

(nL+1, ...)

Detektoren 1 bisLDimensionen zu den

n

Zusätzliche Detektoren

Damit erhält man aber nicht mehr brauchbare Information alsdurch den Vektor r = s + n

Denn: Wegen der Orthogonalität sind die nL+1, ... statistischunabhängig von s und r ⇒ Pr (s | r,nL+1, ...) = Pr (s | r)

26

Maximum Likelihood Sequence Estimation (MLSE)

Diskreter, L-dimensionaler AWGN-Kanal:

r = s + n

Annahme: Alle Sendevektoren s sind gleich wahrscheinlich.Die bedingte Wahrscheinlichkeit für s bei gegebenemDetektor-Output r lautet:

Pr (s | r) ∝ p (r | s) = (πN0)−N

2 exp

(

−|r − s|2N0

)

Maximal, wenn|r − s| !

= min

Man schreibt auch für den wahrscheinlichsten Sendevektor

s = arg mins

(|r − s|)

27

MLSE – geometrisch

Minimiere die quadratische euklidische Distanz (QED):

r

s1

s4

s3

s2 = s

s = arg mins (|r − s|) = s2 ist der ML-Vektor

28

Paarfehlerwahrscheinlichkeiten im AWGN-Kanal

Fehlerereignis: Sende s1, aber Empfänger entscheidet auf s2

Entscheiderschwelle

s1s2 = s

r

∆12

n

0 2 4 6 8 1010

−5

10−4

10−3

10−2

10−1

100

∆122 /N

0 [dB]

Paa

rfeh

lerw

ahrs

ch.

Fehlerwahrscheinlichkeit:

Pr (s1 → s2) =1√πN0

∫ ∞

∆12

e− 1

N0x2

dx =12

erfc

√

∆212

N0

29

MLSE – geometrisch ⇒ Korrelationsempfängerbei Signalen gleicher Energie

Es gibt M mögliche Sendesignale. Wichtiger Spezialfall:

|s1|2 = |s2|2 = ... = |sM |2

alle Signale haben die gleiche Energie. Dann gilt4:

s = arg mins

(|r − s|) ⇔s = arg max

s(s · r)

Maximiere die Korrelation ⇔ minimiere den Winkel:

r

s1ϕ1

ϕ2

s2 = s

4Binomische Formel: |r − s|2 = r · r − 2s · r + s · s

30

Das Prinzip der Kanalcodierunggeometrisch interpretiert (Informationstheorie; Shannon 1948)

In höher-dimensionalen Räumen ist viel Platz! Kann große Distanzen zwischen Vektoren s k erzielen

Betrachte z.B. 2K Sendevektoren der Länge N

sk =

s1k

s2k...

sNk

, sik ∈ {±1} (BPSK)

und übertrage damit nur K statt N Bits (K < N).

2K statt 2N Vektoren; Codematrix S = [s1, ..., sN ]

(N,K )-Blockcode mit N − K Bits Redundanz

Redundanz vergrößert Distanzen, verringert aber die Bitrate.

31

Beispiel: Tetraeder-Code = (3,2)-SPC-CodeSPC=Single Parity Check

−2

0

2

−2

0

2−2

−1

0

1

2

r1

3D−Konstellation bei SNRI=10 dB

r2

r 3

S =

1 1 −1 −11 −1 1 −11 −1 −1 1

32

Decodierbeispiel für den Tetraeder-Code

Empfangsvektor: r =(

0.1 0.7 −0.5)T

MLSE-Skalarprodukte stehen in der Zeile

rTS =(

0.1 0.7 −0.5)

1 1 −1 −11 −1 1 −11 −1 −1 1

=(

0.3 −0.1 1.1 −1.3)

s3 =

−11

−1

ist der ML-Vektor.

Der SPC-Code kann Fehler korrigieren, wenn man denrichtigen Decoder verwendet!

33

Zusammenfassung und Anmerkungen

Vektoren in der Signaltheorie: Die Anschauung erleichtertden Formalismus

Oft reichen Bilder in zwei Dimensionen

Viele moderne Übertragungsverfahren lassen sichgeometrisch veranschaulichen.Beispiel: Mehrfach-Antennensysteme (MIMO)

Übrigens: Schon Shannon hat seine berühmte Formel zurKanalkapazität geometrisch erklärt

34