75
UNIVERSIDAD NACIONAL DE INGENIERÍA FACULTAD DE ELECTROTECNIA Y COMPUTACIÓN DEPARTAMENTO DE SISTEMAS DIGITALES Y TELECOMUNICACIONES SISTEMAS DE COMUNICACIONES I UNIDAD 2: PROBABILIDADES Y PROCESOS ESTOCASTICOS Curso 2005 Prof.: Ing. Marco A. Munguía Mena

Probabilidad y procesos estocásticos

Embed Size (px)

DESCRIPTION

Unidad 2, sistemas de comunicación, probabilidad de procesos estocásticos. Breve repaso y teoría, variables aleatorias discretas y continuas, valor esperado y varianza, y procesos estocásticos

Citation preview

Page 1: Probabilidad y procesos estocásticos

UNIVERSIDAD NACIONAL DE INGENIERÍAFACULTAD DE ELECTROTECNIA Y COMPUTACIÓNDEPARTAMENTO DE SISTEMAS DIGITALES Y TELECOMUNICACIONES

SISTEMAS DE COMUNICACIONES I

UNIDAD 2: PROBABILIDADES Y PROCESOS ESTOCASTICOS

Curso 2005

Prof.: Ing. Marco A. Munguía Mena

Page 2: Probabilidad y procesos estocásticos

CONTENIDO

• Breve Repaso: Probabilidad Y Teoría de Conjunto

• Variables Aleatorias Discretas

• Variables Aleatorias Continuas

• Valor Esperado y Varianza

• Procesos Estocásticos

Curso 2005

Page 3: Probabilidad y procesos estocásticos

PROBABILIDAD Y TEORIA DE CONJUNTOS

Curso 2005

Axiomas de Probabilidad

1. La Probabilidad nunca es Negativa: P[A] ≥ 0

2. La Probabilidad del Espacio Muestral es uno: P[S] = 1

3. Las Probabilidades de Eventos que son Mutuamente Exclusivos pueden ser sumadas:

Ai ∩ Aj = Φ cuando i ≠ j

P[A1 U A2 U ….] = P[A1] + P[A2] + ……

Page 4: Probabilidad y procesos estocásticos

PROB. Y TEORIA DE CONJUNTOS (Cont.)

A

B

Curso 2005

Propiedades de Grupos de Conjuntos

Un Grupo de Conjuntos A1, ……, AN son Mutuamente Exclusivos si y solamente si:

Ai ∩ Aj = Φ cuando i ≠ j

Cuando sólo hay 2 conjuntos en el grupo, se dice que los conjuntos son: Disconjuntos.

Un Grupo de Conjuntos A1, ……, AN son Colectivamente Exhaustivos si y solamente si:

A1 U A2 U ….. U AN = S

Page 5: Probabilidad y procesos estocásticos

PROB. Y TEORIA DE CONJUNTOS (Cont.)

Probabilidad Condicional

Curso 2005

La Probabilidad de ocurrencia del evento A dado que ocurrió B es:

[ ] [ ][ ]BPABPBAP =|

Propiedades:

1. P[A|B] ≥ 0

2. P[B|B] = 1

3. Si A = A1 U A2 U … con Ai ∩ Aj =Φ para i ≠ j

P[A|B] = P[A1|B] + P[A2|B] + …

Page 6: Probabilidad y procesos estocásticos

PROB. Y TEORIA DE CONJUNTOS (Cont.)

Curso 2005

Ley Total de la Probabilidad

Si B1, B2, …, Bm son un conjunto de eventos mutuamente exclusivos y colectivamente exhaustivos y P[Bi] > 0, entonces:

[ ] [ ] [ ]∑=

=m

iii BPBAPAP

1|

B1 B4

B3B2

A

Page 7: Probabilidad y procesos estocásticos

PROB. Y TEORIA DE CONJUNTOS (Cont.)

Curso 2005

Teorema de Bayes

Para el evento A con P[A] > 0 :

[ ] [ ] [ ][ ]AP

BPBAPABP || =

Para un Event Space B1, B2, …,Bm con P[Bi] > 0, y utilizando la ley de la Probabilidad Total tenemos:

[ ] [ ] [ ][ ] [ ]∑

=

= m

iii

iii

BPBAP

BPBAPABP

1|

||

Page 8: Probabilidad y procesos estocásticos

PROB. Y TEORIA DE CONJUNTOS (Cont.)

Curso 2005

Eventos Independientes

Dos eventos A y B son Independientes, si y solamente si:

[ ] [ ] [ ]BPAPABP =

Los eventos A, B y C son independientes si y solamente si:

• A y B son independientes

• B y C son independientes

• A y C son Independientes

• P[A ∩ B ∩ C] = P[A]P[B]P[C]

Page 9: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS DISCRETAS

Curso 2005

Definición de Variable Aleatoria

Una Variable Aleatoria es una función, la cual asocia a cada resultado de un experimento un numero real.

Variable Aleatoria Discreta

X es una V.A.D. si el rango de valores de X es un conjunto contable.

Page 10: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS DISCRETAS (Cont.)

Curso 2005

Función de Masa de Probabilidad (PMF)

La PMF de una Variable Aleatoria Discreta X es:

donde X es la variables aleatoria y “x” es uno de los resultados del experimento.

[ ]xXPxPX ==)(

Propiedades: Para una V.A. X con PMF PX(x) y rango SX:

1. Para cualquier x, PX(x) ≥ 0

2. ∑x ЄSxPX(x) = 1

3. Para cualquier evento B incluido en SX , P[B] esta dado por:

P[B] = ∑ PX(x) xЄB

Page 11: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS DISCRETAS (Cont.)

Curso 2005

Ejemplo de PMF

Un jugador de baloncesto, toma 2 tiros libres, cada tiro es igualmente probable que sea encestado o no. Si cada tiro encestado equivale a un punto. Encuentre la PMF de Y, tal que Y sea el numero de puntos encestados.

Solución

Existen 4 diferentes resultados: bm, mb,mm y bb. Con un simple diagrama de árbol podemos demostrar que cada resultado tiene una probabilidad de ¼ y la V.A. Y tiene 3 posibles valores que corresponden a 3 eventos.

Page 12: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS DISCRETAS (Cont.)

Función de Masa de Probabilidad (PMF)

Curso 2005

{Y=0} = {mm} {Y=1} = {bm,mb} {Y=2} = {bb}

P[Y=0] = P[mm] = ¼, P[Y=1] = P[bm,mb] = ½, P[Y=2] = P[bb] = ¼

La PMF se puede expresar:

⎪⎪⎪

⎪⎪⎪

=

=

=

=

241

121

041

)(

y

y

y

yPY

Page 13: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS DISCRETAS (Cont.)

Curso 2005

Variable Aleatoria de Bernoulli

X es una variable aleatoria de Bernoulli, si su PMF tiene la forma:

⎪⎩

⎪⎨

⎧==−

=lugarotro

xpxp

xPX

0101

)(

donde el parámetro p esta en el rango 0 < p < 1.

Aplicable a todos aquellos experimentos donde sólo se tienen 2 posibles resultados.

Ej.: Lanzar una Moneda, Test de Cktos. Integrados (bueno o malo)

Page 14: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS DISCRETAS (Cont.)

Curso 2005

Variable Aleatoria Binomial

X es una variable aleatoria Binomial, si su PMF tiene la forma:

⎪⎩

⎪⎨

⎧=−⎟⎟

⎞⎜⎜⎝

⎛=

lugarotro

nxppxn

xPxnx

X

0

,.......,2,1,0)1()(

Donde: 0 < p < 1 y n es un número entero tal que n ≥ 1.

Aplicable para conocer el numero de éxitos en n intentos.

Ej.: El numero de bits erróneos en una secuencia de n bits transmitidos en un canal con probabilidad de error p.

Page 15: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS DISCRETAS (Cont.)

Curso 2005

Variable Aleatoria Uniforme

X es una variable aleatoria Uniforme, si su PMF tiene la forma:

⎪⎩

⎪⎨

⎧ +=+−=

lugarotro

lkkxklxPX

0

,....,1,)1(

1)(

donde k y l son números enteros tal que k < l

Ej.: Lanzamiento de un dado no alterado

Page 16: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS DISCRETAS (Cont.)

Curso 2005

Variable Aleatoria Geométrica

X es una variable aleatoria Geométrica, si su PMF tiene la forma:

⎩⎨⎧ =−

=−

lugarotroxpp

xPx

X 0.......,2,1)1(

)(1

donde p debe cumplir: 0 < p < 1. Aplicables cuando se quiere conocer el numero de intentos hasta lograr el primer éxito.

Ej.: El numero de exámenes tomados hasta aprobar el curso.

Page 17: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS DISCRETAS (Cont.)

Variable Aleatoria Poisson

Curso 2005

X es una variable aleatoria de Poisson, si su PMF tiene la forma:

⎪⎩

⎪⎨⎧

==

lugarotro

xxe

xP

x

X

0

......,2,1,0!)(

αα

donde α > 0, λ es la tasa de arribos y T es el intervalo de tiempo, teniendo que α = λT

Ej.: El número de llamadas que arriban a un conmutador telefónicos

Page 18: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS DISCRETAS (Cont.)

Curso 2005

PMF Condicional

Dado un evento B, con P[B] > 0. La PMF condicional de la variable aleatoria X se representa por:

[ ]BxXPxP BX |)(| ==

)(),(

)|(

]|[)|(

,|

|

yPyxP

yxP

yYxXPyxP

Y

YXYX

YX

=

===

Para cualquier evento Y = tal que PY(y) > 0, La PMF Condicional de X dado Y = y es:

Page 19: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS DISCRETAS (Cont.)

PMF Condicional

Curso 2005

La PMF Condicional de una variable aleatoria X dado el evento B debe de satisfacer:

⎪⎩

⎪⎨

⎧ ∈=

lugarotro

BxBPxP

xPX

BX

0][)(

)(|

Ahora, una variable aleatoria X que resulta de un experimento con event space B1, …, Bm su PMF se expresa por:

][)()(1

| i

m

iBXX BPxPxP

i∑=

=

Page 20: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS DISCRETAS (Cont.)

Curso 2005

Múltiples Variables Aleatorias Discretas

La PMF Conjunta de N Variables Aleatorias se representa así:

]........,,[).......,,( 111...,,1 nnnXX xXxXPxxPn

===

Para N = 2, tenemos:

],[),(, yYxXPyxP YX ===

)()|()()|(),( ||, xPxyPyPyxPyxP XXYYYXYX ==

Page 21: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS DISCRETAS (Cont.)

Curso 2005

Múltiples Variables Aleatorias Discretas

Propiedades:

∑ ∑∈ ∈

=Sxx Syy

YX yxP 1),(,

∑=

=

xYXY

yYXX

yxPyP

yxPxP

),()(

),()(

,

,

1.

2.

3.

4. B es un subconjunto de X,Y. La probabilidad de B es:

),(][),(

, yxPBPByx

YX∑∈

=

Page 22: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS DISCRETAS (Cont.)

Curso 2005

Variables Aleatorias Discretas Independientes

Dos Variables Aleatorias Discretas son independientes, si y solamente si:

)()|()()|(

)()(),(

|

|

,

yPxyPxPyxP

yPxPyxP

YXY

XYX

YXYX

=

=

=

Por lo tanto podemos deducir que:

Page 23: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS CONTINUAS

Curso 2005

Variable Aleatoria Continua

Cuando todos los valores que toma una Variable Aleatoria están dentro de un intervalo de los números Reales, se dice que V.A. es Continua.

Por ejemplo: A = {x | 1 < x < 25}

Page 24: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS CONTINUAS (Cont.)

Diferencias con respecto a V.A. Discretas

Curso 2005

• Espacio Muestral Discreto

- Un Numero finito de Resultados

- Cada Resultado tiene una probabilidad de Ocurrencia

• Espacio Muestral Continuo

- Tenemos un infinito número de Resultados

- Ejemplo: Obtener un número real entre 2 y 4

Page 25: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS CONTINUAS (Cont.)

Curso 2005

Función de Distribución Acumulativa (CDF)

Consideremos un evento particular en R :

• Evento X ≤ x Valor Superior de X

Variable Aleatoria

• FX(x) = P[X ≤ x] para todo x es llamada: Función de Distribución Acumulativa (CDF)

Page 26: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS CONTINUAS (Cont.)

Propiedades de la CDF

Curso 2005

0)( =−∞XF

1)( =∞XF

)()(][ 1221 xFxFxXxP XX −=≤<

1.

2.

3.

4. La CDF es una función Creciente de 0 a 1

Page 27: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS CONTINUAS (Cont.)

Función de Densidad de Probabilidad (PDF)

Curso 2005

Para eventos muy pequeños

FX(x)

x

ε

x1

1

FX(x1+ε) – FX(x1) = P[x1 < X ≤ x1+ε]

Page 28: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS CONTINUAS (Cont.)

Función de Densidad de Probabilidad (PDF)

Curso 2005

Si hacemos ε más pequeño y le calculamos el limite tenemos:

)(

)(

)()()( 11

0

11

0

xfdx

xdF

xFxFLimxXxPLim

X

X

XX

=

=

−+=

+≤<→→ ε

εε

εεε

Esta función es llama: Función de Densidad de Probabilidad

Page 29: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS CONTINUAS (Cont.)

Propiedades de la PDF

Curso 2005

∞−

∞−

=

<−==≤<

=

=

x

XX

x

xXXX

X

X

XX

duufxF

xxparaxFxFduufxXxP

duuf

xtodoparaxfdx

xdFxf

)()(

)()()(][

1)(

0)(

)()(

2

1

211221

1.

2.

3.

4.

5.

Page 30: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS CONTINUAS (Cont.)

Curso 2005

Variable Aleatoria Uniforme

⎪⎪⎩

⎪⎪⎨

>

≤<−−

=⎪⎩

⎪⎨⎧ <≤−=

bx

bxaabax

ax

xFlugarotro

bxaabxf XX

1

0

)(0

1)(

Donde a y b son números reales, además a < b

Page 31: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS CONTINUAS (Cont.)

Variable Aleatoria Exponencial

Curso 2005

⎩⎨⎧ ≥−

=

⎩⎨⎧ ≥

=

lugarotroxe

xF

lugarotroxea

xf

ax

X

ax

X

001

)(

00

)(

Para a > 0

Page 32: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS CONTINUAS (Cont.)

Variable Aleatoria de Rayleigh

Curso 2005

Para a > 0

⎪⎩

⎪⎨⎧ >−=

⎪⎩

⎪⎨⎧ >=

lugarotroxexF

lugarotroxeaxxf

xa

X

xa

X

001)(

00)(

2

22

22

22

Page 33: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS CONTINUAS (Cont.)

Variable Aleatoria Gausiana

Curso 2005

Donde µ es un numero real y σ > 0

⎟⎠⎞

⎜⎝⎛ −

Φ==

=

∫∞−

−−

−−

σµ

σπ

σπ

σ

µ

σ

µ

xduexF

exf

x x

X

x

X

2

2

2

2

2

)(

2

2)(

2

21)(

21)(

Page 34: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS CONTINUAS (Cont.)

PDF Condicional

Curso 2005

La PDF Condicional de una V.A. X dado un subconjunto B de resultados con P[B] > 0 se expresa por:

⎪⎩

⎪⎨

⎧ ∈=

lugarotro

BxBPxf

xfX

BX

0][)(

)(|

Para x tal que fX(x) > 0, la PDF condicional de Y dado que X = x es:

)(),(

)|( ,| xf

yxfxyf

X

YXXY =

Page 35: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS CONTINUAS (Cont.)

Múltiples Variables Aleatorias Continuas

Curso 2005

La CDF y PDF Conjuntas de N Variables Aleatorias se representa así:

n

nXXn

nXX

nnnXX

xxxxF

xxf

xXxXPxxF

n

n

n

∂∂

∂=

≤≤=

L1

1...,,.........1..,,.........

111,......,

),.........().,,.........(

],..........,[)........,,(

1

1

1

Page 36: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS CONTINUAS (Cont.)

Múltiples Variables Aleatorias Continuas

Curso 2005

Para N = 2, tenemos:

)()|()()|(),(

),(),(

),(),(

],[),(

||,

,2

,

,,

,

xfxyfyfyxfyxfyx

yxFyxf

dvduvufyxF

yYxXPyxF

XXYYYXYX

YXYX

x y

YXYX

YX

==∂∂

∂=

=

≤≤=

∫ ∫∞− ∞−

Page 37: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS CONTINUAS (Cont.)

Múltiples Variables Aleatorias Continuas

Curso 2005

Propiedades:

),(),(,1),(

0),(),(),()(),()(

1),(0

11,11

,

,,

,

,

,

11yxFyxFentoncesyyyxxSi

FxFyF

yFyFxFxF

yxF

YXYX

YX

YXYX

YXY

YXX

YX

≤≥≥

=∞∞

=−∞=−∞

∞=

∞=

≤≤

Page 38: Probabilidad y procesos estocásticos

Múltiples Variables Aleatorias Continuas

Curso 2005

Propiedades:

VARIABLES ALEATORIAS CONTINUAS (Cont.)

∫∫

∫ ∫

∞−

∞−

∞−

∞−

=

=

=

=

dxyxfyf

dyyxfxf

dydxyxfAP

dydxyxf

yxtodoparayxf

YXY

YXX

AYX

YX

YX

),()(

),()(

),(][

1),(

),(0),(

,

,

,

,

,

Page 39: Probabilidad y procesos estocásticos

VARIABLES ALEATORIAS CONTINUAS (Cont.)

Curso 2005

Variables Aleatorias continuas Independientes

Dos Variables Aleatorias Continuas son independientes, si y solamente si:

Por lo tanto podemos deducir que:

)()|()()|(

)()(),(

|

|

,

yfxyfxfyxf

yfxfyxf

YXY

XYX

YXYX

=

=

=

Page 40: Probabilidad y procesos estocásticos

Definición de Valor Esperado

Curso 2005

VALOR ESPERADO Y VARIANZA

V.A. Discreta:

Valor Esperado de algunas V.A. Discretas:

1. Bernoulli: E[X] = p

2. Geométrica: E[X] = 1/p

3. Poisson: E[X] = α

4. Binomial: E[X] = np

5. Uniforme: E[X] = (k + l)/2

[ ] ∑∈

==XSx

XX xxPXE )(µ

Page 41: Probabilidad y procesos estocásticos

Definición de Valor Esperado

Curso 2005

VALOR ESPERADO Y VARIANZA (Cont.)

V.A. Continua:

Valor Esperado de algunas V.A. Discretas:

1. Uniforme: E[X] = (b+a)/2

2. Exponencial E[X] = 1/a

3. Rayleigh: E[X] = √(π/2a2)

4. Gausiana: E[X] = µ

[ ] ∫∞

∞−

== dxxfxXE XX )(µ

Page 42: Probabilidad y procesos estocásticos

Propiedades del Valor Esperado

Curso 2005

VALOR ESPERADO Y VARIANZA (Cont.)

1. E[cX] = cE[X]

2. Var [ Constante ] = Constante

3. E[X +c] = E[X] + c

4. E[ X + Y] = E[X] + E[Y]

Page 43: Probabilidad y procesos estocásticos

Valor Esperado Condicional

Curso 2005

VALOR ESPERADO Y VARIANZA (Cont.)

Discreto:

Continuo:

[ ] ∑∈

==XSx

YX yxPxyYXE )|(| |

[ ] ∫∞

∞−

== dxyxfxyYXE YX )|(| |

Page 44: Probabilidad y procesos estocásticos

Valor Cuadrático Medio

Curso 2005

VALOR ESPERADO Y VARIANZA (Cont.)

Discreto:

Continuo:

[ ][ ] ∑

=

=

X

X

SxX

nn

SxX

xPxXE

xPxXE

)(

)(22

[ ]

[ ] ∫

∫∞

∞−

∞−

=

=

dxxfxXE

dxxfxXE

Xnn

X

)(

)(22

Page 45: Probabilidad y procesos estocásticos

Varianza

Curso 2005

VALOR ESPERADO Y VARIANZA (Cont.)

V.A. Discreta y Continua:

2222 ])[(][]])[[(][ XEXEXEXEXVar X −=−== σ

Desviación Estándar:

)(xVarX =σ

Nota: La Varianza siempre es Mayor que 0 (Cero)

Page 46: Probabilidad y procesos estocásticos

Propiedades de la Varianza

Curso 2005

VALOR ESPERADO Y VARIANZA (Cont.)

1. Si Y = aX + b, donde a y b son constantes, entonces:

Var[Y] = a2Var[Y]

2. Var [ Constante ] = 0

3. Var[-X] = Var[X]

4. Var[X + Y] = Var[X] + Var[Y] + 2E[(X - µX)(Y - µY)]

Page 47: Probabilidad y procesos estocásticos

Varianza

Curso 2005

VALOR ESPERADO Y VARIANZA (Cont.)

Varianza de algunas V.A. Discretas:

1. Bernoulli: Var[X] = p(1-p)

2. Geométrica: Var[X] = (1-p) / p

3. Binomial: Var[X] = np(1-p)

4. Poisson: Var[X] = α

5. Uniforme: Var[X] = (l-k) (l-k+2) / 12

Page 48: Probabilidad y procesos estocásticos

Varianza

Curso 2005

VALOR ESPERADO Y VARIANZA (Cont.)

Varianza de algunas V.A. Continuas:

1. Uniforme Var[X] = (b-a)2 / 12

2. Exponencial: Var[X] = 1 / a2

3. Rayleigh: Var[X] = (2 – π/2) / a2

4. Gausiana: Var[X] = σ2

Page 49: Probabilidad y procesos estocásticos

Varianza Condicional

Curso 2005

VALOR ESPERADO Y VARIANZA (Cont.)

Discreto y Continuo:

2|

22 ]|[]|])|[[(]|[ YXYXEYYXEXEYXVar µ−=−=

La Correlación

La Correlación de X e Y se expresa por:

∫ ∫

∑ ∑∞

∞−

∞−

∈ ∈

==

==

dydxyxfyxXYEr

yxPyxXYEr

YXYX

Sx SyYXYX

X Y

),(][

),(][

,,

,,

Page 50: Probabilidad y procesos estocásticos

Covarianza

Curso 2005

VALOR ESPERADO Y VARIANZA (Cont.)

YX

YX

XYEYXEYXCovµµ

µµ−=

−−=][

)])([(],[

Coeficiente de Correlación

11][][

],[,, ≤≤−= YXYX YVarXVar

YXCov ρρ

Page 51: Probabilidad y procesos estocásticos

Variables Aleatorias Independientes

Curso 2005

VALOR ESPERADO Y VARIANZA (Cont.)

0],[.5][][][.4

][]|[.3][]|[.2

][][][.1

,

,

==+=+

∈==∈==

==

YX

X

Y

YX

YXCovYVarXVarYXVar

SxtodoparaYExXYESytodoparaXEyYXE

YEXEXYEr

ρ

Page 52: Probabilidad y procesos estocásticos

Variables Aleatorias Ortogonales

Curso 2005

VALOR ESPERADO Y VARIANZA (Cont.)

Dos Variables Aleatorias X e Y son Ortogonales si la correlación es igual a CERO.

0][, == XYEr YX

Variables Aleatorias No Correlacionadas

Dos Variables Aleatorias X e Y son No Correlacionadas si la covariancia es igual a CERO.

0],[ =YXCov

Page 53: Probabilidad y procesos estocásticos

Definición

Curso 2005

PROCESOS ESTOCASTICOS

Consideremos un experimento aleatorio especificado por los resultados s de un Espacio Muestral S. Suponga que a cada resultado le asignamos una función de tiempo representada:

X(t,s) -T ≤ t ≤ T

donde 2T es el intervalo de observación total.

En un punto sj de la muestra, la grafica de la función X(t,sj), en función del tiempo t recibe el nombre función de muestra, la cual denotamos como: xj(t) = X(t,sj).

Page 54: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

La figura (próxima diapositiva) muestra un conjunto de funciones de muestra. Para un tiempo fijo tk dentro del intervalo de información el conjunto de números

{x1(tk), x2(tk), . . ., xn(tk)} = {X(tk,s1), X(tk,s2), . . ., X(tk,sn)}

que constituye una variable aleatoria. Por lo tanto tenemos una familia indexada de V.A. {X(t,s)}, que se le denomina proceso aleatorio. Por simplicidad, usaremos la notación: X(t) para representar un proceso aleatorio.

Page 55: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

Page 56: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

Tipos

Page 57: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

Las Cuatro Combinaciones

Page 58: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

Promedios Estadísticos

Media ∫∞

∞−

== dxxfxtXEtktXkkX )()]([)( )(µ

τ

Page 59: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

Varianza

( ) ( )∫∞

∞−

−=−= 22)(

2 )]([])([)()]([)]([ kktXkk tXEtXEdxxftXExtXVark

Covarianza: El comportamiento conjunto de un proceso X(t) en dos instantes de tiempo distintos es contenido en la función de autocovarianza

)()()]()([))]()(())()([(

)]()([),(

τµµττµτµ

ττ

+−+=+−+−=

+=

tttXtXEttXttXE

tXtXCovtC

XX

XX

X

Autocorrelación

Page 60: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

1. Si el valor de la covarianza es alto quiere decir que X(t) varía muy lento.

2. Si el valor de la covarianza tiende a cero, X(t) varía rápido.

∫∫ +=

=+=

),(all)(),( ),(

)]()([),(

yxtXtX

X

dydxyxfxy

tXtXEtR

τ

ττ

Autocorrelación

Page 61: Probabilidad y procesos estocásticos

Procesos IID (Independent Identically Distributed)

Es Decir

• Todos los X(tk) son mutuamente independientes.

• Todos los X(tk) tienen la misma PDF

LL

LLKKKK

)()()(

)()()(),,,,(

21

2121,,, 2121

kXXX

kXXXkXXX

xfxfxf

xfxfxfxxxfkk

=

=

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

Propiedades de la Autocorrelación

1. RX(0) ≥ 0

2. RX(t) = RX(-t)

3. |RX(t)| ≤ RX(0)

Page 62: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

Proceso Estacionario

Un proceso es Estacionario si y solamente si para todo un conjunto de instantes de tiempo t1, ……, tm y cualquier variación de tiempo se cumple:

τ

),,,(

),,,(

21)(,),(),(

21)(,),(),(

21

21

mtXtXtX

mtXtXtX

xxxf

xxxf

m

m

K

K

K

K

τττ +++=

=

Consecuencias

)()()( )()( xfxfxf XtXtX == +τ

Todas las PDF´s marginales son independientes del tiempo

1.

Page 63: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

XX XEtXEt µµ === ][)]([)(

22)( ][)]([ XtX XVartXVar σσ ===

Por lo tanto:

El Valor Esperado, la Varianza, la Autocorrelación y la Covarianza son independientes del tiempo

2)()(),(

)(),(

XXXX

XX

RCtC

RtR

µτττ

ττ

−==

=

Page 64: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

Proceso WSS (Wide Sense Stationary)

Para mostrar que un proceso es Estacionario es necesario calcular la PDF conjunta, lo cual es difícil de obtener. Un proceso puede ser estimado calculando su Valor Esperado y la Autocorrelación.

Si la Autocorrelación y la Media satisfacen lo propuesto por un proceso Estacionario, podemos llamar a este proceso Estacionarioen el sentido amplio (WSS).

Un proceso que es Estacionario es WSS pero un proceso que es WSS no es necesariamente Estacionario. (Excepción: Proceso Gasussiano)

2)()(),(

)(),()(

XXXX

XX

XX

RCtC

RtRt

µτττ

ττµµ

−==⇒

==

Page 65: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

La Potencia promedio de un proceso WSS se estima por:

222 )()]([)0( XXX tXER µσ +==

Filtrado de Procesos WSS

Page 66: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

1.

∫ ∫

∫∞

∞−

∞−

∞−

==−=

⎥⎦

⎤⎢⎣

⎡−=⊗=

)0()()]([)]([)(

)()()]()([)]([

hdsshtXEdsstxEsh

dsstxshEtxthEtYE

2.

)()()(

)()()(

))]()(())()([()]()([),(

τττ

τ

ττττ

X

X

Y

Rhh

dudvuvRvhuh

txthtxthEtYtYEtR

⊗−⊗=

+−=

+⊗+⊗=+=

∫ ∫∞

∞−

∞−

Page 67: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

Densidad Espectral de Potencia

ττπτ

τ

dfjR

RFfS

X

XX

)2exp()(

)}({)(

−=

==

∫∞

∞−

∫∞

∞−

∞−

=

=

dfefGtg

dtetgfG

ftj

ftj

π

π

2

2

)()(

)()(

∫∞

∞−

∞−

=

=

dffGg

dttgG

)()0(

)()0(

Recordando Fourier

Page 68: Probabilidad y procesos estocásticos

La Potencia promedio de un proceso X(t) se puede también expresar como:

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

∫∞

∞−

= dffSR XX )()0(

Si a la Autocorrelación del Proceso de salida le aplicamos la transformada de Fourier se obtiene:

)(|)(|)()()()(

)()()()(

2* fSfHfSfHfHfS

RhhR

XXY

XY

==

⊗−⊗= ττττ

Page 69: Probabilidad y procesos estocásticos

Función de Correlación Cruzada

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

¿Cuál es la relación entre X(t1) y Y(t2)?

)]()([),( ττ += tYtXEtRXY

Page 70: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

Propiedades de la Correlación Cruzada

1. Si X(t) y Y(t) son WSS entonces:

2.

3. Densidad Espectral Cruzada

4. Si X(t) es WSS y es el proceso de entrada de un filtro LTI, se tiene que Y(t) (WSS) y se puede expresar:

)(),( ττ XYXY RtR =

)()( ττ −= YXXY RR

{ } ∫∞

∞−

−== τττ τπ deRRFfS fjXYXYXY

2)()()(

)()()()()()( FSfHfSRhR XXYXXY =⇔⊗= τττF

Page 71: Probabilidad y procesos estocásticos

• Los Valores de Muestra X(t1), X(t2), …, X(tk) tienen una PDF gaussiana conjunta (multivariate).

• PDF Conjunta esta descrita por:– vector µX=[µX(t1), µX(t2), …, µX(tk)]T

– Matriz de Covarianza C

)()(),(),( jXiXijiXijiXij tttttRtttCC µµ−−=−=

⎟⎠⎞

⎜⎝⎛ −−−= − )()(

21exp

)2(1),,( 1

2121)(,),( 1 XT

XkktXtX xxfk

µµπ

xCxC

KK

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

Proceso Gaussiano

Page 72: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

Casos Especiales

N = 1 V.A. Gaussiana

N = 2 Bivariate PDF Gasussiana

21

211

1

2)(

21

1)(2

1)( σµ

σπ

−−

=x

tX exf

221

)1(2

))((2

21)(),(12

),(

2

2

2

22

21

22112

1

11

21 ρσπσ

ρ

σµ

σσµµρ

σµ

−=

⎥⎥⎥⎥⎥⎥

⎢⎢⎢⎢⎢⎢

⎟⎟⎠

⎞⎜⎜⎝

⎛ −+

−−−⎟⎟

⎞⎜⎜⎝

⎛ −

xxxx

tXtXexxf

Page 73: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

Proceso Blanco

El termino Proceso Blanco es usado para denotar un proceso en elcual todas las componentes de frecuencia tienen igual potencia, es decir si su DSP es constante para todas las frecuencias.

)(2

)(

2)(

0

0

τδτN

R

NfS

n

n

=

=

Page 74: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

Muestreo y Proceso limitado en Banda

• Un Proceso de Banda Limitada ocupa un BW finito

• Si W es el ancho de banda del proceso entonces para todo valor de

frecuencia mayor que W la DEP es igual a cero.

• Las muestras se toman a intervalos regulares Ts, donde Ts ≤ 1/2W

Si X(t) es un proceso limitado en banda entonces SX(f) tiende a cero cuando la |f| ≥ W. Entonces tenemos:

WTdonde

kTtWckTXtXE

s

kss

21

0))(2(sin)()(2

=

=⎥⎦

⎤⎢⎣

⎡−− ∑

−∞=

Page 75: Probabilidad y procesos estocásticos

Curso 2005

PROCESOS ESTOCASTICOS (Cont.)

Proceso Pasabanda

X(t) es un proceso Pasabanda, si su DSP tiende a cero para |f-f0| ≥ W donde W < f0

⎩⎨⎧ <++−

==Otro

ffffSffSfSfS XX

XsXc 0||)()(

)()( 000