1 algebra lineal y vectores aleatorios

INTRODUCCIÓN 1. Álgebra lineal y vectores aleatorios 2. Distribución normal multivariante ANÁLISIS DE LA MATRIZ DE COVARIANZAS 3. Componentes principales 4. Análisis factorial 5. Correlaciones canónicas CLASIFICACIÓN 6. Análisis discriminante 7. Análisis de conglomerados

ANÁLISIS MULTIVARIANTE

1

1. ÁLGEBRA LINEAL Y VECTORES ALEATORIOS

Vectores Ortogonalización de Gram-Schmidt Matrices ortogonales Autovalores y autovectores Formas cuadráticas Vectores y matrices aleatorias Matriz de datos

2

3EJEMPLOS

ALGEBRA LINEAL

Vectores

Matriz de datos: p variables observadas en n objetos

4

nxp

npnnn

p

p

p

X

xxxx

xxxx

xxxx

xxxx

321

3333231

2232221

1131211

pen

Objeto_1

Objeto_n

Variable_1 Variable_p

nxp

npnnn

p

p

p

X

xxxx

xxxx

xxxx

xxxx

321

3333231

2232221

1131211

pen

Objeto_1

Objeto_n


ALGEBRA LINEAL

Vectores

Dados

px

x

x 1

py

y

y 1

se define:

1. Suma

pp yx

yx

yx 11

5

ALGEBRA LINEAL

Vectores

2. Producto de un escalar por un vector

pxc

xc

xc 1

3. Producto escalar de dos vectores

pp

p

iii yxyxyxyxyxyx

111

',

6

ALGEBRA LINEAL

Vectores

4. Norma de un vector

Propiedades

p

iixxxxxx

1

22/1)'('

zxbyxabzayx ,,,

xyyx ,,

00,0, xxxyxx

x xx x

7

ALGEBRA LINEAL

Vectores

5. Distancia entre dos vectores

6. Ángulo entre dos vectores

yxyxd ),(

y

x

yx y

x

yx

8

yx

yx,cos

yxyx 0cos0,

ALGEBRA LINEAL

Vectores

Desigualdad de Cauchy-Schwarz

yxyx ,

Consecuencia:

9

1cos1

1,

1

,

yx

yx

yxyxyx

ALGEBRA LINEAL

Vectores

7. Ortogonalidad

8. Ortonormalidad

nuuu ,,, 21 jiuu ji ,

es ortonormal si es ortogonal

y todos los vectores tienen norma 1, es decir,

es ortogonal si

10

neee ,,, 21

iei 1

ALGEBRA LINEAL

Vectores

Ejemplo

11

cos)(),()(?)(

)(,)(

3

0

1

2

0

1

vvudivvuiii

uiivui

vu

ALGEBRA LINEAL

Vectores

Un conjunto de vectores nuuu ,,, 21

es linealmente independiente si

n

n

iii cccuc

211

0

(la única manera de construir una combinación lineal igual a 0 es que todos los coeficientes sean 0)

12

=0

ALGEBRA LINEAL

Vectores

Proposición. Todo conjunto ortogonal de vectores no nulos es linealmente independiente.

nuuu ,,, 21 ortogonal nuuu ,,, 21 l.i.

00,

0,,

0

11

11

jjj

jjjnnj

nn

cuu

uucucucu

ucuc

Demostración

13

ALGEBRA LINEAL

Vectores

Proyección de x sobre y

14

yy

yxy

yy

yxxpr y 2

,

,

,)(

ALGEBRA LINEAL

Vectores

Ejemplo

15

?)(

?)(

1

1

2

3

0

1

ypr

xpr

yx

x

y

ALGEBRA LINEAL

Ortogonalización de Gram-Schmidt

V subespacio vectorial de psi V es espacio vectorial,

;,, bayVvues decir, si Vbvau

Dado A =

n

iiii cucAspan

1

:

nuuu ,,, 21

Propiedades

subespaciounesAspanii

AspanAi

)()(

)(

16

pV

ALGEBRA LINEAL


Proposición

n

i

uuspanv

niuv

,,

,,1

1

0,,,

,,

11

1

i

n

ii

n

iii

n

uvcucvvu

uuspanu Demostración

17

ALGEBRA LINEAL


111

11

11

1

222

231

11

1333

111

1222

11

,

,

,

,

,

,

,

,,

,

nnn

nnnnn u

uu

uxu

uu

uxxu

uuu

uxu

uu

uxxu

uuu

uxxu

xu

Sean

Dado un conjunto de vectores l.i., se puede construir otro conjunto ortogonal que genere elmismo espacio.

linealmente independientes nxxx ,,, 21

18

ALGEBRA LINEAL


Entonces:

ortogonalesuuii

uuspanxxspani

n

nn

,,)(

,,,,)(

1

11

19

ALGEBRA LINEAL

Matrices ortogonales


Anxn; inversa A-1: A A-1 = A-1A = I.

A’ transpuesta de A.

Qnxn es ortogonal si Q’Q = QQ’ = I.(las columnas de una matriz ortogonal son vectores ortonormales)

mnmm

n

mxn

aaa

aaa

A

21

11211

20

ALGEBRA LINEAL


Propiedades

QyQxy

x

21

xQxiii

QyQxyxii

yxQyQxi

ortogonal

matrizQyx p

)(

)(

,,)(

; ,

ALGEBRA LINEAL

Autovalores y autovectores

Anxn; xAxquetalx 0

x

autovalor de A

x es autovector asociado a

0

0)(,0

0,0

0 ,0

IA

xIAx

IxAxx

xAxx

Polinomiocaracterístico

Ecuacióncaracterística

22

ALGEBRA LINEAL


Ejemplo

Autovalores y autovectores de

23

15

51A

ALGEBRA LINEAL


Propiedades

..

,)(

)(

21

22

1121

21

ilsonxyxautovalorconx

autovalorconxii

trAi n

Diagonalización de matrices

jiijnxn aaAAsimétricaA '

nnn

n

nxn

aa

a

aaa

A

1

12

11211

24

ALGEBRA LINEAL

Autovalores y autovectores: diagonalización

Si A simétrica entonces

'

'

'

0

0

2

1

2

1

21

nn

nnxn

e

e

e

eeeA

existen autovalores reales n ,,1 con autovectores asociados nee ,,1

ortonormales tales que

P P’D

A=PDP’, siendo D diagonal y P ortogonal

(Toda matriz simétrica es diagonalizable)

25

ALGEBRA LINEAL

Ejemplo

Diagonalizar

26

22

23A

Autovalores y autovectores: diagonalización

ALGEBRA LINEAL

Autovalores y autovectores:representación espectral

Sea

n ,,1 con autovectores ortonormales nee ,,1

tales que

Si A es simétrica entonces existen autovalores reales

.''222

'111 nnn eeeeeeA

.

1

12

11211

nnn

n

nxn

aa

a

aaa

A

27

ALGEBRA LINEAL

Ejemplo

Descomposición espectral de

28

62

29A

Autovalores y autovectores:representación espectral

ALGEBRA LINEAL

Formas cuadráticas

Anxn simétrica;

n

jii

n

jjiij

n

i

n

j

n

iiijjiij

nnnnjiijnnn

nnnn

n

n

xxaxaxxa

xxaxxaxxaxaxa

x

x

x

aa

a

aaa

xxxxf

1 11 1 1

2

11211222

111

2

1

1

21

11211

21

2

)(

nx ,

nx

x

x 1

f(x)=x’ A x es una forma cuadrática

29

ALGEBRA LINEAL

Formas cuadráticas

Ejemplo

Expresar matricialmente la forma cuadrática

Escribir en forma cuadrática

30

32312123

22

21321 546325),,( xxxxxxxxxxxxf

2

12121 22

21),(

x

xxxxxf

ALGEBRA LINEAL

Formas cuadráticas

Como Anxn es simétrica, es diagonalizable,

se puede escribir A = PDP’ y, por tanto,

queda: f(x) = x’PDP’x.

Haciendo y = P’x:

,

0

0

')(1

211

1

n

iii

nn

n y

y

y

yyDyyyf

se tiene

.)( 2

1

211

2nn

n

iii yyyyf

31

Formas cuadráticas

x2

x1 y2y1

e2e1 2λ

c

1λ

c

ALGEBRA LINEAL32

y los autovectores x’Ax=c2 representa geométricamente una elipseen

2222

211

2

2

'''

cyycxPDPxcAxx

; los autovalores son 21 normalizados son e1 y e2.

2

Formas cuadráticas

ALGEBRA LINEAL33

Ejemplo

Representar, hallar los ejes y obtener la expresión

reducida de

9135

513

2

121

x

xxx

Formas cuadráticas

Clasificación de formas cuadráticas

ALGEBRA LINEAL34

Sea f(x) = x’ A x

f es definida positiva si

f es semidefinida positiva si

f es semidefinida negativa si

f es definida negativa si

f es indefinida si

0)(,0 xfx0)(, xfx n

0)(,0 xfx

0)(0)( 2121 xfyxfquetalxyx nn

0)(, xfx n

Formas cuadráticas

Sean los autovalores de A

f es definida positiva

f es semidefinida positiva

f es semidefinida negativa

f es definida negativa

f es indefinida

ALGEBRA LINEAL

0,,01 n 0,,01 n

0,,01 n 0,,01 n

0,0 ji

35

n ,,1

Raíz cuadrada de una matriz

B es raíz de A si A=BB;

ALGEBRA LINEAL

n

iii eeA

1

'

Raíz cuadrada de una matriz:

A semidefinida positiva;

B=A1/2 ; A=A1/2 A1/2

Si A es simétrica y A=PDP’ con

descomposición espectral

entonces:

36

Formas cuadráticas

ALGEBRA LINEAL

Raíz cuadrada de una matriz:

'

'

0

0

'

0

0

1

12/1

1

ii

n

ii

n

n

ee

PPA

PPASea

'1

'

/10

0/1

1

11

ii

n

i in

eePPA

Nota:

37

Descomposición singular de una matriz

ALGEBRA LINEAL

i

Dada la matriz Amxn, AA’ es cuadrada y

simétrica; por tanto, diagonalizable.

VUAk

00

0

0

01

es un valor singular de A, si 2

i es autovalor de AA’.

Descomposición singular

Sea A una matriz mxn; k ,,1 valores singulares de A.

Entonces existen matrices ortogonales U y V tales que:

38

Vectores y matrices aleatorias

22 )]([)(

)(

aleatoria variable

iiiiii

ii

i

XEXEXV

XE

X

mnmm

n

p XXX

XXX

X

X

X

21

112111

;

Vectoraleatorio

Matrizaleatoria

31


)(

)( 11

pp XE

XE

EX

Se llama vector de medias a:

y covarianza entre dos variables a

Se define la matriz de covarianzas de X como:

)].)([(),( jjiijiij EXXEXXEXXCov

ppp

p

XVX

1

111

40

:Entonces . , ;constantes c ,11

VXEX

c

c

X

X

X

pp

ccXcVii

cXcEi

')'( )(

')'( )(

'.)( )(

.)( )(

:Entonces .constantes de matriz

CCCXVii

CEXCXEi

Cmxp



ALGEBRA LINEAL

Ejemplo

42

42

26

0

1

2

2

123

212

121

2

1

XXY

XXY

XXY

X

XX


)()()()()()()(

)()(

)()(

)()()(

1

111

YEXEYXEYiiiBXAEAXBEii

XEXE

XEXE

AXAEAXEi

mxn

mnm

n

Propiedades

Sea Xmxn y sean Akxm y Bnxr matrices de constantes.

Entonces:

43


,

1

1

1

21

221

112

pp

p

p

rr

rr

rr

Matriz de correlaciones

,2/12/1 VVen forma matricial:

donde V es la matriz de varianzas:

2

2111

0

0

0

0

ppp

V

donde ;jjii

ijijr

44


)2(

)1(

1

1

1

;X

X

X

X

X

X

X

X

X

X

p

r

r

p

Partición de un vector aleatorio

)2(

)1(

Vector de medias:

Sea

Matriz de covarianzas:

2221

1211

),(),()()(

)2()1()2()1('2112

)2(22

)1(11

ji XXCovXXCovXVXV

, donde

45

Matriz de datos

46

nxp

npnnn

p

p

p

X

xxxx

xxxx

xxxx

xxxx

321

3333231

2232221

1131211

pen

Objeto_1

Objeto_n


nxp

npnnn

p

p

p

X

xxxx

xxxx

xxxx

xxxx

321

3333231

2232221

1131211

pen

Objeto_1

Objeto_n


n

xx

n

xx

n

iip

p

n

ii

111

1

Matriz de datos

47

px

x

x 1

Vector de medias:

Matriz de varianzas y covarianzas:

donde

ppp

p

n

ss

ss

S

1

111

nxxxxs jkj

n

kikiij /)()(

1

Matriz de correlaciones:2/12/1 nnn VSVR , donde

pp

n

s

s

V

0

011

48EJEMPLOS

EJEMPLOS 49

50EJEMPLOS

51EJEMPLOS

52EJEMPLOS

53EJEMPLOS

54EJEMPLOS

Matriz de datos

; ...,,,; 21

1

diiXXX

X

X

X n

p

Proposición

n

XX

n

ii

1

Dado

55

n

nSEiii

nXVii

XEi

n

1)()(

/)()(

)()(

Matriz de datos

56

La matriz de datos se puede representar como:

Diagrama de dispersión, n puntos en el espaciop

x1

x2

p=2

x1

x2

x3p=3

Como para p>3 no es posible representarlo, se utilizan

diagramas de dispersión múltiple con pares de

variables.

Matriz de datos

57

Considerando las columnas en vez de la filas de la

matriz de datos, es decir, p puntos en n

nxp

npnnn

p

p

p

X

xxxx

xxxx

xxxx

xxxx

321

3333231

2232221

1131211

pen

Objeto_1

Objeto_n


nxp

npnnn

p

p

p

X

xxxx

xxxx

xxxx

xxxx

321

3333231

2232221

1131211

pen

Objeto_1

Objeto_n


Y1 Y2 Y3 Yp

Para cuatro variables:

34333231

24232221

14131211

xxxx

xxxx

xxxx

X

Y1 Y2 Y3 Y4

Y1 Y4

Y3

Y2

Matriz de datos

58

y forma el mismo ángulo con todos

los ejes.

1

1

11 nx

n1

Vector de unos: n unos

Propiedades

es el vector unitario que forma el mismo

ángulo en todas las direcciones.

n/1

Matriz de datos

59

Proyección de un vector sobre el vector

i

i

i

n

jij

ii

x

x

xn

xy

ypr 1111,1

1,)( 1

1

:1

yi

1 1ix

Matriz de datos

60

1

111

i

ni

i

ini

ii

i x

x

x

xx

xx

d

Vector de desviaciones a la media:

Matriz de datos

61

Entonces:

ij

jjii

ij

jjii

ij

ji

ji

ji

ijjkj

n

kikiji

iiiiniiii

rss

s

nsns

ns

dd

dddd

nsxxxxdd

nsdxxxxd

,),cos(

)()(,

)(...)(

1

2221

Matriz de datos

62

ppp

p

pp

XE

X

X

X

1

11111

;)(;

Varianza generalizada y varianza total:

Matriz de datos

63

Varianza generalizada de X:

Varianza total de X:

Varianza generalizada muestral:

Varianza total muestral:

)det(

pptraza 11)(

ppn ssStraza 11)(

)det( nn SS

Matriz de datos

64

Interpretación geométrica

Área =

Varianza generalizada en

pn n

VolumenS

2

||)1(cos1 2122211

2221121 nSnrssnnsnssendd

p

65EJEMPLOS

66EJEMPLOS

67EJEMPLOS

Matriz de datos

68

ppppp

p

n

pp b

b

b

c

c

c

ss

ss

S

x

x

x

X

X

X

11

1

11111

;;;;

Combinaciones lineales de las componentes de

una variable

y las combinaciones lineales:

Media muestral de c’X:

Varianza muestral de c’X:

Covarianza muestral de c’X y b’X:

pp

pp

XbXbXbXcXcXc

11

11

''

xc'cSc n'

bSc n'

Matriz de datos

69ALGEBRA LINEAL

Ejemplo

31

21

3

2

1

2'32'

014

012

013

102

XXXbXXXc

X

X

X

XX

70EJEMPLOS

71EJEMPLOS

72EJEMPLOS

73EJEMPLOS

74EJEMPLOS

75EJEMPLOS

76EJEMPLOS

Education

1 algebra lineal y vectores aleatorios