-algebra lineal y vectores aleatorios

INTRODUCCIÓN 1. Álgebra lineal y vectores aleatorios 2. Distribución normal multivariante ANÁLISIS DE LA MATRIZ DE COVARIANZAS 3. Componentes principales 4. Análisis factorial 5. Correlaciones canónicas CLASIFICACIÓN 6. Análisis discriminante 7. Análisis de conglomerados

ANÁLISIS MULTIVARIANTE

1

1. ÁLGEBRA LINEAL Y VECTORES ALEATORIOS

Vectores Ortogonalización de Gram-Schmidt Matrices ortogonales Autovalores y autovectores Formas cuadráticas Vectores y matrices aleatorias Matriz de datos

2

3EJEMPLOS

ALGEBRA LINEAL

Vectores

Matriz de datos: p variables observadas en n objetos

4

nxp

npnnn

p

p

p

X

xxxx

xxxx

xxxx

xxxx

=

321

3333231

2232221

1131211

pℜen

Objeto_1

Objeto_n

Variable_1 Variable_p

nxp

npnnn

p

p

p

X

xxxx

xxxx

xxxx

xxxx

=

321

3333231

2232221

1131211

pℜen

Objeto_1

Objeto_n


ALGEBRA LINEAL

Vectores

Dados

=

px

x

x 1

=

py

y

y 1

se define:

1. Suma

+

+=+

pp yx

yx

yx 11

5

ALGEBRA LINEAL

Vectores

2. Producto de un escalar por un vector

⋅

⋅=⋅

pxc

xc

xc 1

3. Producto escalar de dos vectores

pp

p

iii yxyxyxyxyxyx ++====• ∑

=

111

',

6

ALGEBRA LINEAL

Vectores

4. Norma de un vector

Propiedades

∑=

===p

iixxxxxx

1

22/1)'('

zxbyxabzayx ,,, +=+

xyyx ,, =

00,0, =⇔=≥ xxxyxx

x xx x

7

ALGEBRA LINEAL

Vectores

5. Distancia entre dos vectores

6. Ángulo entre dos vectores

yxyxd −=),(

y

x

yx −y

x

yx −

8

ϑϑθyx

yx,cos =ϑ

yxyx ⊥⇒=⇒= 0cos0, ϑ

θ

θ

ALGEBRA LINEAL

Vectores

Desigualdad de Cauchy-Schwarz

yxyx ≤,

Consecuencia:

9

1cos1

1,

1

,

≤≤−

≤≤−

≤≤−

ϑyx

yx

yxyxyx

θ

ALGEBRA LINEAL

Vectores

7. Ortogonalidad

8. Ortonormalidad

{ }nuuu ,,, 21 jiuu ji ,∀⊥

es ortonormal si es ortogonal

y todos los vectores tienen norma 1, es decir,

es ortogonal si

10

{ }neee ,,, 21

iei ∀=1

ALGEBRA LINEAL

Vectores

Ejemplo

11

θcos)(),()(?)(

)(,)(

3

0

1

2

0

1

vvudivvuiii

uiivui

vu

⊥

><

−=

−=

ALGEBRA LINEAL

Vectores

Un conjunto de vectores { }nuuu ,,, 21

es linealmente independiente si

n

n

iii cccuc ===⇒=∑

=

211

0

(la única manera de construir una combinación lineal igual a 0 es que todos los coeficientes sean 0)

12

=0

ALGEBRA LINEAL

Vectores

Proposición. Todo conjunto ortogonal de vectores no nulos es linealmente independiente.

{ }nuuu ,,, 21 ortogonal ⇒ { }nuuu ,,, 21 l.i.⇐

00,

0,,

0

11

11

=⇒≠

==++

=++

jjj

jjjnnj

nn

cuu

uucucucu

ucuc

Demostración

13

ALGEBRA LINEAL

Vectores

Proyección de x sobre y

14

yy

yxy

yy

yxxpr y 2

,

,

,)( ==

ALGEBRA LINEAL

Vectores

Ejemplo

15

?)(

?)(

1

1

2

3

0

1

ypr

xpr

yx

x

y

−=

−=

ALGEBRA LINEAL

Ortogonalización de Gram-Schmidt

V subespacio vectorial de pℜsi V es espacio vectorial,

;,, ℜ∈∀∈∀ bayVvues decir, si Vbvau ∈+

Dado A =

ℜ∈≡ ∑

=

n

iiii cucAspan

1

:

{ }nuuu ,,, 21

Propiedades

subespaciounesAspanii

AspanAi

)()(

)( ⊂

16

;⊂ pV

ALGEBRA LINEAL


Proposición

{ }n

i

uuspanv

niuv

,,

,,1

1

⊥⇒⇒=⊥

{ }

0,,,

,,

11

1

===

∈

∑∑==

i

n

ii

n

iii

n

uvcucvvu

uuspanu

Demostración

17

ALGEBRA LINEAL


111

11

11

1

222

231

11

1333

111

1222

11

,

,

,

,

,

,

,

,,

,

−−−

−−−−=

−−=

−=

=

nnn

nnnnn u

uu

uxu

uu

uxxu

uuu

uxu

uu

uxxu

uuu

uxxu

xu

Sean

Dado un conjunto de vectores l.i., se puede construir otro conjunto ortogonal que genere elmismo espacio.

linealmente independientes{ }nxxx ,,, 21

18

ALGEBRA LINEAL


Entonces:

{ } { }{ } ortogonalesuuii

uuspanxxspani

n

nn

,,)(

,,,,)(

1

11

=

19

ALGEBRA LINEAL

Matrices ortogonales


Anxn; inversa A-1: A A-1 = A-1A = I.

A’ transpuesta de A.

Qnxn es ortogonal si Q’Q = QQ’ = I.(las columnas de una matriz ortogonal son vectores ortonormales)

=

mnmm

n

mxn

aaa

aaa

A

21

11211

20

ALGEBRA LINEAL


Propiedades

QyQxy

x

21

xQxiii

QyQxyxii

yxQyQxi

ortogonal

matrizQyx p

=⊥⇒⊥

=

∈

)(

)(

,,)(

; ,

ALGEBRA LINEAL

Autovalores y autovectores

Anxn; xAxquetalx λ=≠∃⇔ 0

x

λ autovalor de A

x es autovector asociado a λ

0

0)(,0

0,0

0 ,0

=−⇔=−≠∃

⇔=−≠∃⇔=−≠∃

IA

xIAx

IxAxx

xAxx

λλλλ

Polinomiocaracterístico

Ecuacióncaracterística

22

ALGEBRA LINEAL


Ejemplo

Autovalores y autovectores de

23

−

−=

15

51A

ALGEBRA LINEAL


Propiedades

..

,)(

)(

21

22

1121

21

ilsonxyxautovalorconx

autovalorconxii

trAi n

⇒≠

=+++

λλλλ

λλλ

Diagonalización de matrices

jiijnxn aaAAsimétricaA =⇔=⇔ '

=

nnn

n

nxn

aa

a

aaa

A

1

12

11211

24

ALGEBRA LINEAL

Autovalores y autovectores: diagonalización

Si A simétrica entonces

=

'

'

'

0

0

2

1

2

1

21

nn

nnxn

e

e

e

eeeA

λ

λλ

existen autovalores reales nλλ ,,1 con autovectores asociados nee ,,1

ortonormales tales que

P P’D

A=PDP’, siendo D diagonal y P ortogonal

(Toda matriz simétrica es diagonalizable)

25

ALGEBRA LINEAL

Ejemplo

Diagonalizar

26

−−=

22

23A

Autovalores y autovectores: diagonalización

ALGEBRA LINEAL

Autovalores y autovectores:representación espectral

Sea

nλλ ,,1 con autovectores ortonormales nee ,,1

tales que

Si A es simétrica entonces existen autovalores reales

.''222

'111 nnn eeeeeeA λλλ +++=

.

1

12

11211

=

nnn

n

nxn

aa

a

aaa

A

27

ALGEBRA LINEAL

Ejemplo

Descomposición espectral de

28

−

−=

62

29A

Autovalores y autovectores:representación espectral

ALGEBRA LINEAL

Formas cuadráticas

⇓

Anxn simétrica;

( )

∑∑∑∑ ∑<= == = =

−−

+==

=+++++++=

=

=

n

jii

n

jjiij

n

i

n

j

n

iiijjiij

nnnnjiijnnn

nnnn

n

n

xxaxaxxa

xxaxxaxxaxaxa

x

x

x

aa

a

aaa

xxxxf

1 11 1 1

2

11211222

111

2

1

1

21

11211

21

2

)(

nx ℜ∈ ,

=

nx

x

x 1

f(x)=x’ A x es una forma cuadrática

29

ALGEBRA LINEAL

Formas cuadráticas

Ejemplo

Expresar matricialmente la forma cuadrática

Escribir en forma cuadrática

30

32312123

22

21321 546325),,( xxxxxxxxxxxxf −+−+−=

( )

−

=2

12121 22

21),(

x

xxxxxf

ALGEBRA LINEAL

Formas cuadráticas

Como Anxn es simétrica, es diagonalizable,

se puede escribir A = PDP’ y, por tanto,

queda: f(x) = x’PDP’x.

Haciendo y = P’x:

( ) ,

0

0

')(1

211

1 ∑=

=

==

n

iii

nn

n y

y

y

yyDyyyf λλ

λ

se tiene

.)( 2

1

211

2nn

n

iii yyyyf λλλ∑

=

++==

31

Formas cuadráticas

x2

x1 y2y1

e2e1 2λ

c

1λ

c

ALGEBRA LINEAL32

y los autovectores x’Ax=c2 representa geométricamente una elipseen

2222

211

2

2

'''

cyycxPDPxcAxx

=+⇒==

λλ

; los autovalores son 21 λλ >normalizados son e1 y e2.

2ℜ

Formas cuadráticas

ALGEBRA LINEAL33

Ejemplo

Representar, hallar los ejes y obtener la expresión

reducida de

( ) 9135

513

2

121 =

−

−x

xxx

Formas cuadráticas

Clasificación de formas cuadráticas

ALGEBRA LINEAL34

Sea f(x) = x’ A x

f es definida positiva si

f es semidefinida positiva si

f es semidefinida negativa si

f es definida negativa si

f es indefinida si

0)(,0 >≠∀ xfx0)(, ≥∈∀ xfx n

0)(,0 <≠∀ xfx

0)(0)( 2121 <>∈∃∈∃ xfyxfquetalxyx nn

0)(, ≤∈∀ xfx n

Formas cuadráticas

Sean los autovalores de A

f es definida positiva

f es semidefinida positiva

f es semidefinida negativa

f es definida negativa

f es indefinida

ALGEBRA LINEAL

0,,01 <<⇔ nλλ

0,,01 ≤≤⇔ nλλ

0,,01 ≥≥⇔ nλλ

0,,01 >>⇔ nλλ

0,0 <∃>∃⇔ ji λλ

35

nλλ ,,1

Raíz cuadrada de una matriz

B es raíz de A si A=BB;

ALGEBRA LINEAL

∑=

=n

iii eeA

1

'λ

Raíz cuadrada de una matriz:

A semidefinida positiva;

B=A1/2 ; A=A1/2 A1/2

Si A es simétrica y A=PDP’ con

descomposición espectral

entonces:

36

Formas cuadráticas

ALGEBRA LINEAL

Raíz cuadrada de una matriz:

'

'

0

0

'

0

0

1

12/1

1

ii

n

ii

n

n

ee

PPA

PPASea

∑=

=

=

=⇒

=

λ

λ

λ

λ

λ

'1

'

/10

0/1

1

11

ii

n

i in

eePPA ∑=

− =

=

λλ

λ

Nota:

37

Descomposición singular de una matriz

ALGEBRA LINEAL

iλ

Dada la matriz Amxn, AA’ es cuadrada y

simétrica; por tanto, diagonalizable.

VUAk

=

00

0

0

01

λ

λ

es un valor singular de A, si 2

iλ es autovalor de AA’.

Descomposición singular

Sea A una matriz mxn; kλλ ,,1 valores singulares de A.

Entonces existen matrices ortogonales U y V tales que:

38

Vectores y matrices aleatorias

22 )]([)(

)(

aleatoria variable

iiiiii

ii

i

XEXEXV

XE

X

−===

=

σσµ

=Χ

=

mnmm

n

p XXX

XXX

X

X

X

21

112111

;

Vectoraleatorio

Matrizaleatoria

31


=

==

)(

)( 11

pp XE

XE

EX

µ

µµ

Se llama vector de medias a:

y covarianza entre dos variables a

Se define la matriz de covarianzas de X como:

)].)([(),( jjiijiij EXXEXXEXXCov −−==σ

=∑=∑=

ppp

p

XVX

σσ

σσ

1

111

40

:Entonces . , ;constantes c ,11

Σ==

=

= VXEX

c

c

X

X

X

pp

µ

ccXcVii

cXcEi

Σ==

')'( )(

')'( )( µ

'.)( )(

.)( )(

:Entonces .constantes de matriz

CCCXVii

CEXCXEi

Cmxp

Σ==



ALGEBRA LINEAL

Ejemplo

42

−

−=∑

−=

−=−=−=

=

42

26

0

1

2

2

123

212

121

2

1

µ

XXY

XXY

XXY

X

XX


)()()()()()()(

)()(

)()(

)()()(

1

111

YEXEYXEYiiiBXAEAXBEii

XEXE

XEXE

AXAEAXEi

mxn

mnm

n

+=+⇒=

==

Propiedades

Sea Xmxn y sean Akxm y Bnxr matrices de constantes.

Entonces:

43


,

1

1

1

21

221

112

=

pp

p

p

rr

rr

rr

ρ

Matriz de correlaciones

,2/12/1 −− ∑= VVρen forma matricial:

donde V es la matriz de varianzas:

=

=

2

2111

0

0

0

0

ppp

V

σ

σ

σ

σ

donde ;jjii

ijijr

σσσ

=

44


=

=

=

+)2(

)1(

1

1

1

;X

X

X

X

X

X

X

X

X

X

p

r

r

p

Partición de un vector aleatorio

=

)2(

)1(

µµµ Vector de medias:

Sea

Matriz de covarianzas:

∑∑∑∑

=∑2221

1211

),(),()()(

)2()1()2()1('2112

)2(22

)1(11

ji XXCovXXCovXVXV

==∑=∑=∑=∑

, donde

45

Matriz de datos

46

nxp

npnnn

p

p

p

X

xxxx

xxxx

xxxx

xxxx

=

321

3333231

2232221

1131211

pℜen

Objeto_1

Objeto_n


nxp

npnnn

p

p

p

X

xxxx

xxxx

xxxx

xxxx

=

321

3333231

2232221

1131211

pℜen

Objeto_1

Objeto_n


n

xx

n

xx

n

iip

p

n

ii ∑∑

== == 111

1

Matriz de datos

47

=

px

x

x 1

Vector de medias:

Matriz de varianzas y covarianzas:

donde

=

ppp

p

n

ss

ss

S

1

111

nxxxxs jkj

n

kikiij /)()(

1

−−=∑=

Matriz de correlaciones:2/12/1 −−= nnn VSVR , donde

=

pp

n

s

s

V

0

011

48EJEMPLOS

EJEMPLOS 49

50EJEMPLOS

51EJEMPLOS

52EJEMPLOS

53EJEMPLOS

54EJEMPLOS

Matriz de datos

; ...,,,; 21

1

diiXXX

X

X

X n

p

=

Proposición

n

XX

n

ii∑

== 1

Dado

55

∑−=

∑==

n

nSEiii

nXVii

XEi

n

1)()(

/)()(

)()( µ

Matriz de datos

56

La matriz de datos se puede representar como:

Diagrama de dispersión, n puntos en el espaciopℜ

x1

x2

p=2

x1

x2

x3p=3

Como para p>3 no es posible representarlo, se utilizan

diagramas de dispersión múltiple con pares de

variables.

Matriz de datos

57

Considerando las columnas en vez de la filas de la

matriz de datos, es decir, p puntos en n

nxp

npnnn

p

p

p

X

xxxx

xxxx

xxxx

xxxx

=

321

3333231

2232221

1131211

pℜen

Objeto_1

Objeto_n


nxp

npnnn

p

p

p

X

xxxx

xxxx

xxxx

xxxx

=

321

3333231

2232221

1131211

pℜen

Objeto_1

Objeto_n


Y1 Y2 Y3 Yp

Para cuatro variables:

=

34333231

24232221

14131211

xxxx

xxxx

xxxx

X

Y1 Y2 Y3 Y4

Y1 Y4

Y3

Y2

Matriz de datos

58

y forma el mismo ángulo con todos

los ejes.

=

1

1

11 nx

n=1

Vector de unos: n unos

Propiedades

es el vector unitario que forma el mismo

ángulo en todas las direcciones.

n/1

Matriz de datos

59

Proyección de un vector sobre el vector

==⋅==

∑=

i

i

i

n

jij

ii

x

x

xn

xy

ypr 1111,1

1,)( 1

1

:1

yi

1 1ix

Matriz de datos

60

−

=

−

−=

1

111

i

ni

i

ini

ii

i x

x

x

xx

xx

d

Vector de desviaciones a la media:

Matriz de datos

61

Entonces:

ij

jjii

ij

jjii

ij

ji

ji

ji

ijjkj

n

kikiji

iiiiniiii

rss

s

nsns

ns

dd

dddd

nsxxxxdd

nsdxxxxd

====•

=−−=•

=⇒−++−=•

∑=

,),cos(

)()(,

)(...)(

1

2221

Matriz de datos

62

=∑

==

=

ppp

p

pp

XE

X

X

X

σσ

σσ

µ

µµ

1

11111

;)(;

Varianza generalizada y varianza total:

Matriz de datos

63

Varianza generalizada de X:

Varianza total de X:

Varianza generalizada muestral:

Varianza total muestral:

)det(∑=∑

pptraza σσ ++=∑ 11)(

ppn ssStraza ++= 11)(

)det( nn SS =

Matriz de datos

64

Interpretación geométrica

Área =

Varianza generalizada en

pn n

VolumenS

2

=

||)1(cos1 2122211

2221121 nSnrssnnsnssendd =−=−== θθ

p

65EJEMPLOS

66EJEMPLOS

67EJEMPLOS

Matriz de datos

68

=

=

=

=

=

ppppp

p

n

pp b

b

b

c

c

c

ss

ss

S

x

x

x

X

X

X

11

1

11111

;;;;

Combinaciones lineales de las componentes de

una variable

y las combinaciones lineales:

Media muestral de c’X:

Varianza muestral de c’X:

Covarianza muestral de c’X y b’X:

pp

pp

XbXbXbXcXcXc

++=++=

11

11

''

xc'cSc n'

bSc n'

Matriz de datos

69ALGEBRA LINEAL

Ejemplo

31

21

3

2

1

2'32'

014

012

013

102

XXXbXXXc

X

X

X

XX

−=−=

=

=

70EJEMPLOS

71EJEMPLOS

72EJEMPLOS

73EJEMPLOS

74EJEMPLOS

75EJEMPLOS

76EJEMPLOS

Education

-algebra lineal y vectores aleatorios