Álgebra Lineal Ma1010 - cb.mty.itesm.mxcb.mty.itesm.mx/ma1010/materiales/ma1010-24a.pdf · valores de los parámetros que mejor ajustan el modelo a los datos. Primero veremos el

Mínimos Cuadrados Álgebra Lineal - p. 1/34

Álgebra LinealMa1010

Mínimos CuadradosDepartamento de Matemáticas

ITESM

IntroduccionErrorTeorıaEjemploModelacionEjemplos


Introducción

En esta sección veremos cómo se trabaja un sistema inconsistente.

Esta situación es muy frecuente en el ajuste de datos a un modelo

matemático: cuando se tiene un conjunto de datos y un modelo con

parámetros a ajustar se conduce a un sistema de ecuaciones que

rara vez tiene solución. Entonces, lo que procede es encontrar los

valores de los parámetros que mejor ajustan el modelo a los datos.

Primero veremos el concepto de error al asumir una sustitución

como si fuera solución a un sistema de ecuaciones. Posteriormente

veremos el procedimiento para encontrar la solución que minimiza

el error cuadrático. Por último, veremos algunas aplicaciones del

método de mínimos cuadrados a ajuste de modelos.



Error Cuadrático

Sea Ax = b un sistema de ecuaciones (A m× n).



Error Cuadrático

Sea Ax = b un sistema de ecuaciones (A m× n).El error cuadrático cometido al asumir lasustitución x = xo, simbolizado por ‖△‖

xose

define por‖△‖

xo= ‖b−Axo‖



Error Cuadrático


xose

define por‖△‖

xo= ‖b−Axo‖

Un vector x se dice solución de mínimoscuadrados de Ax = b



Error Cuadrático


xose

define por‖△‖

xo= ‖b−Axo‖

Un vector x se dice solución de mínimoscuadrados de Ax = b si x es tal que minimiza elerror cuadrático entre todos los vectores en Rn.

Note que el error no se mide contra la soluciónque de momento no se tiene y que posiblementeno exista. Se mide en el efecto de si al sustituirlaen la ecuación da b y qué tal lejos quedó de b.



Ejemplo

Determine el error de cuadrático cometido porx = xo = (1, 2)′ como solución del sistema:

1 2

2 −1

3 3

x =

1

2

−3



Ejemplo

Determine el error de cuadrático cometido porx = xo = (1, 2)′ como solución del sistema:

1 2

2 −1

3 3

x =

1

2

−3

Soluci onDirecto de la definción:

‖△‖xo

=

∥∥∥∥∥∥∥∥

1

2

−3

−

1 2

2 −1

3 3

1

2

∥∥∥∥∥∥∥∥=

∥∥∥∥∥∥∥∥

1

2

−3

−

5

0

9

∥∥∥∥∥∥∥∥

=√

(−4)2 + (2)2 + (−12)2 = 2√41�



Las figuras 1 y 2 muestran loc cálculos realizados en la TI.

Figura 1: Ejemplo 1: Captura de datos.



Mínimos Cuadrados y Proyección Ortogonal

El siguiente resultado indica que efectivamente existe solución alproblema de mínimos cuadrados y lo que la solución representa.Teorema

Para cualquier matriz A m× n y cualquier vector m b existeuna solución x de mínimos cuadrados para

Ax = b.

Además, si bpr es la proyección ortogonal de b sobre elespacio generado por las columnas de A, entonces

Ax = bpr



La figura 3 pretende ilustrar el teorema anterior. Bajo el supuestode Ax = b inconsistente, el vector b está fuera de C(A). Laproyección de b sobre C(A) simbolizada por bpr es el elemento deC(A) lo más cercano posible a b. El vector b− bpr resultaperpendicular a todo C(A). Mínimos cuadrados no resuelveAx = b, sino Ax = bpr. Claro, el problema ahora es calcular bpr.

Figura 3: La proyección de b sobre C(A).



El siguiente resultado indica lo que debe satisfacer la solución alproblema de mínimos cuadrados y da el método para obtenerla.Teorema

x es una solución por mínimos cuadrados de

Ax = b

si y sólo si x es una solución de las ecuaciones normales:

ATAx = A

Tb



El sistema anterior, podría tener infinitas soluciones en algunoscasos. El siguiente teorema indica las circunstancias en las cualeses única la solución al problema y cómo determinar la solución demínimos cuadrados.Teorema

A tendrá columnas linealmente independientes si y sólo siATA es invertible. En este caso, la solución por mínimoscuadrados es única y puede calcularse con

x = (ATA)−1

ATb



El siguiente resultado da el método que usan los profesionales pararesolver el problema de mínimos cuadrados a partir unafactorización QR de la matriz de coeficientes.Teorema

Si A es una matriz de m× n con columnas linealmenteindependientes, y si A = QR es una factorización QR, laúnica solución x de Ax = b por mínimos cuadrados seexpresa teóricamente con

x = R−1

QTb

y puede calcularse resolviendo el sistema

Rx = QTb



Ejemplo de Solución

Ejemplo

Resuelva el siguiente problema de mínimoscuadrados y calcule el error de mínimos cuadradospara el sistema:

1 1

1 2

1 3

[

x1

x2

]=

2

4

3



Soluci on

Basta resolver las ecuaciones normales ATAx = ATb

mutiplicando por AT por la izquierda ambos lados del sistema:

1 1 1

1 2 3

1 1

1 2

1 3

x =

1 1 1

1 2 3

2

4

3



Soluci on



1 1 1

1 2 3

1 1

1 2

1 3

x =

1 1 1

1 2 3

2

4

3

quedando las ecuaciones normales 3 6

6 14

x =

9

19



Soluci on



1 1 1

1 2 3

1 1

1 2

1 3

x =

1 1 1

1 2 3

2

4

3

quedando las ecuaciones normales 3 6

6 14

x =

9

19

formando la matriz aumentada y reduciendo: 3 6 9

6 14 19

→

1 0 2

0 1 1/2



La solución del sistema normal es la solución por mínimoscuadrados:

x =

2

12



La solución del sistema normal es la solución por mínimoscuadrados:

x =

2

12

cuyo error de mínimos cuadrados es:

‖△‖ = ‖b−Ax‖ =

∥∥∥∥∥∥∥∥

2

4

3

−

1 1

1 2

1 3

2

12

∥∥∥∥∥∥∥∥

=

∥∥∥∥∥∥∥∥

− 12

1

− 12

∥∥∥∥∥∥∥∥=

√

62




Figura 5: Ejemplo 2: solución por mínimos cuadrados usandoQR..



Aplicaciones de Mínimos Cuadrados

Uno de los usos frecuentes de los mínimoscuadrados ocurre en el área de la modelación.




Uno de los usos frecuentes de los mínimoscuadrados ocurre en el área de la modelación. Elproblema en general consiste en ajustar unconjunto de datos a un cierto modelo matemático.




Uno de los usos frecuentes de los mínimoscuadrados ocurre en el área de la modelación. Elproblema en general consiste en ajustar unconjunto de datos a un cierto modelo matemático.El modelo contiene ciertos parámetros constantesque deben determinarse para que éste se ajuste lomás posible al conjunto de datos muestreados.




Uno de los usos frecuentes de los mínimoscuadrados ocurre en el área de la modelación. Elproblema en general consiste en ajustar unconjunto de datos a un cierto modelo matemático.El modelo contiene ciertos parámetros constantesque deben determinarse para que éste se ajuste lomás posible al conjunto de datos muestreados.En la práctica, el conjunto de datos es grande yvariado y no existe un modelo matemático que seajuste perfectamente a los datos encontrados




Uno de los usos frecuentes de los mínimoscuadrados ocurre en el área de la modelación. Elproblema en general consiste en ajustar unconjunto de datos a un cierto modelo matemático.El modelo contiene ciertos parámetros constantesque deben determinarse para que éste se ajuste lomás posible al conjunto de datos muestreados.En la práctica, el conjunto de datos es grande yvariado y no existe un modelo matemático que seajuste perfectamente a los datos encontrados y loque se hace es determinar las constantes delmodelo que minimizan el error cuadráticodatos-modelo.



Ejemplos modeladoEjemplo

Determina la recta de mínimos cuadrados para el porcentaje decalificaciones por encima del 80 que ha reunido el profesor deálgebra lineal. Además, calcule el porcentaje esperado después deldécimo semestre.

Semestre 1 2 3 4 5 6

Porcentaje 0.20 0.25 0.20 0.35 0.45 0.40

-(0,0)(-0.1,-0.1)(7,0.5)

bb

b

b

bb

e1e2 e3

e4e5 e6

Meta: Encontrar un modelo que minimice el error total

Etotal =

6∑

i=1

ei2



En este caso se desea ajustar los puntosproporcionados a un modelo lineal que en generaltiene la forma:

y = mx+ b




y = mx+ b

Los parámetros constantes a determinar en estemodelo son m y b.




y = mx+ b

Los parámetros constantes a determinar en estemodelo son m y b. Las variables en este modelorepresentan: x el semestre y y el porcentaje decalificaciones por encima del 80.




y = mx+ b

Los parámetros constantes a determinar en estemodelo son m y b. Las variables en este modelorepresentan: x el semestre y y el porcentaje decalificaciones por encima del 80. Es importanteobservar que nuestras incógitas son lasconstantes del modelo no las variables: lasvariables tomarán sus valores de los datosmuestreados




y = mx+ b

Los parámetros constantes a determinar en estemodelo son m y b. Las variables en este modelorepresentan: x el semestre y y el porcentaje decalificaciones por encima del 80. Es importanteobservar que nuestras incógitas son lasconstantes del modelo no las variables: lasvariables tomarán sus valores de los datosmuestreados Así, el primer dato (semestre=1,porcentaje de calificación=0.20) se convierte en laecuación:

m ∗ (semestre 1) + b = porcentaje 0.20 es decir b+m = 0.20



El segundo dato (semestre=2, porcentaje decalificación=0.25) se convierte en la ecuación:

m (2) + b = 0.25, es decir: b+ 2m = 0.25




m (2) + b = 0.25, es decir: b+ 2m = 0.25

El tercer dato (semestre=3, porcentaje decalificación=0.20) se convierte en la ecuación:

m (3) + b = 0.20, es decir: b+ 3m = 0.20




m (2) + b = 0.25, es decir: b+ 2m = 0.25

El tercer dato (semestre=3, porcentaje decalificación=0.20) se convierte en la ecuación:

m (3) + b = 0.20, es decir: b+ 3m = 0.20

El cuarto dato (semestre=4, porcentaje decalificación=0.35) se convierte en la ecuación:

m (4) + b = 0.35, es decir: b+ 4m = 0.35



Continuando con este proceso nos lleva el sistemade ecuaciones:

b+ 1m = 0.20

b+ 2m = 0.25

b+ 3m = 0.20

b+ 4m = 0.35

b+ 5m = 0.45

b+ 6m = 0.40



Continuando con este proceso nos lleva el sistemade ecuaciones:

b+ 1m = 0.20

b+ 2m = 0.25

b+ 3m = 0.20

b+ 4m = 0.35

b+ 5m = 0.45

b+ 6m = 0.40

Este sistema se escribe en la notación matricial

A

[b

m

]= b



Siendo

A =

1 1

1 2

1 3

1 4

1 5

1 6

,b =

0.20

0.25

0.20

0.35

0.45

0.40



Por tanto,

ATA =

[1 1 1 1 1 1

1 2 3 4 5 6

]

1 1

1 2

1 3

1 4

1 5

1 6

=

[6 21

21 91

]



y

ATb =

[1 1 1 1 1 1

1 2 3 4 5 6

]

0.20

0.25

0.20

0.35

0.45

0.40

=

[1.85

7.35

]



y

ATb =

[1 1 1 1 1 1

1 2 3 4 5 6

]

0.20

0.25

0.20

0.35

0.45

0.40

=

[1.85

7.35

]

Así, las ecuaciones normales son[

6 21

21 91

][b

m

]=

[1.85

7.35

]



Resolviendo este sistema[

6 21 1.85

21 91 7.35

]∼

[1 0 0.13333

0 1 0.05

]




6 21 1.85

21 91 7.35

]∼

[1 0 0.13333

0 1 0.05

]

Por consiguiente, m = 0.05 y b = 0.13333.




6 21 1.85

21 91 7.35

]∼

[1 0 0.13333

0 1 0.05

]

Por consiguiente, m = 0.05 y b = 0.13333. Demanera que la recta es

y = 0.13333 + 0.05x




6 21 1.85

21 91 7.35

]∼

[1 0 0.13333

0 1 0.05

]


y = 0.13333 + 0.05x

Para x = 10 se obtieney = 0.13333 + 0.05× 10 = 0.63333.




6 21 1.85

21 91 7.35

]∼

[1 0 0.13333

0 1 0.05

]


y = 0.13333 + 0.05x

Para x = 10 se obtieney = 0.13333 + 0.05× 10 = 0.63333. Esto significaque más o menos esperaríamos 63.3 % decalificaciones estarían por encima del 80 en eldécimo semestre, si continua esta tendencia decalificaciones.




Figura 7: Ejemplo 3: solución por mínimos cuadrados usando



Ejemplo

Encuentre la ecuación de la recta y = mx+ b quese ajusta mejor, en el sentido de mínimoscuadrados, a los datos de la siguiente tabla:

x y

40 48145 46650 45355 43560 420

Hint: Forme el sistema para m y b sustituyendo lospuntos en el modelo, por ejemplo al sustituir elprimer punto queda la ecuación :

40m+ b = 481



Soluci on

Convirtiendo cada dato en ecuación, obtenemos el sistema:

40m+ b = 481

45m+ b = 466

50m+ b = 453

55m+ b = 435

60m+ b = 420



Soluci on

Convirtiendo cada dato en ecuación, obtenemos el sistema:

40m+ b = 481

45m+ b = 466

50m+ b = 453

55m+ b = 435

60m+ b = 420

Así, el sistema queda Ax = b con

A =

40 1

45 1

50 1

55 1

60 1

y b =

481

466

453

435

420



Así

ATA =

12750 250

250 5

y A

Tb =

111985

2255

Por tanto, las ecuaciones normales quedan:

ATAx = A

Tb →

12750 250

250 5

x =

111985

2255

Al formar la aumentada y reducir obtenemos: 12750 250 111985

250 5 2255

→

1 0 −3.06

0 1 604.0

De donde m = −3.06 y b = 604.0. Por tanto, el modelo del mínimoerror cuadrático es:

y = −3.06x+ 604.0�



Ejemplo

Una población de conejos en una gran isla se estimó desde 1981hasta 1984 y se obtuvieron los datos:

año N

1981 2960

1982 4540

1983 8080

1984 17060

Se espera que los datos se ajusten a una función exponencial

N(t) = No ek (t−1981)

Use el método de mínimos cuadrados para hacer este ajuste.Usando esto determine la población en 1985.

Hint: Tome logaritmos para convertir el ajuste a un modelo lineal.



Soluci on

Tomando logaritmo natural al modelo propuestoN(t) = No e

k (t−1981) tenemos:

ln (N) = k (t− 1981) + ln (No)

Si y = ln (N) y b = ln (No) el modelo buscado es:

y = k (t− 1981) + b

siendo los parámetros incógnitas k y b. Al añadir a la tabla de datosla columna ln (N) queda:

año N ln (N)

1981 2960 7.992944547

1982 4540 8.420682291

1983 8080 8.997147152

1984 17060 9.744491821



Al sustituir los datos en el modelo, obtenemos las ecuaciones:

0 k + b = 7.992944547

1 k + b = 8.420682291

2 k + b = 8.997147152

3 k + b = 9.744491821

Así, el sistema tiene la forma Ax = b con

A =

0 1

1 1

2 1

3 1

y b =

7.992944547

8.420682291

8.997147152

9.744491821



De donde:

ATA =

14 6

6 4

y A

Tb =

55.64845205

35.15526581

Por tanto, la matriz aumentada de las ecuaciones normales y sureducción quedan

14 6 55.64845205

6 4 35.15526581

→

1 0 0.583110664

0 1 7.914150457

Concluimos que k = 0.583110664 yNo = eb = e7.914150457 = 2735.72143 . Por tanto, el modelo queminimiza el error cuadrático bajo el logaritmo natural es:

N(t) ≈ 2735.72143 e.583110664 (t−1981)

Por tanto el estimado de la población para t = 1985 sería:

N(1985) ≈ 2735.72143 e.583110664 (1985−1981) = 28186.35046



El problema puede hacerse también utilizando lafactorización QR de A, estos cálculos semuestran en las figuras 8, 9 y 10.




En la figura 9 se ilustra cómo tomar el logaritmonatural a un vector columna.

Figura 9: Ejemplo 6: logaritmo de un vector y factorizaciónQR.



En la figura 10 se muestra la solución por mínimoscuadrados utilizando la factorización QR.

Figura 10: Ejemplo 6: solución de mínimos cuadrados porQR.

Documents

Álgebra Lineal Ma1010 - cb.mty.itesm.mxcb.mty.itesm.mx/ma1010/materiales/ma1010-24a.pdf · valores de los parámetros que mejor ajustan el modelo a los datos. Primero veremos el