28
Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012 El método de Gradientes Conjugados MAT-251 Dr. Alonso Ramírez Manzanares Depto. de Matemáticas Univ. de Guanajuato e-mail: [email protected] web: http://ww w.cimat.mx/~alram/met_num/ Dr. Joaquín Peña Acevedo CIMAT A.C. e-mail: [email protected]

El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

El método de Gradientes ConjugadosMAT-251

Dr. Alonso Ramírez ManzanaresDepto. de MatemáticasUniv. de Guanajuatoe-mail: [email protected]: http://www.cimat.mx/~alram/met_num/

Dr. Joaquín Peña AcevedoCIMAT A.C.e-mail: [email protected]

Page 2: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

• En el problema

• donde la matriz es simétrica y definida positiva, y cuando la matriz es rala.

• Usaremos

Intro

xT Ay = (Ax)T y

=

Page 3: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

La forma cuadrática

• Es un escalar

• De tal forma que para nuestro caso f(x) es minimizada por la solución

• Ya que

Page 4: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

¿es un minimo?

• En el caso de matrices positivas definidas

Page 5: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

¿es un minimo?

• En el caso de matrices positivas definidas

positivo

Page 6: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

¿es un minimo?

• En el caso de matrices positivas definidas

positivo

Page 7: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

¿es un minimo?

• En el caso de matrices positivas definidas

positivo

Se demuestra operando sobre f(p) = f(x+d)

Page 8: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

La forma cuadrática en 2D

Page 9: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

El gradiente de la forma cuadrática en 2D

Page 10: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

Forma cuadratica dependiendo la matriz

Page 11: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

¿Cómo minimizar f(x)?

• Usando la dirección de máximo descenso

• Damos una serie de “pasos”

• En este enfoque tenemos 2 guias:

Page 12: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

Escojer α

Es aquel punto tal que su gradiente es perpendicular a la linea de búsqueda

Page 13: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

Escojer

• Calculando derivadas direccionales

• y por regla de la cadena

• ¿Cuál es la ? Usando

α

α= 0

Page 14: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

Comportamiento de maximo descenso

Page 15: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

Eigen vectors

• Los eigen vectores de la matriz definen los ejes de la forma cuadrática. Cada eigen valor es proporcional a la magnitud de la pendiente en esa orientación.

Page 16: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

Metodo de descenso máximo cuando nos movemos por eigen direcciones

Si r(0) es un eigen vector Si todos los eigenvalores son iguales

Page 17: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

Para el análisis se usan norma energética

• La cual se define como

Estos 2 vectores tienen la misma norma energética con respecto a A.

Page 18: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

Usando el análisis de la norma energética, los eigen valores de A y el punto de arranque x(0).

• Se pueden ver casos patológicos o benéficos

Estas gráficas están en el espacio de los eigen vectores

Page 19: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

Si estamos en 2D

• ¿Cuántos pasos da este caso patológico?

Page 20: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

Direcciones conjugadas

• La idea es movernos por n direcciones de búsqueda que son ortogonales

• y dar un solo paso en esa dirección, a lo más en n pasos estamos en el mínimo.

• Queremos algo como esto:

• PERO NO CONOCEMOS e(i)

Page 21: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

Entonces se usan

• direcciones de búsqueda A-ortogonales o conjugadas, lo cual se escribe

Page 22: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

Tamaños de paso con direcciones A-ortogonales

• Podemos usar en análisis similar pero con A-ortogonalidad

Page 23: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

Pasos del método de GC

Se dá un paso en alguna dirección, x(1) se escoje tal que e(1) es A-ortogonal a d(0).

El error inicial se puede ver como una combinación lineal de vectores A-ortogonales. Cada paso elimina uno de ellos.

Page 24: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

En nuestro ejemplo se comporta

Page 25: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

El algoritmo es:

• Se hace hasta convergencia:

Page 26: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

El algoritmo es:

• Se hace hasta convergencia:

Page 27: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

El algoritmo es:

• Se hace hasta convergencia:

Este factor nos da el peso del vector para que se mantengan A-ortogonales, tipo Gram-Schmidt.

Page 28: El método de Gradientes Conjugadosalram/met_num/clases/clase29.pdf · Direcciones conjugadas • La idea es movernos por n direcciones de búsqueda que son ortogonales • y dar

Alonso Ramírez Manzanares Métodos Numéricos 29.11.2012

Precondicionamiento:

• Queremos resolver

• Para una matriz M simétrica y positiva definida fácil de invertir resolvemos

• Si este nuevo sistema es mas fácil de resolver. Si la matriz de arriba no es simétrica ni definida podemos calcular

• Se puede probar que las matrices y tienen los mismo eigen valores, entonces podemos resolver

• Donde es simétrica y definida positiva.