Optimización Sin Restricciones - cb.mty.itesm.mxcb.mty.itesm.mx/materias/ma4011/materiales/a130-14.pdf · optimización de funciones en una variable utilizando cálculo diferencial:

Optimización Sin Restricciones Profr. E. Uresti - p. 1/38

Optimización

Optimización Sin RestriccionesDr. E Uresti

ITESM

IntroduccionOptimos localesPunto crıticoTeorema ClaveEjemplo 1Ejemplo 2Comandos TIBases-Teorema Espectral-F Cuadraticas-Taylor-Taylor 2nd


Introducción

En esta sección se verá un método analítico para optimizar una

función real en el caso que no existan restricciones sobre el

dominio de la función y cuando la función admite segundas

derivadas continuas. Esta técnica generaliza la técnica de

optimización de funciones en una variable utilizando cálculo

diferencial: primeramente se determina cuáles son los candidatos a

óptimos, y posteriormente se aplica un criterio basado en la

segunda derivada para determinar si corresponden a un máximo o

mínimo relativo. Primeramente definiremos los puntos críticos, que

son los únicos puntos candidatos a óptimos de la función. Seguido

de esto, se formula el principal resultado que caracteriza los puntos

máximos y mínimos locales e ilustraremos el proceso de

optimización con un par de ejemplos detallados hechos a mano y

usando la calculadora TI. En la última sección se listan los

resultados teóricos que son los argumentos necesarios para el

teorema que caracteríza los óptimos locales.



Óptimos de una Función

Definici onSea f una función de valor real definida sobre unconjunto D ⊆ Rn. Sea x0 un punto en D , x0 sedice un mínimo local de f si existe d > 0 tal que six ∈ D y |xo − x| < d entonces f(x) ≥ f(x0). Porotro lado, se dice máximo local si se cumplef(x) ≤ f(x0). En general, el concepto óptimo localse refiere a mínimos o máximos locales. El valordel óptimo local x0 es f(x0).



Punto Crítico o Estacionario

Definici onSea f una función de valor real definida sobre unconjunto D ⊆ Rn. Un punto x0 ∈ D se llama puntoestacionario o punto crítico si todas las parcialesde f se hacen cero cuando se evaluan en x0. Esdecir, si

∇f(x0) = 0



Teorema Clave

Teorema

Sea f : D ⊆ Rn → R. Suponga que f tienesegundas derivadas parciales continuas enD. Si x0 es un punto estacionario de f

entonces f tiene en x0 . . .



Teorema Clave

Teorema


entonces f tiene en x0 . . .■ un mínimo local si Hf (x0) es positiva

definida. (Todos los valores propios deHf (x0) son positivos)



Teorema Clave

Teorema




■ un máximo local si Hf (x0) es negativadefinida. (Todos los valores propios deHf (x0) son negativos)



Teorema Clave

Teorema




■ un máximo local si Hf (x0) es negativadefinida. (Todos los valores propios deHf (x0) son negativos)

■ un punto silla si Hf (x0) tiene valorespropios negativos y también positivos.



Ejemplo 1: Clasificación de puntos

Para la función:

f(x, y) = 27x−1

9x3 − 2 y2 + y

4

clasifique los siguientes puntos:a) P (−3, 1)

b) Q (9,−1)

c) R (−9, 1)

d) S (9, 0)

e) T (−9, 0)

respecto a las opciones:1) Punto crítico: mínimo relativo

2) Punto crítico sin información por el criterio de la Hessiana

3) No punto crítico

4) Punto crítico: máximo relativo

5) Punto crítico: punto silla



Soluci on

La idea es sustituir cada uno de los puntos en el gradiente paradeterminar si el punto es punto crítico. Sólo en caso de serlo,debemos sustituir en la Hessiana para ver si es máximo o mínimolocal. En nuestro ejemplo

fx = 27− 1

3x2

fy = −4 y + 4 y3

∇f = < 27− 1

3x2,−4 y + 4 y3 >

En la figura 1 se ilustra: limpieza de las variables, la captura def(x, y) y la obtención de las parciales.

Figura 1: Registro de f(x, y), fx y fy


En las pantallas de la figura 2 se registran la captura de los puntos en la variable p

y el cálculo de la matriz hessiana.

Figura 2: Registro de puntos y Cálculo de la hessiana



Análisis de P (−3, 1)

Como

∇f(P ) =< 24, 0 > 6=< 0, 0 >

P (−3, 1) no es un punto crítico y por tanto no puede ser ni máximoni mínimo relativo. En la figura 3 se ilustra la sustitución del puntoP (−3, 1) y del Q(9,−1) en ∇f .

Figura 3: Cálculo de ∇f(P ) y de ∇f(Q)



Análisis de Q (9,−1)

Como

∇f(Q) =< 0, 0 >

por tanto, Q(9,−1) es un punto crítico. Revisemos el criterio de lasegunda derivada:

Hf (Q) =

−6 0

0 8

y así los eigenvalores propios de Hf (Q) son -6 y 8. Por tanto, elpunto Q(9,−1) es un punto silla. Los cálculos se ilustran en lafigura 4.

Figura 4: Criterio en Q(9,−1).



Análisis de R (−9, 1)

Como

∇f(R) =< 0, 0 >

por tanto, Q(−9, 1) es un punto crítico. Revisemos el criterio de lasegunda derivada:

Hf (R) =

6 0

0 8

y aís los eigenvalores propios de Hf (R) son 6 y 8. Por tanto, elpunto R(−9, 1) es un mínimo relativo. Los cálculos se ilustran en lafigura 5.

Figura 5: Criterio en R(−9, 1).



Análisis de S (9, 0)

Como

∇f(S) =< 0, 0 >

por tanto, S(9, 0) es un punto crítico. Revisemos el criterio de lasegunda derivada:

Hf (S) =

−6 0

0 −4

y así los eigenvalores propios de Hf (S) son -6 y -4. Por tanto, elpunto S(9, 0) es un máximo relativo. Los cálculos se ilustran en lafigura 6.

Figura 6: Criterio en S(9, 0).



Análisis de T (−9, 0)

Como

∇f(S) =< 0, 0 >

por tanto, T (−9, 0) es un punto crítico. Revisemos el criterio de lasegunda derivada:

Hf (T ) =

6 0

0 8

y así los eigenvalores propios de Hf (T ) son 6 y 8. Por tanto, elpunto T (−9, 0) es un mínimo relativo. Los cálculos se ilustran en lafigura 7.

Figura 7: Criterio en T (−9, 0).



NotasObserve en las pantallas de la TI el uso de lavariable i: este truco permite el reuso de lasentradas anteriores evitando así el volver a escribirlos comandos, para ello basta volver a localizar elcomando utilizando el cursor.Observe también el comando | utilizado parasustituir valores por variables en una expresión sinnecesidad de hacer una asignación.�



Ejemplo 2

Ejemplo

Analice la función: f : R2 → R definida por:

f(x, y) = x3 + y3 − 3 x y



Ejemplo 2

Ejemplo


f(x, y) = x3 + y3 − 3 x y

SoluciónDeterminemos primero los puntos críticos. Paraello determinemos el gradiente de la función:

∇f(x) =< 3 x2 − 3 y, 3 y2 − 3 x >′



Ejemplo 2

Ejemplo


f(x, y) = x3 + y3 − 3 x y


∇f(x) =< 3 x2 − 3 y, 3 y2 − 3 x >′

Los puntos críticos satisfacen ∇f(x) =< 0, 0 >′,por tanto:



Ejemplo 2

Ejemplo


f(x, y) = x3 + y3 − 3 x y


∇f(x) =< 3 x2 − 3 y, 3 y2 − 3 x >′

Los puntos críticos satisfacen ∇f(x) =< 0, 0 >′,por tanto:

3 x2 − 3 y = 0 y 3 y2 − 3 x = 0



De donde:

x2 − y = 0 y y2 − x = 0



De donde:

x2 − y = 0 y y2 − x = 0

Despejando y de la primera y sustituyendo en lasegunda obtenemos:

(x2)2−x = x4−x = x (x3−1) = x (x−1) (x2+x+1) = 0



De donde:

x2 − y = 0 y y2 − x = 0


(x2)2−x = x4−x = x (x3−1) = x (x−1) (x2+x+1) = 0

Las raíces son

x1 = 0, x2 = 1, x3 =1

2+

1

2i√3, x4 =

1

2− 1

2i√3



De donde:

x2 − y = 0 y y2 − x = 0


(x2)2−x = x4−x = x (x3−1) = x (x−1) (x2+x+1) = 0

Las raíces son

x1 = 0, x2 = 1, x3 =1

2+

1

2i√3, x4 =

1

2− 1

2i√3

Puesto que estamos sólo interesados en lasraíces reales, sólo consideraremos a x1 = 0 yx2 = 1.



Los puntos críticos quedan: (como y = x2):



Los puntos críticos quedan: (como y = x2):■ x = 0



Los puntos críticos quedan: (como y = x2):■ x = 0 , y = 0: P (0, 0)




■ x = 1




■ x = 1 , y = 1: Q(1, 1)




■ x = 1 , y = 1: Q(1, 1)El siguiente paso es determinar cuáles sonmáximos o mínimos relativos y cuáles puntos silla.




■ x = 1 , y = 1: Q(1, 1)El siguiente paso es determinar cuáles sonmáximos o mínimos relativos y cuáles puntos silla.Para ello determinemos la matriz Hessiana de f :




■ x = 1 , y = 1: Q(1, 1)El siguiente paso es determinar cuáles sonmáximos o mínimos relativos y cuáles puntos silla.Para ello determinemos la matriz Hessiana de f :

Hf (x) =

[

6x −3

−3 6y

]



Para P (0, 0):

Hf (P ) =

[

0 −3

−3 0

]

→ Valores propios: − 3, 3



Para P (0, 0):

Hf (P ) =

[

0 −3

−3 0

]


Da signos intercambiados: P (0, 0) es punto silla .



Para P (0, 0):

Hf (P ) =

[

0 −3

−3 0

]



Para Q(1, 1):

Hf (Q) =

[

6 −3

−3 6

]

→ Valores propios: 9, 3



Para P (0, 0):

Hf (P ) =

[

0 −3

−3 0

]



Para Q(1, 1):

Hf (Q) =

[

6 −3

−3 6

]

→ Valores propios: 9, 3

Todos positivos: Q(1, 1) es punto mınimo relativo .



Para terminar de convencernos de queefectivamente el criterio es válido tomemos elpunto P (0, 0). La matriz Hessiana tuvo valorespropios α1 = 3 y α2 = −3. Tomemos el valor propioα1. Para este valor propio de Hessiana evaluadaen P (0, 0) tiene como vector propio v1 =< 1,−1 >:esta dirección define en el punto P (0, 0) a la rectay = −x. Si sobre esta recta consideramos a lafunción f(x, y) tenemos:

F (x) = f(x, y = −x) = x3 + (−x)3 − 3x(−x) = 3 x2

Si analizamos esta función efectivamentedescubriremos que en x = 0 la función tiene unmínimo.



Para terminar de convencernos de queefectivamente el criterio es válido tomemos elpunto P (0, 0). La matriz Hessiana tuvo valorespropios α1 = 3 y α2 = −3. Tomemos el valor propioα1. Para este valor propio de Hessiana evaluadaen P (0, 0) tiene como vector propio v1 =< 1,−1 >:esta dirección define en el punto P (0, 0) a la rectay = −x. Si sobre esta recta consideramos a lafunción f(x, y) tenemos:

F (x) = f(x, y = −x) = x3 + (−x)3 − 3x(−x) = 3 x2

Si analizamos esta función efectivamentedescubriremos que en x = 0 la función tiene unmínimo. Resumiendo: en el punto P (0, 0) y en ladirección v1 =< 1,−1 > la función f(x, y) tiene unminimo.



Por otro lado, para el valor propio α2 = −3 laHessiana evaluada en P (0, 0) tiene como vectorpropio v2 =< 1, 1 >: esta dirección define en elpunto P (x, y) la recta y = x. Si sobre esta rectaconsideramos la función f(x, y) tenemos

G(x) = f(x, y = x) = x3 +(x)3 − 3x (x) = 2 x3 − 3 x2

Si analizamos esta función efectivamentedescubriremos que en x = 0 la función tiene unmáximo en x = 0.




G(x) = f(x, y = x) = x3 +(x)3 − 3x (x) = 2 x3 − 3 x2

Si analizamos esta función efectivamentedescubriremos que en x = 0 la función tiene unmáximo en x = 0. Resumiendo: en el puntoP (0, 0) y en la dirección v2 =< 1, 1 > la funciónf(x, y) tiene un máximo.




G(x) = f(x, y = x) = x3 +(x)3 − 3x (x) = 2 x3 − 3 x2

Si analizamos esta función efectivamentedescubriremos que en x = 0 la función tiene unmáximo en x = 0. Resumiendo: en el puntoP (0, 0) y en la dirección v2 =< 1, 1 > la funciónf(x, y) tiene un máximo. De estos dos análisisconcluimos que efectivamente la función f(x, y)tiene un punto silla en P (0, 0): Hay una direccióndonde el punto se ve como mínimo y hay otradonde se ve como máximo.


Optimización Sin Restricciones Profr. E. Uresti - p. 21/38Figura 8: Graficas de F (x) y de G(x)



Repitamos los cálculos en la TI. En la figura 9 se ilustra: la limpiezade las variables x y y; el registro de la función f ; el cálculo de lasparciales de f ; y la determinación de los puntos críticos.

Figura 9: Preparación para el ejemplo 2.



En la figura 10 se ilustra la salida de la solución del sistema deecuaciones que define los puntos críticos. Por conveniencia, serecomienda utilizar el comando exp◮list para convertir la solucióndada por la calculadora en un formato más fácil de manipular.

Figura 10: Puntos críticos de f .



En la figura 11 se ilustra la salida del comando exp◮list el cual esuna matriz donde las raíces están por renglones y el orden en lascolumnas está relacionado con el orden del segundo argumento deexp◮list . También se ilustra parcialmente el registro de la Hessianade f en la variable h.

Figura 11: Salida de exp◮list y cálculo de Hf .


En las pantallas de la figura 12 se muestran los resultados de sustituir los puntosen la matriz Hessiana de f y el cálculo de sus eigenvalores. Recuerde que elprimer renglón contiene las componentes del punto Q(1, 1), mientras que elsegundo renglón las de P (0, 0). Estos resultados confirman que Q(1, 1) es unmínimo relativo y que P (0, 0) es un punto silla.

Figura 12: Análisis de Q(1, 1) (p[1]) y de P (0, 0) (p[2]).



Algunos comandos en la TI

En esta lectura usamos ciertos comandos quequizá merecen una explicación:■ DelVar

■ exp◮list

■ |■ d



DelVar var1, var2, var3, . . .

Este comando se usa para limpiar variables y es útil cuando se

desea construir una expresión matemática que involucra a ciertas

variables. Previo a definir la expresión se debe invocar este

comando. Ud. puede teclear directamente la palaba delvar con

minúsculas y su calculadora reconocerá el comando DelVar . Este

comando puede ser invocado con una o variables variables. En

caso de ser varias, éstas deben ir separadas por comas: los

espacios no son necesarios. Este comando equivale entrar al

var-link y limpiar la o las variables declaradas.



exp◮list (exp, {var1, var2, var3, . . .})Este comando es útil para convertir las soluciones a un sistema deecuaciones que proporciona la calculadora TI en una matriz cuyosrenglones son cada una de las raíces. Se asume que exp es unaexpresión del tipo

var1 = v11 and var2 = v12 and · · · and varN = v1N

or

...

or

var1 = vM1 and var2 = vM2 and · · · and varN = vMN

la cual es precisamente la forma de la salida del comando solve . Lainvocación de este comando crea la matriz:

v11 v12 · · · v1N

......

. . ....

vM1 vM2 · · · vMN



Hay dos maneras de conseguir el comando exp◮list . Una manera

es ingresar desde catalog ( 2nd 2 , en la TI voyage 200) y luego

moviéndose con las flechas hasta localizar la función (se puede

presionar la letra e para moverse al principio de las funciones que

inician con e y después continuar con el movimiento del cursor). La

otra consiste en teclear directamente el comando ubicando

adecuadamente el caracter ◮ en el teclado ( 2nd Y , en la TI

voyage 200).

Otra cosa importante de notar es que el orden de los valores en la

columna va acorde con el orden declarado en el segundo

argumento (exp, {var1, var2, var3, . . .}) y no con el orden de

aparición de las variables en la solución.



exp | var1 = v1 and var2 = v2 and · · ·

Esta construcción permite sustituir los valores vi de las variables

vari en exp. Esto es muy conveniente pues no ocurre una

asignación de las variables que puedan contaminar los siguientes

cálculos. El caracter | se obtiene en la TI voyage 200 con la

combinación 2nd K .



d(exp, var) o d(exp, var, n)

Este comando se usa para calcular derivadas de exp respecto a la

variable var. El tercer argumento opcional n indica el número de

veces consecutivas que se deriva exp. Note la diferencia entre

escribir la letra d y y el comando d : El comando de derivación se

obtiene en el menú de math en el submenú calculus , o con las teclas

2nd 8 en la TI voyage 200.



Resultados requeridos

La teoría detrás de este método de optimización se basa en ciertos

resultados sobre matrices y otros referentes a cálculo. El siguiente

resultado es uno de los más importantes del álgebra lineal y es

conocido como el teorema espectral. Una de las cosas

soprendentes es que un concepto simple como el de simetría de

una matriz pueda tener repercusiones tan importantes. La

demostración de este resultado viene en el teorema 8.8 del libro de

A. Basilevsky (1983): Applied Matrix Algebra in Statistical Sciences

(North-Holland, New York). Los resultados sobre cálculo se

relacionan con el desarrollo de Taylor (series de potencias) de una

función en variables.



Teorema

Sea A una matriz n× n simétrica. Entonces todos losvalores propios de A son reales y existe para R

n una baseortogonal formada por vectores propios de A. Más aún, six1, x2,. . . ,xn forman una base ortogonal de vectorespropios asociados a los valores propios λ1,λ2,. . . ,λn

respectivamente entonces si P es la matriz cuya columna i

es el vector xi y D es la matriz diagonal cuyo elemento (i, i)

es λi, entonces

A = PDP′

Bajo el supuesto de segundas derivadas parciales continuas de

una función en varias variables f , el teorema de Clairaut afirma que

las derivadas parciales cruzadas son iguales y por tanto la matriz

hessiana Hf es simétrica. Y por tanto, evaluada en cualquier punto

tendrá todos sus valores propios reales.



El teorema espectral tiene un impacto inmediato sobre funcionesllamadas formas cuadráticas:

Teorema

Sea A = [aij ] una matriz n× n simétrica. Si definimos laforma cuadrática en la variable x =< x1, x2, . . . , xn >

Q(x) = x′

Ax =

n∑

i=1

n∑

j=1

aij xi xj

entonces:■ Q(x) > 0 para toda x 6= 0 si y sólo si todos los valores

propios de A son positivos.

■ Q(x) < 0 para toda x 6= 0 si y sólo si todos los valorespropios de A son negativos.



Demostraci onPor el teorema espectral existen C ortogonal y D

diagonal n× n tal que A = C′ DC porconsiguiente

Q(x) = x′ Ax = x′ C′ DCx = (Cx)′ D (Cx)

Si definimos y = Cx entonces lo anterior queda:

Q(x) = y′ Dy =n

∑

i=1

λi yi2

Note que al ser C ortogonal, C es invertible y porlo tanto x 6= 0 si y sólo si y 6= 0.



Dado que calcular valores y vectores propios de una matriz es unproceso numérico complejo, el siguiente resultado cambia elproceso de la determinación de valores propios por el procesodirecto de cálculo de determinantes. La demostración de esteresultado vienen en la prueba del teorema 2.14.4 del libro de P.Lancaster (1969): Theory of Matrices (Academic Press, New York).

Teorema

Sea A una matriz simétrica n× n. A tiene todos sus valorespropios positivos si y sólo si todos los determinantes de lasmatrices principales primeras son positivos, esto es

a11 > 0,

∣

∣

∣

∣

∣

∣

a11 a12

a21 a22

∣

∣

∣

∣

∣

∣

> 0, . . . , |A| > 0.



El teorema clave que da las condiciones suficientes que debencumplir los óptimos locales para ser máximos relativos, mínimosrelativos o puntos sillan se deduce de variantes del teorema deTaylor que da el desarrollo de potencias de una función. La pruebade este resultado aparece en la demostración del teorema 7.5.1 dellibro de A. Khuri (1993): Advanced Calculus with Applications inStatistics (John Wiley and Sons, New York)

Teorema

Sea f : D ⊆ Rn → R y sea B(xo) una vecindad de xo ∈ D

tal que B(xo) ⊆ D. Si todas las parciales de f existen y soncontinuas hasta orden ≤ r en B(xo), entonces paracualquier punto xo + x ∈ B(xo) se cumple

f(xo + x) = f(xo) +

r−1∑

i=1

1

i!

[

x′∇

]if(xo) +

1

r!

[

x′∇

]rf(zo)

donde zo está en la línea que une xo con xo + x.



Demostración de la versión del teorema utilizada en la prueba de lasuficiencia de las condiciones para máximos, mínimos y puntos sillay que se formula como sigue puede ser encontrada en la pruebadel teorema 9.4 del libro de T. Apostol (1980): Calculus, Volumen 2(Reverté, Barcelona).

Teorema

Sea f(x) una función escalar definida en una n-bola B(x0)

y con derivadas parciales de segundo orden continuas enB(x0). Entonces para todo x0 + x ∈ B(x0) se tiene

f(x0+x)−f(x0) = ∇f(x0) • x+1

2x′

Hf (x0)x+‖x‖2E2(x0,x)

donde E2(x0,x) → 0 cuando x → 0.

Del teorema anterior se deduce que en un punto crítico x0 el signode f(x0 + x)− f(x0) es el signo de x

′Hf (x0)x.

Documents

Optimización Sin Restricciones - cb.mty.itesm.mxcb.mty.itesm.mx/materias/ma4011/materiales/a130-14.pdf · optimización de funciones en una variable utilizando cálculo diferencial: