View
222
Download
0
Category
Preview:
Citation preview
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
1/53
FLAVIA MESCKO FERNANDES
VELOCIDADE DE CONVERGNCIA DE MTODOS DEOTIMIZAO IRRESTRITA
CURITIBA
DEZEMBRO, 2010
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
2/53
FLAVIA MESCKO FERNANDES
VELOCIDADE DE CONVERGNCIA DE MTODOS DEOTIMIZAO IRRESTRITA
Monografia apresentada como requisitoparcial obteno do grau de Licenci-ado em Matemtica, pelo Departamento deMatemtica, Setor de Cincias exatas, Uni-versidade Federal do Paran.
Orientador: Ademir Alves Ribeiro
Co-Orientadora: Elizabeth Wegner Karas
CURITIBA
DEZEMBRO, 2010
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
3/53
Termo de Aprovao
FLAVIA MESCKO FERNANDES
VELOCIDADE DE CONVERGNCIA DE MTODOS DEOTIMIZAO IRRESTRITA
Monografia apresentada como requisito parcial obteno do grau de Licenciado emMatemtica, pelo Departamento de Matemtica, Setor de Cincias exatas, UniversidadeFederal do Paran, pela seguinte banca examinadora:
Prof Dr. Ademir Alves RibeiroUniversidade Federal do Paran
Profa. Dra. Lucelina Batista dos SantosUniversidade Federal do Paran
Curitiba, Dezembro de 2010
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
4/53
Dedicatria
A Deus,
Pelo dom da vida.
ii
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
5/53
Agradecimentos
Agradeo primeiramente ao Senhor Jesus Cristo por mais uma importante etapa
concluda. Agradeo tambm a minha famlia, pelo apoio e dedicao. Meus amigos
do curso, pelo companheirismo e boas horas de estudo. Agradeo aos meus professores
pelos conhecimentos que me transmitiram, ao professor Paulo Henrique e profes-
sora Elizabeth que me orientaram e auxiliaram em pesquisas no decorrer do curso. Eagradeo especialmente ao professor Ademir, que com dedicao me orientou e me aju-
dou na concluso deste trabalho, pelo exemplo e lies que contribuiram para minha
formao profissional.
iii
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
6/53
Sumrio
Lista de Figuras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vi
Resumo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii
1 INTRODUO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
2 ESTUDO DE SEQUNCIAS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.1 Convergncia de Sequncias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.2 Nmero de Ouro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.3 Velocidade de Convergncia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
3 MTODO DE CAUCHY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.1 Algoritmo de Cauchy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.2 Algoritmo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.3 Convergncia Global . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
3.4 Velocidade de Convergncia. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
4 MTODO DE NEWTON . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
4.1 Mtodo de Newton para Resoluo de Equaes . . . . . . . . . . . . . . . . . . . . . . . . 19
4.2 Mtodo de Newton para Otimizao Irrestrita . . . . . . . . . . . . . . . . . . . . . . . . . . 20
iv
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
7/53
4.3 Algoritmo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
4.4 Convergncia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
5 MTODO DA SEO UREA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
5.1 Busca Unidimensional . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
5.2 Mtodo da Seo urea - Busca exata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
5.3 Algoritmo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
5.4 Convergncia do Mtodo da Seo urea . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
5.5 Velocidade de Convergncia. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
6 CONCLUSO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
R e f e r n c i a s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 3
v
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
8/53
Lista de Figuras
Figura 1 Termos da sequncia(xk)na reta. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Figura 2 Termos da Sequncia(xk) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Figura 3 Passos do Algoritmo de Cauchy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Figura 4 Passos do Algoritmo de Cauchy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
Figura 5 Uma iterao do Mtodo de Newton para equaes . . . . . . . . . . . . . . . 20
Figura 6 Uma iterao do Mtodo de Newton . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Figura 7 Busca unidimensional exata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
Figura 8 Funes Unimodais . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
Figura 9 Seo urea . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Figura 10 Intervalo dividido em trs partes iguais . . . . . . . . . . . . . . . . . . . . . . . . . . 30
vi
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
9/53
Figura 11 Partio do intervalo[a, b] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
Figura 12 Partio do intervalo[a, b] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Figura 13 Anlise da primeira etapa do algoritmo . . . . . . . . . . . . . . . . . . . . . . . . . . 36
Figura 14 Anlise do item(i)do teorema 5.7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
Figura 15 Todos os intervalos [ak, bk] contm o minimizador da funo quadrtica. 39
vii
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
10/53
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
11/53
1
1 INTRODUO
Em otimizao a soluo de um problema de minimizar uma funo obtida
por meio de um processo iterativo. Consideramos um ponto inicialx0, obtemos um
ponto melhorx1, isto , que diminui o valor da funo objetivo e repetimos o processo
gerando uma sequncia na qual a funo objetivo decresce. Basicamente temos trs
aspectos concernentes aos mtodos de otimizao. O primeiro consiste na criao do
algoritmo propriamente dito, que deve levar em conta a estrutura do problema e as
propriedades satisfeitas pelas solues, entre outras coisas. O segundo aspecto se refere
as sequncias geradas pelo algoritmo, onde a principal questo se tais sequncias
realmente convergem para uma soluo do problema. O terceiro ponto a ser considerado
a velocidade com que a sequncia converge para uma soluo, para fins prticos,
no basta que esta seja convergente preciso que uma aproximao do limite possa
ser obtida em um tempo razovel. Deste modo, bons algoritmos so os que geram
sequncias que convergem rapidamente para uma soluo.
Uma forma geral de construir um algoritmo consiste em escolher, a partir de
cada ponto obtido, uma direo para dar o prximo passo. A direo escolhida no
Algoritmo de Cauchy a oposta ao grandiente, pois esta a de maior decrescimento
da funo. J o algoritmo de Newton minimiza, em cada iterao, a aproximao
quadrtica da funo objetivo. Quando a direo de busca j dada e precisamos mi-
nimizar uma funo a partir de um certo ponto, segundo esta direo, recaimos em um
problema de minimizar uma funo real de apenas uma varivel. Um dos mtodos que
podem ser usados para resolver este problema o Mtodo da Seo urea, que faz a
minimizao exata desta funo.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
12/53
2
Este trabalho se organiza da seguinte forma: inicialmente so apresentados
alguns conceitos de Anlise que sero utilizados nos prximos captulos. feita uma
reviso sobre convergncia de sequncias e velocidade de convergncia.
O segundo e terceiro captulos apresentam os algoritmos de Cauchy e de New-
ton, alm da anlise da velocidade de convergncia destes mtodos.
Encerrando o trabalho com um estudo sobre o Mtodo da Seo urea, abor-
dado no quarto captulo, bem como a anlise das etapas deste algoritmo e sua velocidade
de convergncia, algumas das demonstraes apresentadas neste captulo no foram en-
contradas nas principais literaturas, portanto este estudo ocorreu de forma independente.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
13/53
3
2 ESTUDO DE SEQUNCIAS
Neste captulo apresentamos algumas definies bsicas e alguns resultados
de Anlise relevantes para este trabalho. As principais referncias deste captulo so
(LIMA, 1981b;RIBEIRO; KARAS, 2010).
2.1 Convergncia de Sequncias
Uma sequncia em IRn uma aplicao k IN xk IRn, definida noconjuntoINdos nmeros naturais. Denotaremos uma sequncia por (xk)kIN, ou sim-
plesmente por(xk). Por convenincia, consideramos queIN ={0, 1, 2, 3, . . .}.
Definio 2.1 Diz-se que o ponto a IRn o limite da sequncia (xk)quando, paratodo >0dado, possvel obterk0INtal que
kk0 xk a< .
Neste caso, tambm dizemos que a sequncia(xk)converge para ae indicamos este
fato porxk aou limk
xk =a.
Vemos da definio anterior que o ponto aIRn o limite da sequncia(xk)se para cada >0, o conjuntoIN1 ={kIN| xk a } finito, ou seja, fora dabolaB(a, )s podero estar, no mximo, os termos x1, . . . , xk0.
Uma subsequncia de (xk) a restrio desta sequncia a um subconjunto
infinitoIN ={k1 < k2 < . . . < ki < . . .} IN. Equivalentemente, uma subsequncia
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
14/53
4
de(xk) uma sequncia do tipo (xk)kIN ou(xki)iIN, onde(ki)iIN uma sequncia
crescente de inteiros positivos. Note quekii, para todoiIN.
Teorema 2.2 Se uma sequncia(xk)converge para um limitea, ento toda subsequn-
cia(xki)tambm converge paraa.
Demonstrao. Dado >0existe umk0tal que para todok > k0tem-se xk a< .Como os ndices da subsequncia formam um subconjunto infinito, existe entre eles um
ki0 k0. Ento parakiki0temoskik0. Logo xki a< .
O limite de uma subsequncia(xk)kIN
chamado valor de aderncia ou ponto
de acumulao da sequncia(xk).
Exemplo 2.3 Considere a sequnciaxk = (1)k + 1k+ 1
.
Sabemos que xk tem dois pontos de acumulao, os valores, 1e1, portanto no convergente. Veja a figura a seguir.
Figura 1: Termos da sequncia(xk)na reta.
Exemplo 2.4 Considere uma sequncia(xk)IR. Se xk a >0ento existe k0INtal que, parakk0tem-sexk a
2.
De fato, para = a
2, existek0tal que,k
k0temos
|xk
a
| 0, temosa < a. Pela propriedade do supremo, existe algumk0 INtal quea < xk. Comoxk apara todokIN, vemos que
kk0a < xk a < a+,
donde segue quexk a
Teorema 2.10 Uma sequncia limitada emIRn convergente se, e somente se, possui
um nico ponto de acumulao.
Teorema 2.11 (Bolzano-Weierstrass) Toda sequncia limitada em IRnpossui uma sub-
sequncia convergente.
Teorema 2.12 Seja(xk)IRuma sequncia montona que possui uma subsequnciaconvergente, digamosxk
INa. Entoxk a.
Exemplo 2.13 Seja(xk
)IRdefinida porx0
= 1exk+1
= 1 +xk
. Temos
xk =
1 +
1 + +
1 +
2.
Afirmamos quexk 1
, onde 1
=
1 +
5
2 o inverso do nmero de ouro.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
17/53
7
De fato, podemos provar por induo finita que esta sequncia crescente e limitada,
com1xk 2. Ento, pelo Teorema 2.9,(xk)converge, digamosxk x. De acordo
com o Teorema 2.2, a subsequncia(xk+1)tambm converge para o mesmo limite, isto,xk+1 x. Ento(xk+1 xk)0.O que resulta em
x 1 +x= 0(x)2 x 1 = 0
Portanto a sequncia converge para x =1 +
5
2 .
2.2 Nmero de Ouro
O Nmero de Ouro um nmero irracional misterioso e enigmtico que nos
surge numa infinidade de elementos da natureza na forma de uma razo, sendo consid-
erada por muitos como uma oferta de Deus ao mundo. A designao adoptada para este
nmero 0, 618, a inicial do nome de Fdias que foi escultor e arquiteto encar-regado da construo do Prtenon, em Atenas.
A histria deste enigmtico nmero perde-se na antiguidade. Esta razo ou
seco urea aparece em muitas esttuas da antiguidade que apresentavam uma especial
harmonia esttica. A excelncia dos desenhos de Leonardo Da Vinci (1452-1519), como
a Monalisa e o Homem Vitruviano revelam os seus conhecimentos matemticos bem
como a utilizao da razo urea como garantia de uma perfeio, beleza e harmonia
nicas.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
18/53
8
2.3 Velocidade de Convergncia
No contexto de otimizao existe outro aspecto importante a ser analisado emuma sequncia: a velocidade de convergncia. Considere, por exemplo sequncias
xk = 1
k+ 5, yk =
1
3k, wk =
1
2k2 e zk =
1
22k
Vemos que todas elas convergem para 0, mas no com a mesma rapidez, con-
forme sugere a tabela abaixo.
k 1 2 3 4 5 6
xk 0.1667 0.1429 0.1250 0.1111 0.1000 0.0909
yk 0.3333 0.1111 0.0370 0.0123 0.0041 0.0014
wk 0.5 0.0625 0, 001953 1, 52 105 2, 98 108 1, 46 1011zk 0.2500 0.0625 0.0030 1 105 2 1010 5, 42 1020
Diante disto conveniente estabelecer uma maneira de medir a velocidade de
sequncias convergentes. Considere ento uma sequncia(xk)IRn convergente paraxIRn. Assim,ek=||xk x|| 0. O que faremos avaliar como o erro tende a 0.
Observao:Ao longo deste trabalho utilizaremos a notao ||x|| para indicara norma euclidiana de um vetor em IRn.
Definio 2.14 Dizemos que a sequncia(xk) IRn converge linearmente para xIRn quando existe uma constanter[0, 1)e um nmerok0IN, tais que
||xk+1 x||||xk x|| r (2.1)
para todokk0 importante ressaltar que a condio(2.1)implica quexk x, pois
||xk0+p x|| rp||xk0 x||,
para todopINer[0, 1).
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
19/53
9
Exemplos:
A sequnciaxk
=
1
k+ 5 converge para0, mas no linearmente.De fato, temos
||xk+1||||xk|| =
k+ 5
k+ 6 1.
A sequnciayk = 13k
converge linearmente para 0, pois
||yk+1||
||yk
|| =
1
3
.
As sequnciaswk = 12k2
e zk = 1
22k tambm convergem linearmente para0.
Vejamos agora uma forma mais veloz de convergncia.
Definio 2.15 A sequncia (xk) IRn converge superlinearmente para x IRn
quando ||xk+1 x||||xk x|| 0. (2.2)
Veja que a condio(2.2)tambm implica quexk x.
Note que:
yk no converge superlinearmente.
A sequnciawk = 12k2
converge superlinearmente para0.
De fato, temos||wk+1||||wk|| =
2k2
2(k+1)2
= 1
22k+1 0.
zk tambm converge superlinearmente para 0.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
20/53
10
Outra forma de convergncia, ainda mais rpida dada abaixo.
Definio 2.16 Suponha quexk
x. A convergncia dita quadrtica quando existeuma constanteM >0, tal que
||xk+1 x||||xk x||2 M. (2.3)
importante observar que apenas a condio(2.3)no implica quexk x.Note que:
zk = 122k
converge quadraticamente para 0, pois,
||zk+1||||zk|| =
1
22k+1 1
22k
2 =22k21
222k = 20 = 1.
As demais no convergem quadraticamente.
Por exemplo, note quewk
= 1
2k2 no converge quadraticamente, pois,
||wk+1||||wk||2 =
(2k2
)2
2(k+1)2 =
22k2
2k2+2k+1 =
2k2
22k+1 .
Logo no existeM >0, tal que||wk+1||||wk||2 M.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
21/53
11
3 MTODO DE CAUCHY
Vamos agora discutir um dos mtodos para resolver o problema de minimizar
uma funo emIRn. Algumas referncias para este assunto so (MOTA, 2005;RIBEIRO;
KARAS, 2010).
3.1 Algoritmo de Cauchy
Um dos mtodos mais conhecidos para minimizar uma funo o mtodo cls-
sico do gradiente, tambm chamado mtodo de Cauchy. Neste mtodo, a direo de
busca em cada iterao o oposto do vetor gradiente da funo objetivo no ponto cor-
rente. A justificativa desta escolha se baseia no fato de que, dentre as direes ao longodas quaisfdecresce, a direo oposta ao gradiente a de decrescimento mais acentu-
ado. De fato, se d =f(x)e v IRn tal que||v|| =||d||, ento calculando aderivada direcional defemxna direo do vetord, temos
f(x)
d =f(x)Td=||f(x)||2 =||f(x)||||f(x)||
Usando que | |f(x)||=||f(x)|| e a desigualdade Cauchy-Schwarz, temos:
||f(x)||||f(x)||=||f(x)||||v|| f(x)Tv= f(x)v
.
Portanto, f(x)d
f(x)v
.
Conclumos que a direo oposta ao gradiente a de maior decrescimento da funo.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
22/53
12
3.2 Algoritmo
O Algoritmo de Cauchy faz uso da busca exata, que consiste em encontrar ominimizador da funo a partir de um ponto xe uma direod.
Algoritmo 3.1 Algoritmo de Cauchy
Dado:x0 IRnk= 0
REPITA enquanto f(xk)= 0
Definadk =f(xk)
Obtenhatk >0tal quef(xk +tkdk)< f(xk)
Faaxk+1 =xk +tkdk
k= k + 1
A Figura 3 mostra 4 iteraes do Algoritmo de Cauchy com a busca exata
aplicado para minimizar uma funo quadrtica, onde as curvas de nveis desta funoso elipses.
Figura 3: Passos do Algoritmo de Cauchy
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
23/53
13
A Figura 3 sugere duas propriedades do algoritmo. Uma delas o fato de duas
direes consecutivas serem ortogonais. De fato, definindo(t) =f(xk +tdk), temos
(dk+1)Tdk =f(xk+1)Tdk =f(xk +tkdk)Tdk =(tk) = 0.
A outra propriedade se refere convergncia, que ser discutida na prxima seo.
3.3 Convergncia Global
Teorema 3.2 O Algoritmo de Cauchy, com o tamanho do passotkcalculado pela busca
exata, globalmente convergente, isto , para qualquer sequncia (xk) gerada peloalgoritmo, qualquer ponto de acumulao x estacionrio.
Sejam(xk)uma sequncia gerada pelo algoritmo e xum ponto de acumulao
de(xk), digamosxk IN x.
Suponha por absurdo que xno seja estacionrio, isto , f(x)= 0.Assim d=(x) uma direo de descida o que garante a existncia det >0, tal que
f(x+td) < f(x). Considereh : IR
n
IRdada porh(x) = f(x) f(x tf(x)).Como h contnua, pois f diferencivel, temos que h(xk)
IN h(x). Chamamosh(x) = >0. Logo temos que: h(xk). Assim, para todokIN, suficientementegrande temos queh(xk)
2, como vimos no Exemplo 2.4. Deste modo, como tkfoi
obtido pela busca exata, podemos concluir que
f(xk+1) =f(xk +tkdk)f(xk +tdk)f(xk)
2.
Logo,
f(xk) f(xk+1) 2
(3.1)
para todokIN, suficientemente grande. Por outro lado pela continuidade def, temosf(xk)
IN f(x). Como a sequncia(f(xk))kIN montona decrescente pois temos quef(xk+1)< f(xk), o Teorema 2.12 garante quef(xk)f(x), contradizendo(3.1).
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
24/53
14
3.4 Velocidade de Convergncia
Os resultados mais importantes sobre a velocidade de convergncia do algo-ritmo de Cauchy so revelados quando a funo objetivo quadrtica. Vamos ento
considerar
f(x) =1
2xTAx+bTx+c
comAIRnn definida positiva,bIRn ecIR. Assimf convexa e tem um nicominimizadorx, que global e satisfaz
f(x) =Ax+b.
Mostraremos agora que, usando a norma euclidiana, a sequncia gerada pelo
mtodo de Cauchy com busca exata converge linearmente para x, com taxa de con-
vergncia
1 1n
.
Primeiramente note que o passo timo dado por
tk = (dk)Tdk
(dk)TAdk.
De fato,
d
dtf(xk +tdk) = f(xk +tdk)dk
= [A(xk +tdk) +b]Tdk
= [Axk +b+Atdk]Tdk
= [f(xk) +tAdk]Tdk
= f(xk)Tdk +t(dk)TAdk
Comotk o passo timo temos:f(xk)Tdk +t(dk)TAdk = 0.
Ento,tk=f(xk)dk
(dk)TAdk =
(dk)Tdk
(dk)TAdk.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
25/53
15
No que segue, para facilitar a notao, sem perda de generalidade, vamos supor
quex= 0ef(x) = 0, isto ,
f(x) =1
2 xTAx.
Lema 3.3 DadoxIRn,x= 0, considered =Ax. Ento,dTd
dTAd x
TAx
xTA2x.
Demonstrao. TemosxTAx= dTA1dexTA2x= dTd.
De fato,
dTA1d= (Ax)TA1(Ax) =(xT)ATA1(Ax) =xTAx;
dTd= (Ax)T(Ax) =(xT)AT(Ax) =xTA2x.
Portanto,
dTd
dTAd
xTA2x
xTAx =
(dTd)2
(dTAd)(dTA1d) (3.2)
Como A > 0, pela decomposio de Choleski, existe G IRnn tal que A = GGT.
Fazendou = GT
dev = G1
d, temos que: uTv= (GTd)T(G1d) =dTGG1d= dTd;
uTu= (GTd)T(GTd) =dTGGTd= dTAd;
vTv= (G1d)T(G1d) =dT(G1)TG1d= dTA1d.
Pela desigualdade de Cauchy-Schwarz, temos
(dTd)2
(dTAd)(dTA1d) =
(uTv)2
(uTu)(vTv) = | u, v
|2
u, u v, v = | u, v
|2
||u||2||v||2 1.
Podemos concluir da equao(3.2)que:
dTd
dTAd
xTA2x
xTAx1, (3.3)
completando a prova.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
26/53
16
Antes de enunciarmos o Teorema da Velocidade de Convergncia do Algoritmo
de Cauchy, vamos apresentar um resultado importante de matrizes simtricas, cuja de-
monstrao pode ser encontrada em (LEON, 1999).
Lema 3.4 SeAIRnn uma matriz simtrica com 1e nsendo o menor e o maiorautovalor, respectivamente, ento
1||x||2 xTAxn||x||2,
para todoxIRn.
Teorema 3.5 Considere a funo quadrtica
f(x) =1
2xTAx
e a sequncia (xk)gerada pelo Algoritmo 3.1, com busca exata. Se =
1 1
n,
ento ||xk+1|| ||xk||, para todokIN.
Demonstrao. Comodk =
f(xk) =
Axk, temos:
||xk+1||2 = (xk +tkdk)T(xk +tkdk)= (xk)Txk + (xk)Ttkd
k + (dk)Ttkxk + (dk)Tt2kd
k
= ||xk||2 + 2tk(xk)Tdk + (tk)2(dk)Tdk
= ||xk||2 + 2tk(xk)T(Axk) + (tk)2(Axk)T(Axk)= ||xk||2 2tk(xk)TAxk + (tk)2(xk)TA2xk
Pelo Lema 3.3 temos que:
(dk)Tdk
(dk)TAdk(xk)TA2xk (xk)TAxk.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
27/53
17
Comotk = (dk)Tdk
(dk)TAdk >0, temos
(tk)2(xk)TA2xk =tk (d
k)Tdk
(dk)TAdk(xk)TA2xk tk(xk)TAxk.
Assim,
||xk+1||2 =||xk||2 2tk(xk)TAxk + (tk)2(xk)TA2xk ||xk||2 tk(xk)TAxk.
Caso xk = 0no h nada a fazer. Suponha ento que xk
= 0. Da relao
anterior obtemos
||xk+1||2||xk||2
||xk||2 tk(xk)TAxk||xk||2 = 1
tk(xk)TAxk
||xk||2 = 1 (dk)Tdk
(dk)TAdk (x
k)TAxk
(xk)Txk .(3.4)
Pelo Lema 3.4 temos
(dk)Tdk
(dk)TAdk 1
ne
(xk)TAxk
(xk)Txk 1.
Substituindo isto em(3.4), segue que
||xk+1||||xk||
21 1
n.
De acordo com a Definio 2.14, conclumos que a velocidade de convergncia
da sequncia gerada pelo Algoritmo de Cauchy linear, com taxa 1 1
n
.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
28/53
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
29/53
19
4 MTODO DE NEWTON
O mtodo de Newton uma das ferramentas mais importantes em otimizao.
Tanto o algoritmo bsico quanto suas variantes so muito utilizados para minimizao.
Neste trabalho estudaremos o Mtodo de Newton puro. Para isso utilizaremos as
seguintes referncias (FRIEDLANDER, ; IZMAILOV; SOLODOV, 2007; RIBEIRO; KARAS,
2010).
4.1 Mtodo de Newton para Resoluo de Equaes
Considere F : IRn IRn de classeC1 e o problema de resolver o sistema(normalmente no linear)
F(x) = 0.
Como na maioria das vezes no conseguimos resolv-lo de forma direta, os proces-
sos iterativos constituem a forma mais eficiente de lidar com tais situaes. A idia
aproximarFpor seu polinmio de Taylor de primeira ordem. Dada uma estimativa x,
considere o sistema linear
F(x) +JF(x)(x
x) = 0, (4.1)
ondeJFrepresenta a matriz jacobiana deF. CasoJF(x)seja inversvel, o sistema (4.1)
pode ser resolvido, fornecendo
x = x (JF(x))1F(x).
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
30/53
20
Isto corresponde a uma iterao do mtodo de Newton para resoluo de equaes (veja
a Figura 5).
Figura 5: Uma iterao do Mtodo de Newton para equaes
4.2 Mtodo de Newton para Otimizao Irrestrita
Agora consideremos o problema de minimizao irrestrita
minf(x) e xIRn (4.2)
ondef : IRn
IR uma funo de classeC2
. Os pontos estacionrios deste problemaso caracterizados pela equaof(x) = 0. Vamos ento aplicar a relao(4.1)paraF : IRn IRn dada por
F(x) =f(x).
Seja xk IRn uma aproximao de um ponto estacionrio x do problema(4.2). A aproximao seguintexk+1 computada como soluo do sistema de equaes
lineares
f(xk
) + 2
f(xk
)(x xk
) = 0 (4.3)em relao axIRn. Supondo que2f(xk)seja no-singular para todo k , obtemos oesquema iterativo seguinte:
xk+1 =xk (2f(xk))1f(xk), k= 0, 1, ... (4.4)
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
31/53
21
4.3 Algoritmo
Com base na relao (4.4) podemos agora formalizar o mtodo de Newton paraminimizar a funo f. Basicamente, temos trs variantes do algoritmo. Uma delas o
mtodo puro, onde no fazemos busca unidirecional e aceitamos o passo completo
(tk = 1para todo k IN). As outras duas fazem uso de busca (exata ou Armijo), quepodem ser encontradas em (RIBEIRO; KARAS, 2010).
Algoritmo 4.1 Newton
Dado:x0
IRn
k= 0
REPITA enquanto f(xk)= 0
Definadk =(f(xk))1f(xk)
Determine o tamanho do passo tk >0
Faaxk+1 =xk +tkdk
k= k + 1
O Algoritmo de Newton pode no estar bem definido, caso a matriz Hessiana
2f(xk)seja singular. Alm disso mesmo que o passodk seja calculado, esta direopode no ser de descida. Entretanto, se2f(xk) definida positiva, ento o passo dkest bem definido e uma direo de descida.
O passo de Newton tambm pode ser obtido por uma abordagem diferente da
que foi exposta acima. Para isso considere a aproximao de Taylor de segunda ordem
def, dada por
p(x) =f(xk) + f(xk)T(x xk) +12
(x xk)T2f(xk)(x xk)
Com o objetivo de minimizarp, fazemos
f(xk) + 2f(xk)(x xk) =p(x) = 0,
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
32/53
22
obtendo exatamente o passodk do Algoritmo de Newton. (Veja a Figura 6).
Esta ltima abordagem sugere que se o Mtodo de Newton for aplicado em
uma funo quadrtica, ento basta uma iterao para resolver o problema. De fato,
considere a quadrticaf(x) =1
2xTAx+bTx+c. Dadox0 IRn, obtemos:
d0 =(2f(x0))1f(x0) =A1(Ax0 +b) =x0 A1b.
Portanto, o minimizadorx obtido em um s passo, pois
x1 =x0 +d0 =A1b= x.
Figura 6: Uma iterao do Mtodo de Newton
4.4 Convergncia
A direo de Newton pode no ser de descida, assim, no garantimos con-
vergncia global quando o problema a ser resolvido envolver uma funo arbitrria. No
entanto, para uma classe de funes convexas, podemos tirar concluses positivas.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
33/53
23
Lema 4.2 Suponha que2f(x) > 0. Ento existem constantes > 0e M > 0taisque
2f(x)> 0e ||(2f(x))1|| M,
para todoxB(x, ).
Demonstrao. Seja > 0o menor autovalor de2f(x). Pela continuidade de2f,dado =
2existe >0tal que
||2f(x) 2f(x)||
2 , (4.5)
para todoxB(x, ). Assim, dadodIRn, com ||d||= 1, temos que
dT2f(x)d= dT2f(x)d+dT[2f(x) 2f(x)]d (4.6)
Note que, usando o Lema 3.4 temos quedT2f(x)d . Usando a desigualdade deCauchy-Schwarz temos que,
dT
[2
f(x) 2
f(x)]d ||d||||2
f(x) 2
f(x)||||d||
2 .
Assim, da relao(4.6)conclumos que
dT2f(x)d 2
=
2,
provando que2f(x) definida positiva para todo x B(x, ). Para provar a outraafirmao, considerexB(x, ). Vamos denotarA=2f(x)eB =2f(x). Usandonovamente o Lema 3.4, agora aplicado em A2, obtemos
||Ad||2 =Ad, Ad= (Ad)TAd= dTAtAd= dTA2d2dTd= 2||d||2
para tododIRn. Portanto, usando a relao (4.5), conclumos que
||Bd||=||Ad+ (B A)d|| ||Ad| || |(B A)d|| ||d|| 2||d||=
2||d||.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
34/53
24
Considere agora y IRn, com||y|| = 1. Aplicando a relao acima para d = B1y,conclumos que
1 =||y||=||BB1y||
2 ||B1y||.Mas
||B1||= supx=0
||B1x||||x|| = supx=0
B1 x||x||
2 .
Pela desigualdade acima, definindoM= 2
, segue que
||(2f(x))1||=||B1|| M,
completando a demonstrao.
Lema 4.3 SejamUIRn aberto convexo e = supx,yU
||2f(x) 2f(y)||. Ento
||f(x) f(y) 2f(y)(x y)|| ||x y||,
para todox, yU.
Demonstrao. Fixandoy
U, considereh(x) =
f(x)
2f(y)x. Assim,
||Jh(x)||=||2f(x) 2f(y)||
para todoxU. Usando a Desigualdade do Valor Mdio, obtemos
||f(x) f(y) 2f(y)(x y)||=||h(x) h(y)|| ||x y||,
completando a demonstrao.
Lema 4.4 SejamU IRn aberto e convexo. Se 2f Lipschitz com constante L, ento
||f(x) f(y) 2f(y)(x y)|| L||x y||2,
para todox, yU.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
35/53
25
Demonstrao. Fixados x, y U, defina = L||xy ||e h : IRn IRn dada porh(z) =f(z) 2f(y)z. Assim, para todoz[x, y], como 2f Lipschitz temos
||Jh(z)||=||2f(z) 2f(y)|| L||z y|| L||x y||= .
Usando a Desigualdade do Valor Mdio, obtemos
||f(x) f(y) 2f(y)(x y)||=||h(x) h(y)|| ||x y||= L||x y||2,
completando a demonstrao.
Teorema 4.5 Seja f : IRn
IRde classeC2
. Suponha que x IRn
seja um min-imizador local de f,com2f(x) definida positiva. Ento existe > 0 tal que sex0 B(x, ), o Algoritmo de Newton, aplicado comtk= 1para todokIN, gera umasequncia(xk)tal que:
(i) 2f(xk) definida positiva, para todokIN;
(ii) (xk)converge superlinearmente para x;
(iii)Se 2f Lipschitz, ento a convergncia quadrtica.
Demonstrao. Sejam 1 e Mas constantes definidas no Lema 4.2 e U1 = B(x, 1).
Assim, sexk U1, o passo de Newton est bem definido e, como f(x) = 0, vale
xk+1 x= (2f(xk))1(f(x) f(xk) 2f(xk)(x xk)). (4.7)
Pela continuidade de 2f, para = 14M
, existe2 >0tal que
||2f(x) 2f(x)|| 14M
,
para todoxB(x, 2).SeyB(x, 2), vale
||2f(y) 2f(x)|| 14M
,
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
36/53
26
Ento
||2f(x)
2f(y)
|| =
||2f(x)
2f(x) +
2f(x)
2f(y)
|| ||2f(x) 2f(x)|| + ||2f(y) + 2f(x)|| 1
4M +
1
4M =
1
2M
Portanto supx,yU
||2f(x) 2f(y)||< 12M
, ondeU=B(x, )e= min{1, 2}.Pelos Lemas 4.2 e 4.3, conclumos que
||xk+1 x|| ||(2f(xk))1||||f(x)f(xk)2f(xk)(xxk)|| M ||xkx||.
Portanto
||xk+1 x|| 12||xk x||.
Isto prova que a sequncia (xk)est bem definida, que xk U, para todo k INequexk x, donde segue(i). Vejamos que a convergncia superlinear. Dado >0,considere0 < tal que sup
x,yU
||2f(x) 2f(y)|| < M
, ondeU0 =B(x, 0). Tome
k0INtal quexk U0, para todokk0. Aplicando novamente os Lemas 4.2 e 4.3 narelao (4.7), obtemos
||xk+1 x|| ||xk x||,
provando assim(ii).
Finalmente, se2f Lipschitz, podemos usar os Lemas 4.2 e 4.4 em (4.7)para obter
||xk+1 x|| M L||xk x||2,
completando a demonstrao.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
37/53
27
5 MTODO DA SEO UREA
Neste captulo apresentamos a anlise do Algoritmo da Seo urea e da sua
velocidade de convergncia. A referncia (NOCEDAL; WRIGHT, 1999;RIBEIRO; KARAS,
2010) sero utilizadas para este estudo.
5.1 Busca Unidimensional
Dadaf : IRn IR, e um ponto x IRn e uma direo de descida d IRn,queremos encontrart >0tal que
f(x+td)< f(x).
Figura 7: Busca unidimensional exata
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
38/53
28
Mais precisamente, temos que resolver o problema
minimizar(t) =f(x+td)
sujeito at >0.
Este problema , em geral, difcil de se resolver de forma exata. Entretanto,
para certas funes especiais, existem algoritmos para resolv-lo. Por isto, vamos
agora definir funo unimodal, para a qual existem algoritmos para minimiz-la. Em
seguida veremos o algoritmo da seo urea, que encontra um ponto prximo de um
minimizador com a preciso que se queira. (Conforme ilustrado na Figura 7).
5.2 Mtodo da Seo urea - Busca exata
Ao aplicarmos o Mtodo da Seo urea em funes unimodais obtemos re-
sultados satisfatrios, por isso definiremos a seguir este tipo de funo.
Definio 5.1 Uma funo contnua : [0, ) IR dita unimodal quando admiteum conjunto de minimizadores [t1, t2], estritamente decrescente em [0, t1]e estrita-
mente crescente em[t2, ).
Veja os exemplos de funes unimodais a seguir e note que o intervalo de
minimizadores[t1, t2]pode ser degenerado, como ilustrado no segundo grfico.
x1
x2
x1=x
2
Figura 8: Funes Unimodais
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
39/53
29
Para facilitar a descrio do algoritmo, vamos considerar a Figura 9.
a u v b
Figura 9: Seo urea
Descrio do Algoritmo
Suponha que o minimizador depertence ao intervalo[a, b]
i)Considerea < u < v < bem[0, )
ii)Se (u) < (v)ento o trecho(v, b]no pode conter o minimizador e pode ser
descartado.
iii)Se(u)(v)ento o trecho[a, u)pode ser descartado.
iv)Particione o intervalo que ficou e repita o processo.
Agora vamos analisar como o intervalo[a, b]deve ser particionado. A obteno
deste intervalo, que deve conter um minimizador deser tratada adiante. A estratgia
mais natural dividir o intervalo em trs partes iguais, ou seja, definir
u= a+13
(b a) e v= a+23
(b a).
Desta forma descartamos1
3do intervalo a cada iterao, conforme ilustrado na
Figura 10. Alm disso, se o intervalo descartado for o(v, b], temos como novo intervalo
[a+, b+], ondea+ =ae b+ = v , mas no podemos utilizar o antigo ponto u, calculado
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
40/53
30
na iterao anterior, o que uma desvantagem.
a bu v
a+
b+
u+
v+
Figura 10: Intervalo dividido em trs partes iguais
Uma outra estratgia escolheru e v que dividem o segmento[a, b]na razo
urea, de acordo com a definio dada seguir.
Definio 5.2 Um pontocdivide o segmento[a, b]na razo urea quando a razo entre
o maior segmento e o segmento todo igual razo entre o menor e o maior dos
segmentos. Tal razo conhecida como o nmero de ouro e vale
5 1
2 0.618.
Desta forma, temos queuev devem satisfazer
b ub a = u ab u e v ab a = b vv a (5.1)
Considerando1e 2tais que
u= a+1(b a) e v=a+2(b a) (5.2)
Substituindouem (5.1) temos:
b (a+1(b a))b
a
= a+1(b a) ab
(a+1(b
a))
(b a)(1 1)b a =
1(b a)(1 1)(b a)
Desta forma, obtemos:
1 1 = 11 1 (5.3)
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
41/53
31
Analogamente se substituirmosvem (5.1) obtemos:
2=1 2
2(5.4)
Comou, v[a, b], encontramos1 = 3
5
2 0, 382e2 =
5 1
2 0, 618. Das
relaes (5.3) e (5.4) temos:
(1 1)2 =1 (5.5)
E, ainda
(2)2
= 1 2 (5.6)Se = 1 1. Da relao (5.5),2 = 1 . Ento por (5.6), temos que = 2. Assimapresentamos outras duas relaes importantes:
(2)2 =1 e 1+2 = 1 (5.7)
Uma das vantagens da diviso na razo urea em relao diviso em trs
partes iguais que descartamos mais de 38% do intervalo ao invs de 33, 33%. Outra
vantagem, que podemos aproveitar o ponto u ou v aps termos descartado o intevalo
[v, b] ou [a, u] na iterao anterior. Indicamos por [a+, b+]o novo intervalo que ser
particionado pelos pontou+ ev+. Conforme veremos no prximo resultado, o pontov
aproveitado na prxima etapa e passa a ser u+ quando descartamos[a, u). Assim, o
valor da funo(v) aproveitado para a prxima etapa.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
42/53
32
Lema 5.3 Na seo urea, se[a, u) descartado entou+ =v.
Demonstrao. Como[a, u]foi descartado entoa+ =ueb+ =b. Logo, temos que:
u+ = a+ +1(b+ a+)
= u+1(b u)= a+1(b a) +1(b (a+1(b a)))= a+ (21 (1)2)(b a)
Note que, da relao (5.7), temos (1)2 = 31 1. Ento,
u+ = a+ (21 31+ 1)(b a)= a+ (1 1)(b a)= a+2(b a) =v
A Figura 11 ilustra o Lema 5.3.
a bu v
a+
u+
v+
b+
Figura 11: Partio do intervalo[a, b]
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
43/53
33
Lema 5.4 Na seo urea, se(v, b] descartado entov+ =u.
Demonstrao. Como (v, b] descartado ento a+ = ae b+ = v. Usando (5.2) e arelao (5.6) obtemos:
v+ =a+ +2(b+ a+) = a+2(v a)
= a+2(a+2(b a) a)= a+2
2(b a)= a+1(b a) =u
A Figura 12 a ilustra o Lema 5.4.
a bu v
a+
b+
u+
v+
Figura 12: Partio do intervalo[a, b]
Apresentamos agora o algoritmo da seo urea, que tem duas fases. Na
primeira, obtemos um intervalo[a, b]que contm um minimizador de . A idia desta
etapa considerar um intervalo inicial[0, 2], com >0, e ampli-lo, deslocando para
a direita, at que um crescimento deseja detectado.
Na segunda fase, o intervalo[a, b] reduzido, por meio do descarte de subin-
tervalos, at que reste um intervalo de tamanho suficiente para que uma precisoseja
alcanada.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
44/53
34
5.3 Algoritmo
Algoritmo 5.5 Seo urea
Dados >0; >0
Fase 1: Obteno do intervalo[a, b]
a0= 0,s0 = eb0 = 2
k= 0
REPITA enquanto(bk)< (sk)
ak+1=sk,sk+1=bke bk+1= 2bk
k= k + 1
a= ake b = bk
Fase 2: Obteno det[a, b]a0=a,b0 = b
u0 = a0+1(b0 a0),v0 = a0+2(b0 a0)k= 0
REPITA enquantobk
ak >
SE(uk)< (vk)
ak+1= ak,bk+1=vk,uk+1 = ak+1+1(bk+1 ak+1)
SENO
ak+1= uk,bk+1=bk,uk+1 = ak+1+2(bk+1 ak+1)
k= k + 1
Definat =
uk+vk
2
Mas o algoritmo realmente funciona? Na primeira fase, aps um nmero finito
de etapas possvel encontrar um intervalo [a, b] que contm pelo menos um mini-
mizador? Este um resultado que ser demonstrado no teorema a seguir.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
45/53
35
Teorema 5.6 O Algoritmo da Seo urea, na primeira fase, encontra um intervalo
[a, b]que contm pelo menos um minimizador da funo em um nmero finito de iter-
aes.
Demonstrao. Vejamos inicialmente que o loop da primeira fase finito.
Suponha por absurdo que (bk) < (sk), para todo k IN. Ento sk , poissk+1 =bk = 2bk1 = 2s
k. Assim, existek INtal quesk t1. Como unimodal,ela no decrescente em [t1, ). Logo(bk) (sk), uma contradio. Portanto, aFase 1 do algoritmo termina em um certo k IN. Resta ver que o intervalo obtido defato contm um minimizador de. Temos dois casos a considerar.
(i)Caso sk < t1, temos bk > t2, pois do contrrio teramos (bk) < (sk).
Veja o primeiro grfico na Figura 13. Assim,
[t1, t2][sk, bk][ak, bk].
(ii)Caso sk t1, afirmamos que ak < t1(veja o segundo grfico na Figura13). De fato, note que
ak = 0, sek = 0
sk1, caso contrrio.
Se fossesk1 t1, teramos(bk1)(sk1)e a Fase 1 teria terminado na iteraok1 ao invs da iterao k. Temos entoak < t1 sk < bk, o que implica quet1[ak, bk].
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
46/53
36
Figura 13: Anlise da primeira etapa do algoritmo
A seguir enuciaremos o teorema que analisa se na segunda fase do algoritmo
ao descartar um dos intervalos aquele que sobrou contm um minimizador.
Teorema 5.7 Sejauma funo unimodal.
(i) Se (v) (u) e o intervalo [a, u) descartado, ento o intervalo que sobrou
[u, b]contm pelo menos um minimizador.
(ii) Se (v) > (u)e o intervalo (v, b] descartado, ento o intervalo que sobrou
[a, v]contm pelo menos um minimizador.
Demonstrao. Considere[t1, t2]o intervalo de minimizadores da Definio 5.1.
(i)Suponha por absurdo que no existe minimizador em(u, b], portanto, existe
um mnimo t [a, u). Note quet2 < upois do contrrio teramos t2 > be assim[u, b][t, t2][t1, t2], o que uma contradio, pois estamos supondo que no existeminimizador em(u, b]. Veja ilustrao na Figura 14. Como unimodal, ou seja,
estritamente crescente em[t2, ), temos quet2 < u < v, implica em (u) < (v), oque contradiz a hiptese.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
47/53
37
(ii)Suponha por absurdo que no exista minimizador no intervalo [a, v], por-
tanto existe um mnimot (v, b]. Note quet1 > vpois do contrrio teramost1 < ae
assim[a, v][t1, t][t1, t2], o que uma contradio, pois estamos supondo que noexiste minimizador em[a, v]. Como unimodal, ou seja, estritamente decrescente
em[0, t1], temos queu < v < t1, implica em(u) > (v), o que contradiz a hiptese.
Figura 14: Anlise do item(i)do teorema 5.7
5.4 Convergncia do Mtodo da Seo urea
Antes de analisarmos a convergncia do mtodo, iremos enunciar um teorema
auxiliar que prova a convergncia do tamanho do intervalo [ak, bk]obtido na primeira
etapa que contm o minimizador da funo.
Teorema 5.8 Seja[ak, bk]o intervalo obtido pelo algoritmo da seo urea, ento
bk ak0.
Demonstrao. Sejark o tamanho do intervalo[ak, bk], ou seja, rk = bkak. Comoo Mtodo da Seo urea descarta mais de 38% do intervalo[a0, b0], ou seja, descarta
1 = 3 5
2 0.382, temos que b1a1 = r1 = r01r0 = r02. Repetindo o
processo com o intervalo de cada iterao, temos:
b2 a2=r2 = r02 1(r02) =r02(1 1) =r0(2)2
bk ak =r0(2)k
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
48/53
38
Comor0 >0 uma constante e 2(0, 1),
limk
r0(2)k =r0 lim
k
(2)k = 0.
Conclumos, assim quebk ak0.
E as sequncias(ak),(uk),(vk)e(bk)convergem? Como as sequncias(ak)e
(bk)so montonas, limitadas inferiormentes pora0e superiormente por b0, de acordo
com o Teorema 2.9 estas sequncias convergem. O prximo teorema estabelece a con-
vergncia para um minimizador de .
Teorema 5.9 Sejauma funo unimodal conforme a Definio 5.1. Ento as sequn-
cias(ak),(uk),(vk)e(bk)convergem para um minimizador deem[t1, t2].
Demonstrao. Como(ak) no decrescente e limitada temos aka. Alm disso,(bk) no crescente e limitada. Entobkb. Sabemos pelo Teorema 5.8 que ak bk0,masak bka b. Logo,a = b = t.Comoak uk vk bk, o teorema do confronto garante que
uk t e vk t.
Devemos agora provar que t um minimizador de . Seja rk um minimizador de
em[ak, bk]. Ento, pelo Teorema do Confronto temos que rk t. Como(rk) umasequncia de minimizadores da funo que pertencem ao conjunto [t1, t2] e ainda,
rk t, temos que t ponto de acumulao de [t1, t2]. Mas [t1, t2] fechado, logot[t1, t2].
Agora vejamos um caso particular de funo unimodal. Considere que a funo
seja quadrtica, ou seja, tenha apenas um minimizadort, assimt1 =t2 =t. Comosugere a Figura 15, provaremos que o minimizador da funo objetivo pertence a todo
intervalo[ak, bk].
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
49/53
39
Figura 15: Todos os intervalos[ak, bk]contm o minimizador da funo quadrtica.
Teorema 5.10 Seja t o minimizador da funo quadrtica, ento t [ak, bk], paratodo k.
Demonstrao. Suponha que na primeira iterao do Mtodo da Seo urea, [a0, u0)
foi descartado. (O outro caso anlogo) Pelo lema 5.3 temos quea1 = u0e b1 = b0.
Assim,t [a1, b1][a0, b0]. Aplicando o algoritmo sucessivamente, temos que
t [an, bn][an1, bn1] [a0, b0].
Assim temos quet [ak, bk]para todokIN.
Teorema 5.11 Seja (tk) a sequncia definida por tk = uk+vk
2 =
ak+bk2
e t o
minimizador da funo quadrtica. Ento tkt.
Demonstrao. De acordo com o Teorema 5.10 temos quebk
ak
0. E pelo Teorema
5.10 temos que t [ak, bk], para todo k. Como (tk) [ak, bk], conclumos que tkconverge para o minimizadort.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
50/53
40
5.5 Velocidade de Convergncia
Provaremos que a velocidade de convergncia da sequncia bk linear comtaxa de convergncia igual ao nmero de ouro. Suponha que o intervalo(vk, bk] foi
descartado. Assim temos queak+1 = ak,vk+1=uke bk+1 = vk.
Teorema 5.12 As sequncias(ak)e (bk)geradas pelo Algoritmo da Seo urea tem
convergncia linear e a taxa de convergncia 2, ou seja,||bk+1t|| 2||bkt||para todokIN.
Demonstrao. Para simplificar a notao vamos suprimir o indice k. Considere a
funog : [a, v]IR, ondeg(t) = vk tbk t , temos que:
g(t) = (1)(b t) (a+2(b a) t)(1)
(b t)2
= b+t+a+2(b a) t
(b t)2
= (b a)(1 +2)
(b
t)2
= 1(b a)
(b t)2
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
51/53
41
6 CONCLUSO
Neste trabalho, utilizamos alguns conceitos de Anlise para introduzir o estudo
de velocidade de convergncia das sequncias geradas pelos algoritmos clssicos de
otimizao irrestrita. Concentramos nosso estudo em trs velocidades de convergncia:
linear, superlinear e quadrtica.
Como para fins prticos fundamental que os algoritmos tenham uma con-
vergncia rpida, discutimos alguns mtodos clssicos para otimizao irrestrita. O
mtodo de Cauchy que faz a cada iterao uma busca unidirecional na direo de maior
decrescimento da funo, ou seja, na direo oposta ao gradiente. A sequncia gerada
por este algoritmo tem convergncia global e a velocidade de convergncia linear. Se a
funo objetivo for de classeC2 e o ponto inicial estiver prximo de um minimizador,o mtodo de Newton gera uma sequncia que converge superlinearmente. Caso a Hes-
siana da funo a ser minimizada seja Lipschitz, ento a convergncia do mtodo de
Newton quadrtica. Concluindo assim, que o Algoritmo de Newton encontra o mini-
mizador mais rapidamente que o Algoritmo de Cauchy.
Nos mtodos de busca unidimensional, precisamos minimizar uma funo a
partir de um certo ponto, segundo uma direo dada, que a direo de busca. Este
problema equivalente a minimizar uma funo real de uma varivel, um dos mtodosque podem ser usados para resolver este problema o Mtodo da Seo urea, que faz
a minimizao exata desta funo. Analisamos as etapas deste algoritmo, ou seja, se
na primeira fase o algoritmo encontra o intervalo com pelo menos um minimizador, o
que de fato ocorre, alm de que ao descartar intervalos em cada iterao do algoritmo, o
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
52/53
42
intervalo que sobrou contm pelo menos um minimizador. Mostramos que o algoritmo
realmente converge para um minimizador. E finalmente, demonstramos que a sequn-
cia (ak)ou (bk) gerada pelo algoritmo converge linearmente, com taxa o nmero deouro. Realizamos o estudo deste captulo com base nas literaturas j citadas ao longo
do trabalho, mas os resultados demonstrados obtemos com um estudo independente.
7/25/2019 Velocidade de Convergncia de Mtodos de Otimizao Irrestrita - Flavia Mescko Fernandes
53/53
43
Referncias
FRIEDLANDER, A.Elementos de Programao No-Linear. [S.l.]: Unicamp.
IZMAILOV, A.; SOLODOV, M.Otimizao: Mtodos Computacionais. Rio deJaneiro: IMPA, 2007.
LEON, S. J.lgebra Linear com Aplicaes. Rio de Janeiro: [s.n.], 1999.
LIMA, E. L.Curso de Anlise, v 1. Rio de Janeiro, Brasil: IMPA, 1981.
LIMA, E. L.Curso de Anlise, v 2. Rio de Janeiro, Brasil: IMPA, 1981.
MOTA, A. M.Convergncia de Algoritmos para Programao No-linear. Brasil,2005.
NOCEDAL, J.; WRIGHT, S. J.Numerical Optimization. [S.l.]: Springer-Verlag, 1999.(Springer Series in Operations Research).
RIBEIRO, A. A.; KARAS, E. W.Um Curso de Otimizao. [S.l.: s.n.], 2010.
Recommended