Control Óptimo y Optimización Control Óptimo y Optimización DinámicaDinámica

Problemas de Control ÓptimoProblemas de Control ÓptimoProceso de solución consiste en encontrar los perfilesperfiles de la variable de control vs tiempo de modo que se optimice un índice particular de medida de desempeño del sistema

( ) )(,0

TSdtxkLMaximizar T

+= ∫ θθ

( )θ,xfdtdx

=Sujeto a:

Métodos de Solución Convencionales• El Principio del Máximo• Programación Dinámica• Cálculo de Variación

0)0( xx =

La reina Dido planteó el problema problema isoperimétricoisoperimétrico: Encuentre el área mayor que puede ser cubierta con un cordel de longitud fija(L)

∫=X

o

dxxyA )(

∫=T

o

dttxAMaximize )(1

( ) ( )∫ ∫∫

+=+== dx

dxdydxdydsL

X

0

222 1

Problemas HistóricosProblemas Históricos

dtuLT

∫ +=0

21

txxy

→→ 1

udtdx =1 0)0(1 =x

22 1 udt

dx += 0)0(2 =x LTx =)(2

0)(1 =Tx

Problemas Problemas IsoperimétricoIsoperimétrico

∫=T

o

dttxAMaximize )(1

udtdx

=1 0)0(1 =x

22 1 udtdx

+= 0)0(2 =x LTx =)(2

0)(1 =Tx

BrachistochroneBrachistochrone (Tiempo Mas Corto)(Tiempo Mas Corto)

BernoulliGalileo

Ingeniería Química: Problema de Ingeniería Química: Problema de Destilado MáximoDestilado Máximo

dtR

VdtdtdDL

RMaximizar T

t

T

t∫∫ +

==00 1

∫

∫

+

+=

T

t

T

tD

D

dtR

V

dtR

Vxx

0

0

)1(

*

1

1

FBoxR

Vdtdx

t

t ==+

−= 10

1

1

)1(201

)1(22 )(1 F

t

Dt

t

t xxx

xxR

Vdt

dx=

−+

=

Sujeto a:Sujeto a:

Pureza Pureza promediopromedio

El Principio del MáximoEl Principio del MáximoLa función objetivo se reformula en la forma lineal de forma lineal de MayerMayerRequiere la incorporación de ecuaciones diferenciales ordinarias adicionales (ecuaciones adjuntasecuaciones adjuntas) que representan la dinámica de las variables adjuntas (también agregadas al problema)Se define una función HamiltonianaHamiltoniana (invariante en el tiempo)El perfil óptimo se obtiene derivando la función Hamiltoniana con respecto a la variable de controlvariable de controlEl sistema resultante es un problema de valores en la problema de valores en la fronterafrontera

( ) dtxkLMaximizar T

θθ

,0∫=

∑=

==n

iii

T ffH1µµ

0)0( xxfdtdx

==

cTxf

fdtd n

j i

jjx

T =∂∂

−=−= ∑=

)(1

µµµµ

∑=

==n

iii

T TxcTxcJMaximizar

1)()(

θ

0)0( xxfdtdx

==

0)0( xxfdtdx

==

El Principio del MáximoEl Principio del Máximo

HamiltonianoHamiltoniano

Ecuaciones y Ecuaciones y Variables AdjuntasVariables Adjuntas

Forma LinealForma Lineal

Problema de Destilado Problema de Destilado Máximo: Principio del Máximo: Principio del MáximoMáximo

FBoxR

Vdtdx

t

t ==+

−= 10

1

1

)1(201

)1(22 )(1 F

t

Dt

t

t xxx

xxR

Vdt

dx=

−+

=

Sujeto a:Sujeto a:

Función objetivo es Función objetivo es rere--escrita en forma escrita en forma LagrangianaLagrangiana

( )[ ]dtxxR

VLR

MaximizarDD

t

T

t

)1(*

01

1−−

+= ∫ λ

Problema de Destilado Problema de Destilado Máximo: Principio del Máximo: Principio del MáximoMáximo

FBoxR

Vdtdx

t

t ==+

−= 10

1

1

)1(201

)1(22 )(1 F

t

Dt

t

t xxx

xxR

Vdt

dx=

−+

=

Sujeto a:Sujeto a:

Para obtener forma Para obtener forma lineal de lineal de MayerMayer

( )[ ]∫ −−+

=t

DDt

t dtxxR

Vx0

)1(*3 1

1λ

T

t

xR

Maximize3

( )[ ])1(*3

11 DD

t

t xxR

Vdt

dx−−

+= λ

Problema de Destilado Problema de Destilado Máximo: Principio del Máximo: Principio del MáximoMáximo

HamiltonianoHamiltoniano ( )( ) ( )[ ])1(*3

1

)1(221 1

111 DDt

ttt

Dtt

ttt xx

RV

xRxxV

RVH −−

++

+−

++

−= λµµµ

Ecuaciones y Ecuaciones y Variables AdjuntasVariables Adjuntas

( )( )( ) 0,

11

21

)1(22

1

=+

−= T

tt

Dtt

t

xRxxV

dtd

µµµ

( ) ( ) 0,11

12

2

)1(3

1

2

)1(

22

=

∂∂

+−

+

∂∂

−−= T

t

D

tt

tt

t

D

tt

xx

RV

xRxxV

dtd

µλµµµ

1,0 33

== Tt

dtd

µµ

0=∂∂

tRH

( ) ( )1

1

1

2)1(

)1(*1)1(21

2

−

−

∂∂

+−−−−

=

t

t

t

D

DDtDtt

t

t

xRx

xxxxx

Rµ

λ

λµµ

Perfil óptimoPerfil óptimo

Programación DinámicaProgramación Dinámica

Condición de Condición de OptimalidadOptimalidad: Aplicación del Principio de Optimalidad de Bellman da como resultado una ecuación diferencial parcial conocida como Ecuación Hamilton-Jacobi-Bellman (HJB)

∂∂

++∂∂

= ∑i

it

it

ttt dt

dxxLxk

tLMaximize

),(0 θθ

∂∂

++∂∂

= ∑i

iit

ttt

fxLxk

tLMaximize

),(0 θθ

[ ]fLkLMaximize

xtt

++=θ

0

Problema de Destilado Problema de Destilado Máximo: Programación Máximo: Programación DinámicaDinámicaEcuación HJBEcuación HJB

Perfil óptimoPerfil óptimo

( )[ ]

−+∂

∂+

+

−∂∂

+−−+

+∂∂

= 1

)1(2

21)1(* )(

111

10

t

Dt

ttttDD

tt xxx

RV

xL

RV

xLxx

RV

RMaximize

tL

λ

∂∂

∂∂−

∂∂

+

+

+

−

−∂∂+

∂∂−−−=

t

D

ttt

D

ttt

Dt

ttDD R

xxx

LRx

RV

RV

xxx

xL

xLxx

)1(

12

)1(

21

)1(2

21)1(* 1

1)1()(10 λλ

( )1

1

1

2)1(

)1(*11

)1(2

2

−

∂

∂

−∂∂

+−−∂∂

−

−∂

∂

=

t

t

t

D

DDtt

Dt

tt

xx

L

Rx

xxxL

xxx

xL

R

λ

λ

Mismo perfil que en el principio Mismo perfil que en el principio del máximo si las del máximo si las variables variables adjuntasadjuntas son iguales a las son iguales a las derivadas de la función objetivo derivadas de la función objetivo (L) con respecto(L) con respecto a las variables a las variables de estado (x)de estado (x)

Problemas Estocásticos Problemas Estocásticos de Control Óptimode Control Óptimo

No es posible despreciar incertidumbres en algunas aplicaciones prácticas de problemas de control óptimo:

En parámetros del modeloEn condiciones iniciales

El problema estocástico de control óptimo resultante puede ser analizado utilizando “Teoría de Opción Teoría de Opción RealReal”:

Caracterizando incertidumbres dependientes del tiempo como Procesos de ItoUsando el Lema de Lema de ItoItoUsando las condiciones de optimalidad de Programación Programación Dinámica EstocásticaDinámica Estocástica

Las variables estocásticas cambian con el tiempo en una forma inciertaEl denominado proceso proceso WienerWiener se utiliza como base para modelar una amplia gama de procesos estocásticos más complicados. Posee 3 propiedades:

Satisface la propiedad de MarkovMarkovPresenta incrementos independientesSus cambios en el tiempo se distribuyen normalmente

Un proceso de proceso de ItoIto representa el incremento de una variable estocástica en el tiempo de acuerdo con:

( ) ( )dztxbdttxadx ,, +=

a y b son funciones conocidas y dz es el incremento de un proceso Wiener. Note que E[dz]=0 y E[dz2]=dt

Procesos de Procesos de ItoIto

Procesos de Procesos de ItoIto

Movimiento Browniano

Movimiento Geométrico Browniano

“Mean reverting process”

dzdtdx σα += ( ) dzdtxxdx avg ση +−=

dzxdtxdx σα +=

Algunos parámetros ingenieriles pueden representarse como procesos de Ito:

LemaLema de Itode ItoTeorema FundamentalTeorema Fundamental del Cálculo EstocásticoPermite derivar e integrar funciones de variables estocásticas que se comportan como procesos de Ito

( ) ( )dztxbdttxadx ,, +=

( ) ( ) dzxFtxbdt

xFtxb

xFtxa

tFdF

∂∂

+

∂∂

+∂∂

+∂∂

= ),(,21, 2

22

( )22

2

21 dx

xFdx

xFdt

tFdF

∂∂

+∂∂

+∂∂

=

No se desprecian algunas contribuciones de segundo orden dado que E[dz2]=dt

Programación Dinámica EstocásticaProgramación Dinámica EstocásticaSe ha desarrollado una extension a las condiciones de optimalidad de programación dinámica para el caso estocástico:

( ) dtxkLMaximize

ttT

tθ

θ,0∫=

Sujeto a:Sujeto a:

Condiciones de Condiciones de OptimalidadOptimalidad:

( ) dzdtxfdx ittiit σθ += ,

+= )(1),(0 dLE

dtxk

Maximizett

t

θθ

∑∑∑≠

∂∂∂

+∂∂

+

∂∂

++∂∂

=ji

jt

it

jii

it

i

itii

tt

t xxL

xLtxf

xLtxk

tLMaximize 2

2

22

)(2),(),(0 σσ

σθ

Procesos de Procesos de ItoIto

Principio del Máximo para Problemas Principio del Máximo para Problemas EstocásticosEstocásticos

Con base en las condiciones de Con base en las condiciones de optimalidadoptimalidad para programación para programación dinámica, se pudieron derivar las expresiones correspondientes adinámica, se pudieron derivar las expresiones correspondientes al l método del principio del máximométodo del principio del máximo

Las variables adjuntasLas variables adjuntas ((µµ) en el principio del máximo son equivalentes ) en el principio del máximo son equivalentes a lasa las derivadas parciales de la función objetivo con respecto a las derivadas parciales de la función objetivo con respecto a las variables de estado variables de estado ((LLxx) de programación dinámica) de programación dinámica

El principal resultado del análisis es la derivación de las El principal resultado del análisis es la derivación de las ecuaciones ecuaciones adjuntasadjuntas

Las derivadas de segundo ordenLas derivadas de segundo orden de la función objetivo con especto de la función objetivo con especto a las variables de estado a las variables de estado ((LLxxxx) en programación dinámica ) en programación dinámica estocástica tiene que ser también incluidas y se incorporan en lestocástica tiene que ser también incluidas y se incorporan en la a formulación a través de las formulación a través de las variables adjuntas variables adjuntas adicionales,, ωω

fH µ= ωσµ2

2+= fH

0)0( xxfdtdx == 0)0( xxdzdtfdx =+= σ

cTfdtd

x =−= )(µµµ

DeterminDeterminísticoístico EstocásticoEstocástico

Principio del Máximo para Problemas Principio del Máximo para Problemas EstocásticosEstocásticos

Se utiliza representación escalar aunque el análisis es válido para el caso vectorial

( ) cTfdtd

xx =−−= )(21 2 µωσµµ

( ) 0)(212 2 =−−−= Tff

dtd

xxxxx ωωσµωω

Versión Estocástica del Problema Versión Estocástica del Problema de Destilado Máximode Destilado Máximo

dtR

VdtdtdDL

RMaximize T

t

T

t∫∫ +

== 00 1

*

0

0

)1(

1

1DT

t

T

tD

Dave xdt

RV

dtR

Vxx =

+

+=

∫

∫ FBoxR

Vdtdx

t

t ==+

−= 10

1

1

Sujeto a:

)1(2022

21

)1(22 )(

1 Ftt

Dt

tt xxdzxdt

xxx

RVdx =+

−+

= σ

Proceso Proceso ItoItoRestricción externa usada Restricción externa usada como criterio de como criterio de

convergenciaconvergencia

2.75

2.8

2.85

2.9

2.95

3

3.05

3.1

3.15

3.2

0 1 2 3

T im e (H rs)

Relative Volatility

R igorousS im ulation

P ath 1

P ath 2

P ath 3

Volatilidad Relativa como un Volatilidad Relativa como un Proceso de Proceso de ItoIto

Ocasiona un comportamiento incierto en las Ocasiona un comportamiento incierto en las variables de estadovariables de estado

Principio del MáximoPrincipio del Máximo

( )( )( ) ( )

ωσµµµ 22

21

2

)1(

21

)1(22

1

1

1t

tt

t

D

tt

Dt xxR

xxV

xR

xxVdtd

−+

∂∂

−−

+

−−=

( )( )

( )( )

( )( )21

)1(2221

22

)1(2

1

2

)1(

111

12

tt

Dt

tt

t

D

tt

t

D

xR

xxVxR

x

xV

xRxxV

dtd

+

−−−

+∂

∂

++

∂∂

−−= ωµωσµω

ω

( ) ( )1

)1(

)1(

22222

1

)1(

)1(21−

∂∂

+

∂∂

+

∂∂

−−=

µ

ωσ

σ

µ

µ

t

D

tt

tt

t

D

Dttt

Rx

VRx

Rx

Rx

xxxR

Ecuaciones Ecuaciones AdjuntasAdjuntas

Perfil Perfil óptimoóptimo

Perfil Óptimo de la Razón de ReflujoPerfil Óptimo de la Razón de Reflujo

Se requieren valores de reflujo más grandes debido a la disminución en el valor de la volatilidad relativa con el tiempoLa desviación respecto al caso determinístico también cambia con el tiempo debido al efecto de las incertidumbres

DeterminDeterminísticoístico

Nuevamente el Problema Nuevamente el Problema IsoperimétricoIsoperimétricoConsidere ahora la versión estocásticaversión estocástica del problema isoperimétrico

)(3 Txu

Maximize

0)0(

)(0)0(1

0)(0)0(

313

2222

111

==

==+=

===

xxdtdx

LTxxudt

dx

Txxudtdx 0)(0)0( 111 ==+= Txxdzdtudx σ

5.0=σ

16=L

Movimiento BrownianoMovimiento Browniano

EstocásticoEstocástico

Suposición meramente Suposición meramente académicaacadémica

Soluciones al Problema Soluciones al Problema IsoperimétricoIsoperimétrico

01

01

221

3

22

11

=+

+

===+−=

µµ

ωµµ

µ

uu

cct

BibliografíaBibliografía1. Teor1. Teoríía de optimizacia de optimizacióón (n (determindeterminíísticastica) y ) y

Aplicaciones en IngenierAplicaciones en Ingenieríía Qua Quíímicamicaa) Practical Methods of Optimization; R. Fletcher, 2nd. Ed., Wia) Practical Methods of Optimization; R. Fletcher, 2nd. Ed., Wileyleyb) Optimization of Chemical Processes; Edgar, b) Optimization of Chemical Processes; Edgar, HimmelblauHimmelblau and Larson, and Larson,

2nd. Ed., McGraw2nd. Ed., McGraw--HillHillc) Nonlinear Programming, Theory and Algorithms; c) Nonlinear Programming, Theory and Algorithms; BazaraaBazaraa, , SheraliSherali and and

ShettyShetty, Wiley, Wileyd) Systematic Methods for Chemical Process Design; d) Systematic Methods for Chemical Process Design; BieglerBiegler, Grossmann , Grossmann

and Westerberg, Prentice Halland Westerberg, Prentice Halle) Linear Programming; e) Linear Programming; ChvatalChvatal VasekVasek, Ed. W. H. Freeman and Co., Ed. W. H. Freeman and Co.

2. Programaci2. Programacióón n MultiObjetivoMultiObjetivoa) a) Introduction to Applied Optimization, Introduction to Applied Optimization, DiwekarDiwekar, , KluwerKluwer Academic Academic

PublishersPublishers

BibliografíaBibliografía3. Programaci3. Programacióón Estocn Estocáásticastica

a) Stochastic Programming, a) Stochastic Programming, KallKall and Wallace, Wileyand Wallace, Wiley

4. Control 4. Control óóptimoptimoa) Batch Distillation, Simulation, Optimal Design and Control; a) Batch Distillation, Simulation, Optimal Design and Control; DiwekarDiwekar, Ed. , Ed.

Taylor and FrancisTaylor and Francisb) Optimal Control Theory; b) Optimal Control Theory; SethiSethi and Thompson, and Thompson, KluwerKluwer Academic Academic

PublishersPublishersc) Investment Under Uncertainty; c) Investment Under Uncertainty; DixitDixit and and PindyckPindyck, Princeton University , Princeton University

PressPress