Embed Size (px)
Citation preview
L%, 811531UP
1111111111111111111 III 00253489
UNIVERSIDAD DE PANANA
VICERRECTORIA DE INVESTIGACION Y POSTGRADO
PROGRAMA DE MAESTRIA EN MATEMATICA
REDUCCION DE LA DIMENSION EN LA PROGRAMACION DINAMICA DISCRETA
Por
MAYRA TREJOS DE LEBRIJA
Tesis presentada como uno de los requisitos para optar por el grado de Maestro en Ciencias con Especializacion en Matemática
Panamá, Republica de Panamá
1986
UNIVERSIDAD DE PANAMA
Vicerrectorie de Investigación y Postgrado
reno del Vicerrector
Director de Tesis
Miembro del Jurado
Miembro del Jurado
Fecha
Ciudad Unwersitana "Oetavio Méndez Pereira" ESTAFETA UNIVERSITARIA
PANANA R DE P
DED ICATORIA
Entre las grandes satisfacciones que tenemos en la vida hay pocas comparables a la que se obtiene al concluir un capitulo anhelado, una nueva etapa de superación pro-fesional
Dedico este trabajo a mi esposo Eduardo y a mis hijos Eduardo Analinnette y Edwin, con ellos comparto este momento de alegría ya que con su cariño, animosidad y paciencia fueron fuente de ener-gía y fortaleza para lograr el éxito
A mis padres Cosme y Consuelo y a mis hermanos José y Jaime quie-nes se mantuvieron espiritualmen-te siempre cerca de mi
Mayra
AGRADECIMIENTO
Quiero dejar muestra perenne de gratitud
al Dr JOSE DEL ROSARIO GARRIDO, director
de tesis, quien con dedicación juicios
críticos y gran madurez profesional, con-
tribuyó en todo momento en la realización
del presente trabajo
A mis profesores y compañeros de estudio
en especial a mi amiga LITA, quien con
su gran capacidad compañerismo y espí-
ritu de trabajo me alentó constantemente
Al amigo OSCAR MARTINEZ que tan amable-
mente aportó parte de su valioso tiempo
para la culminación de este trabajo
A las autoridades universitarias por la
oportunidad que me brindaron para realizar
mis estudios A la Sra HILMA VILLA por
su colaboración mecanográfica
CONTENIDO
Página
INTRODUCCION 1
CAPITULO I
EL PRINCIPIO DE OPTIMALIDAD DE RICHARD BELLMAN
1 1 Politica óptima en un sistema controlable 1
1 2 El Teorema de Optimalidad 5
CAPITULO II
PROCESOS SECUENCIALES DE TOMA DE DECISIONES
Introducción 7
2 1 Análisis prospectivo 8
2 2 Análisis retrospectivo 13
2 3 Modelo matemático para la determinación de una política óptima 19
2 3 1 Descomposición retrospectiva de la función objetivo 21
2 3 2 Descomposición prospectiva de la función objetivo 37
2 4 Diversos casos con respecto al estado ini- cial o final 47
2 5 Procesos estacionarios Política esta- cionaria 53
CAPITULO III
PROBLEMA DE LA DIMENSION EN PROGRAMACION DINAMICA
Introducción 60
3 1 Método de los multiplicadores de Lagrange 61
3 2 Un problema de transporte 68
CONCLUSIONES 79
BIBLIOGRAFIA 81
INTRODUCCION
Uno de los problemas críticos en la aplicación de la
Matemática consiste en la dificultad de realizar los cálcusos
Involucrados en la solución de problemas concretos En
este sentido un algoritmo logicamente correcto y de gran
precision teórica puede resultar inoperante si el volumen
de información que es necesario procesar sobrepasa las posi-
bilidades operativas pues uno de los mayores obstáculos
en el uso de las computadoras es la limitación de la capaci-
dad de memoria
un problema típico de la matemática aplicada es el
de la busqueda de soluciones óptimas para una función obje-
tivo sujeta a restricciones
Generalmente, la resolución de estos problemas regule-
re de cálculos exahustivos que no siempre son posibles de
realizar Dentro de este panorama surge una alternativa
que se basa en la posibilidad de descomponer el problema
en una serle de subproblemas en los que intervienen menos
variables con la finalidad de hacer más accesibles los cálcu-
los
En este trabajo, el proceso modelado está enmarcado
dentro de esta visión es un proceso secuencial que se desa-
rrolla en etapas donde la función objetivo depende del esta-
do en que se encuentra el sistema y la decisión adoptada
en cada etapa Este proceso se basa en el conocido Principio
de Optimalidad de Richard Bellman, que permite descomponer
-1-
problemas sunamente complejos en una sefle de subproblenas
más simples lo cual facilita la realizacion de los cálculos
del valor optimo de la función en cualquiera de las etapas
del proceso
Este principio constituye el fundamento de una joven
discipl-na cuyo desairollo se ha Incrementado notablemente
en la ultima década la programación dinámica
Nuestro trabajo es un estudio de la estructuracion
teórica de los tipos de análisis necesarios para la busqueda
de una "política óptima' y de una alternativa para la reduc-
ción de la dimensión en un problema que exige un proceso
secuencial de toma de decisiones
En el primero y segundo capitulo, se Introducen concep-
tos fundamentales de la programación dinámica, la descompo-
sición prospectiva y/o retrospectiva de las funciones objeti-
vos para calcular el óptimo con la ayuda de los respectivos
análisis y la utilización del principio de optimalidad
En el tercero y ultimo capítulo se analiza el proble-
ma de la reducción de la dimensión de las variables (de de-
cisión y estado) cuando estas no son unidimensionales
Luego se pone en evidencia la ventaja de esa reducción para
la resolución de problemas con alto grado de complejidad
que se plantean en la programación dinámica
En cuanto a la metodología utilizada el Seminario
de Tópicos (III Semestre) y el Seminario de Tesis (IV Semes-
tre) permitieron enriquecer nuestra visión de la matemática
aplicada pudiendo así seleccionar este tema Una etapa de
familiarización con la bibliografía relacionada con nuestro
interes nos permitió determinar los lineamientos generales
de este traoajo y con posterioridad nos dedicamos a forma-
lizar y ultimar los distintos aspectos teoricos necesarios
para su completa terminación El otro aspecto de la meto-
dología del trabajo fue cubierto con las regulares discusio-
nes con el Director de Tesis
CAPITULO I
EL PRINCIPIO DE OPTIMALIDAD
DE RICHARD BELLMAN
1 1 - Politica óptima en un Sistema Controlable
El proceso secuencial de la tona de decisiones aparece
en la conducción de un sistema controlable Lo esencial en
Programacion Dinámica radica en el hecho de que el proceso
que ella nodela está dado por etapas y que para pasar ce una
etapa a la otra es necesario tomar una decisión 'optima'
del conjunto de decisiones factibles
Definición 1 1 1 - Se llamará coordenadas de fase del siste-
ma S a los parámetros numéricos que caracterizan los estados
del sistema
En lo sucesivo se supondrá que todos los estados del
sistema poseen el mismo numero de coordenadas de fase, y cada
1 estado se identificará con un vector x=(x , ,x m), donde
x 1 ,xnson las coordenadas de fase que lo caracterizan
En los sistemas concretos los estados admisibles están neter-
minados por restricciones que deben cumplir las coordenadas
de fase del sistema
Considerando dos momentos t o y t l , t o <:t i y un siste-
ma S, se dirá que el sistema S evoluciona en el tiempo, si
para cada te Eto 1
t] existe un conjunto no vacíotC:(11m
llamado el conjunto de los estados admisibles al instante t
- 2 -
Independientemente del tiempo, algunas veces es nece-
sario considerar la evolución del sistema a partir de un es-
tado -co , de nanera que el conjunto de los estados hacia los
cuales puede evolucionar el sistema a partir de x o se indica-
rá con Xx o
Definición 1 1 2 Sea S un sistema que evoluciona en el
intervalo L,o
t i] tal que para t c Lo t l] S toma un de-
terminado estado x(t)=(x 1(t), ,x
m(t))1lX
t , la aplicación
1 definida como sigue
[t t 1] U X t
t E {t d t 1 ]
t ,;(t)
se llamará trayectoria de fase del sistema
De esta definición se desprende que una trayectoria
de fase determina la evolución del sistema en el tiempo
En adelante se denotará el estado x(t ) en la forma
simplifacada x l
En un sistema controlable es posible mod-ficar el esta-
- 3 -
do adoptando decisiones cuyo efecto será hacel evolucionar
el sistema des es,ado en que se encuentra a un nuevo estado
Las decis3ones se caracterizan como en el caso de los es,a-
dos por una serie de valores reales llamados variables de
decisión y escan sujetas a restricciones que deben respetar-
se
Si se supone que el numero de variables de decisión
r es el mismo para cualquier estado del sistema se puede en-
Lances identificar cada decisión con un vector y=(y 1, Y )
Definsción 1 1 3 - Dado to t
l e R
+ to< t
l ' sea Y
t O el
conjunto de decisiones posibles en el instante t e [c 0 t i]
Se llamará política a una aplicación
y {r0
t11 U Y
t
tal que y( t ) Y t para todo t [t o ,t i ]
Por subpolitica de una politica y Lo
t e [t o ,t ii
se entenderá la restricción de la aplicación y a un interva-
lo [t2 t3.1
con to t 2
< t 3 t1
- 4 -
Ceno en el caso de los estados de un sistema Y o
indicará al conjunto de las poliricas cdmssibles a partir
de un estaco dado xo
Nuestra atención se limitará a sistenas que evolucio-
nan en el tienpo y para los que es válida la siguiente hspó-
tesis
Hipótesis 1
Dado Ao existe un conjunto de políticas 61
xo tal que
5 para toda y e , se puede determinar de modo unico una xo
trayectoria de fase ^ que caracteriza la evolución del siste-
ma en ur intervalo de tiempo to ,t i
Es decir la evolución del sistema a partir del estado
inicial xo es función de la política seleccionada Esta re-
lación entre el estado in-cial y política dependerá en cada
caso concreto de la estructura interna del sistema
Para que el proceso secuencial de decisiones esté com-
pletamenre definido, es necesario introducir criterios que
pernitan seleccsonar, en cada instante la politica adecua-
da Un criterio utilizado con frecuencia consiste en asignar
una función objetivo en A e y, F(2 ,y) que pueda ser calcula-
da y seleccionar entonces como política, aquella que optimiza
esta función Precisando, °entre todas las políticas que
- 5 -
nacen evolucionar es sistema del estado xo as estado x se
1
selecciona aquella polítsca y * para la cual la función F alcan-
za su walo- ópt_imo
Ss 2 es la trayectoria de fase que corresponde a la
política y (hipótesis 1) se tendrá que *
F(A y)‘1"(x si ) para toda y, en el caso de macinización ó *
r(x y )‘ F(x y), para toda y, en el caso de minimszación
La política y se denominará política óptima
1 2 - El Teorema de Optimalidad
La propiedad fundamental que se utiliza para resolver
diversos problemas mediante métodos de Programación Dinámica
es el "principio de optimalidad" de Richard Bellman el cual
establece que para un sistema controlable S "toda subpoli-
tica de una política óptima es a su vez óptima"
Utilizando las notaciones introducidas si la política
y hace evolucsonar el sistema de un estado inicial xo al es-
Lado final x1 pasando por los estados intermedios x 2 y x3
se puede formular el principio de optimalidad como sigue
Teorena de Optimalidad
Sea y [t0 ,t1] -->U Y, una política óptima que ha-
t e [to,t2]
- 6 -
ce evolucionar al sistema del estado xo
al estado x1 Toda
subpolitica y de y definida en 1: 2 t 3] con
t <t2 <t3N <t
1 es también óptima para la evolución del sis- c)
tema del estado x2
a 2C 3
Demostración Sea y una política óptima definida en [to
t1]
Supóngase que la subpolitica Y de 1 definida en [t 2' t] '
con t <t2 <t <t 1
no es óptima para la evolución del sis-
tema del estado x2 a x 3 entonces existe una politica y
mejor que la política 7 en el mismo intervalo En este ca-
so la política y' definida en [t o t l] , de la siguiente ma-
nera
* y (t) t [t2 ,t 3]
y'(t) - y (t) si t # 2 ,t 31
es mejor que y (t) lo cual es una contradicción
Este teorema garantiza que los algoritmos que diseñan
políticas óptimas para un proceso que se desarrolla en eta-
pas permiten obtener una trayectoria del proceso que es en
cualquier inteivalo, la mejor posible Esta formulación de
la política es la que mejor satisface los objetivos del pro-
ceso
CAPITULO II
PROCESOS SECUENCIALES DE TOMA DE DECISIONES
- 7 -
Introducción
En muchos problemas prácticos de optimización inter-
vienen factores aleatorios que modifican los estados indepen-
dientemente de nuestra voluntad este estudio se limitará
a una serie amplia de problemas deterministicos, en los cua-
les, dado un estado fijo x, es posible hacer evolucionar
el sistema en términos de las políticas escogidas (hipóte-
sis 1) Aun dentro de esta restricción se considerarán só-
lo problemas en que el numero de etapas del proceso, u hori-
zonte del problema es finito
-8-
2 1 - Análisis prospectivo
Considérese un sistema cuyo estado en cada momento
t está definido por un punto x(t) en un espacio de dimensión
m que puede controlarse mediante un vector y(t) de modo que
x(t) pueda calcularse a través de y(t) (hipótesis 1)
Se denotará con Y,(x) el conjunto de decisiones que L
pueden ser adoptadas en el momento (6 etapa) t, si el siste-
ma se fija en el estado x eX, donde X representa el conjunto
de estados posibles asumiendo el parámetro t discreto, y con
valores en un conjunto finito de numeros reales
Siguiendo las notaciones introducidas en la definición
1 1 3 si tl'
t2
tn son los valores sucesivos que puede
adoptar el parámetro t, los correspondientes conjuntos de
decisiones se denotarán respectivamente conY Ytn' t
l'Yt
2
notación que se simplificará en la forma siguiente
Y = Yt 1=1 2 n (2 1) 1 i
Un método recursivo utilizado para resolver los pro-
blemas enmarcados en este capitulo se describe del modo si-
guiente
Si un sistema se situa inicialmente en el estado
xot X entonces, en el momento n=1 se adopta la decisión
-9-
y 1 € Y 1 (<) que tiene como efecto el paso del sistema a otro
estado x1 e X
En general en todo momento 1 1‘ 14 n se adopta la
decisión y E 1 (c ) que hace que el sistema evolucione del s 1 1-1
estado x a otro estado x 1-1 1
Se ha supuesto que el sistema evoluciona dependiendo
del estado en que se encuentra y de la decisión asumida es
decir que si se encuentra en el estado x al tonar la deci-
sión y el sistema pasará a un nuevo estado A l Esto se
expresa con relaciones del tipo x'= IP(x y) con y E Y(x) (2 2)
Para el caso en cuestión se introducirá una notación
con la que se pone de manifiesto la etapa del proceso
x 1 = Y (x1-1 /71) y 1 E Y 1 (x1-1 ) (2 3) 1
con 1 l< 1< . ■ n Esto indica que las funciones de paso kp 1 de un estado al siguiente pueden ser distintas en cada eta-
pa
Se denotará con u (x ,y ), la utilidad asociada a la i
etapa 1 1 < <in si el sistema se situa en el estado c ■ ■ 1
y la decisión adoptada es y i
La función objetivo fn que corresponde a un proceso
secuencial de decisión con horizonte n será una función de
las utilidades parciales u (r y ) 1.(1.“ que con fre- 1 a. 1
cuencia se define aditivanente
f n (u 1 (Y 1 171) u (x y ))- "t u (A y ) (2 4) n n n r,r 1
Se puede también describir el proceso para un estado
inicial o E. X y para una politica y=(y 1 yn ) fija en•
base a los cuales se determina la trayectoria (x1 x2'
los conjuntos Y (x 1 ),1‘ i‘n y la función objetivo En 1 1-
efecto, con ayuda de la relación (2 3) se determinará una
unica trayectoria (x l , ' n
), que se eApresará mediante la
siguiente notación
x l = T 1 (-0 ,Y1 ) = Ti (x0 ,19
'12 = 4)2 ( T1 (x0 Y 1 ) Y2 )=192 (Ao' 17 1 Y2 )
c n =l9n ( Tn-1 (co 171"Yn-i ),Yn )= Tn (xo Y 1'
Similarmente, para los conjunLos Y( 1-1 ), 1 ■51<1.n se tie-
ne que
11 o (x) = ( lo
.7 Y 2 (x 1 ) = Y 2 ( Tl (Ao Y 1 )) - 12 (xo Y 1 )
Y (1 ) = Y 3 ( T2 (xo Y 1 172 ))=I(x Y ) 1(2 6) 3 2 J 0 1 2
Yn (xn-1 )= n (1?n-1 (xo .1r l' ,Y Yn-1 ))=-7n (xo' Y l n-1J
Finalmente teniendo en cuenta las fórmulas 2 5 las
utilidades en cada etapa se escribirán
u l (Ar y 1 )=u 1 (9 1 (x0 y1 ),y 1 )=171 (x0 Y1 )
u2 (x21 y2 )-u2 (T2 (x0 y11 y2 ) y2 ) 2 (x0 ,1, 1 1Y2 ) 1(2 7)
re
un (xn yn )=un (19 n (xo ,Y1 ,yn ),yn )=un (xo ,y
con loque fn admite la siguiente representación
f n (11
1 ( 3 o y 1)
:1n (xo y1n))=1.n (xo Y1 (2 8)
Para efectuar un proceso secuencial de decisiones
mediante el análisis prospectivo se formulará el problema
de la manera siguiente
"Entre todas las políticas y=(y i y2„yn ) que hacen que
el sistema evolucione de un estado xo hasta un estado
uP cc xn in o y1 y2 , ,yn ), determinar aquellas para las cuales
- 12 -
la función objetivo fn alcanza su valor óptimo"
Usualmente existe un conjunto de estados iniciales
factibles a partir de los cuales puede iniciarse el proceso
De cada uno de estos estados iniciales tomando adecuadas
decisiones se puede pasar a nuevos estados en la siguiente
etapa y así_ sucesivamente
Sea X el conjunto de los estados iniciales facti- 00
bles, los estados sucesivos se denotarán en forma recursiva
es decir si se tiene el conjunto de estados Xo 1-1 y el
conjunto de decisiones y Y (x') para cada >t'E X en- o,1-1
tonces el conjunto de los estados sucesivos quedará definido
como sigue
X01
= {x E X :j'ere Xo,1-11 13 yE. Y i (x') x 4 (x.',y)} i
donde 1(1(n
Por simplicidad se escribirá X en lugar de Y 0 oo
Obsérvese que si xEX- Xoi'1‘i.n,x es un estado no acce-
sible en el paso 1
Fijado un estado inicial co E. A
o' una politica óptima es siem-
pre de la forma
* * y =y (x ) 141 2.4Q n
o (2 9)
* * * * * Si se toma el estado inicial x
o Xo y y =Ir 1 (x0 )
es una politica óptima el estado alcanzado por el sistema
- 13 -
en el paso 1 estará dado por
* L * p Y = (x ) 1 1 1-, 1
Se ha vis,o así un proci
desde el estado inicial
análisis de este tipo se
1.‘ 141n (2 10)
aso secuencia' de toma de decisiones
xo hasta el estado final xn
Un
llamará análisis prospectivo
2 2 - Análisis retrospectivo
Otra forma de analizar un proceso secuencia' de dec..-
siones es el llamado análisis retrospectivo Este es el
caso en que se quiere diseñar una politica que lleve el sis-
tema hasta un estado prefijado
En este tipo de análisis el estado final x n del sis-
tema S y el numero n de etapas del proceso son fijos Se
denotará por Y(x) al conjunto de decisiones posibles a
partir del estado x en la etapa i-ésima 14: Kn 1
La descripción recursiva del proceso es la siguiente
Dado el estado xns existe un conjunto de decisiones Y(x n n )
que hacen evolucionar el sistema a un nuevo estado Si se
toma una decisión yn e Y(X) se supondrá que el estado
del sistema es modificado deterministicamente por esta de-
cisión es decir que se obtendrá un nuevo estado xn-1 dado
por una relación del tipo
- 35 -
donde go (no ) = O
Para n=1 resulta que:
g 1 (x 1 ) = b 1(x
1) Y Y1 (x 1 ) =
g2 (0)= max b
2(y
2)+9 1 (0-y2
) =b2 (0)÷ 1 g (0)=0 luego
y2 e Y2 (0 )
92( 1) = max b2 ( y2 )-Fg 1 (1-y2
y2
e, Y2(1)
= max {b 2 (0)+9 1 (1),b2 (1)+9 1 (0)} =max {0.20,0.30 =0.30
luego y2 (1)= 1
Continuando los cálculos se obtiene la siguiente tabla:
- 14 -
xn-1 -15n (xn 'Yn ) (2 11)
Suponiendo que se han
vendo el sistema hasta
Sión v se tomará en - 1-1
el sistema a un nuevo
tomado 1 decisiones 14.C. 1 41n-1, lle-
un estado '1 la siguiente deci-1-
el conjunto Y1( 1-1
(e ) 5 hará pasar 1-
astado x1-2 dado por
x = ZS cx y1 _ 1 ) (2 12) 1-2 1-1 1-1 1-1
Para que este análisis se pueda llevar a cabo es necesario que
para cada 1 1‘. i‹;n exista el conjunto de los estados que
pueden ser alcanzados tomando decisiones y l eYs (xi ) y que
estos conjuntos sean no vacíos
Bajo estas hipótesis las caracterizaciones homólogas a las
del caso prospectivo son del tenor siguiente
Sea S un sistema controlable y x n un estado final
fijado Si y=(yney y1 ) es una política admisible
para la evolución del sistema entonces
a) La evolución retrospectiva de S y
b) El conjunto de decisiones Y (x ) en el momento i 1
1, para cada 1, l‘i‘n,
quedan completamente determinadas en función del estado xn
y la política y
En efecto, dado yn e Yn (xn ), utilizando la relación
- 15 -
(2 11) se obtiene un estado
xn-1=(xn yn )n(x
n yn
)
Si se supone que se ha ejecutado la subpolitica(y n
1( 1(n-1 entonces como resultado se alcanzará un estado
con
x = 1+1 (xnn Y1+1 )
y el conjunto de decisiones
Y 1 (x 1 ) = V1 (e n ,Yn 1371+1 )
en concordancia con la notación utilizada en 2 1 Al tomar
la decisión yi e Y i (c 1 ) el sistema pasará por (2 12), al es-
tado
x = ,Y )= ' ( 1+1 (xn , Z1 nIr Y1+1 ) Y )
1-1 1 1 1 1 i
1(x
n yn l y
1)
y el conjunto de decisiones a partir de este estado será
Y (X )=Y ( -170 (x y ))=Y ( 11; (xy ,y1 ))
1-1 1-1 1-1 1 1-1 1 n' n
=1-1
(xn' yn 1 )
Así pues, las relaciones
= -1) (x ,y , ,y ) para 14Q i‘n y
1-1 1 n n 1
- 16 -
Y (x Y ) tara 1( i(n 1-11-1 )=V1-1(xn yn
determinan respectivamente a) y b)
En este mismo contexto se dará a la función objetivo
fn
la representación
f n (u 1 (A 1 yl" )un(x
n yn))= .1
n(x
n yn 1 (2 13)
que se obtiene de manera similar al caso del análisis pros-
pectivo
El problema central del proceso secuencial de toma
de decisiones en este caso se enuncia como sigue
"Entre todas las políticas y=(yn y1 ) que hacen
que el sistema evolucione de un estado final dado xn hasta
un estado inicial xo:7;
1
(x
n
,y
n
,y1 ) ' determinar aquellas
para las cuales la función objetivo alcanza el óptimo"
Como en el caso prospectivo, el estado final x n no
puede elegirse arbitrariamente, se dispondrá de un conjunto
Xn,n de los estados posibles para el sistema en el fomento
final n Los otros estados, o conjuntos de estados admisi-
bles se darán en forma recursiva como se verá a continuación
Si se tienen determinados los conjuntos Xn,i+l de
estados accesibles (retrospectivamente) en la 1+1-‘sima eta-
pa 0( 1( n-1 y los conjuntos de decisiones Y 1 ( x' ) , para
- 17 -
cada x'c Xn itl entonces el conjunto de los estados admisi-
bles en la etapa 1 quedará definido de la manera siguiente
Xn 1={ x€ X 3x , e X 317 c 1+1 (‘') ,(x' Y) n 111, 1,1
con 0‘ 24 n-1
El conjunto Xnn se denotará con Xn
DeidenLemente que siXn x- l< 1<n-1, entonces 1'
x es un estado no accesible en el momento 1
Fijado un estado final xne Xn una política óptima
es siempre de la forma
* * Y =y (x ) 1 141 n , xn
e Xn 1 n (2 14)
Si se toma el estado final xnC. X
n , y la política
* * * * y =(y1 (xn ), ,yn
(xn )) es una política óptima, el estado
alcanzado por el sistema en el paso 1-1, quedará dado por
( x *
, y *
) n (2 15) 1-1 1 1 1
Observaciones
1 El conjunto de decisiones posibles Y i (xl-1 ), para el
caso del análisis prospectivo es en general distinto
del conjunto Y (x ) en el análisis retrospectivo
- 18 -
véece el ejemplo siguiente
1
2
Y l (xo )= { 17 11' 37 12 1Y13} Y1 (x11 ) = f 17 11}
(caso prospectivo) (caso retrospectivo)
2 Haciendo abstracción de la observación anterior, la
unica diferencia entre el análisis prospectivo y el
anális.Ls retrospectivo de un proceso secuencial de
decisiones consiste en el modo en que es concebida
la evolución del sistema Aunque el análisis prospec-
tivo parece ser más natural, también resulta eficiente
el análisis retrospectivo desde el punto de vista del
cálculo de una politica óptima En todo caso la elec-
ción de uno u otro tipo de análisis depende de la na-
turaleza del problema
- 19 -
2 3 - Modelo matemático para la determinación de una bolita.-
ca optima
La determinacsón de una política óptima en un proce-
so secuencial de decisiones puede realizarse ya sea con el
andlisis prospectivo o el retrospectivo Para el caso pros-
pectivo el problema puede enunciarse como sigue
* Para un estado inicial fijo x
oE X
o' determinar una
* * * política y = (y
1 yn ) de modo que
— * * * ...... * fn (x
o y 1 ,yn ) = max f n (xo
y1 Yn ) (2 16)
donde el mácimo se toma con respecto a todas las
.-... * y e Y (xo , y1" Y1-1 ) 1C t‘n 1 1
De manera similar, en el caso retrospectivo, dado
* un estado final xn E. X
n se trata de determinar una políti-
* * * ca Y = (Yn y1
) de modo que
* * * _ * in (xn yn y1 ) = max f n (xn ,y0„y1 ) (2 17)
con yl e 73 . ( xn* ,yn ,y ) 14 1( n 14-1
Por supuesto que valen las consideraciones análogas
en el caso de mínimo
- 20 -
Los modelos anteriores serán utilizados con las si-
guientes reformulaciones
* Dado un estado inicial x
o E Xo determinar una politica
* * * * * * Y =(1, 1 yn ) y una trayectoria x = (x o , x
n ) de ma-
nera que
* * * * fn (u 1 (x
1' y 1 ) ,un (xn yn )) -
= nax fn (u 1
(x1 gy 1 ), ,un (.n ,Yn ))
y EY (x ) 1 1 1-1
1‘141n
sujeto a las restricciones
(2 18)
x =(..? (x ) n 1-1•1 (2 19)
Este máximo se denotará con h(x n o )
Para el caso retrospectivo fijado el estado final
xn E Xn se debe determinar una politica y=(yn' .Y1 ) y
una trayectoria x = (xo , x
n) de manera que
* * * * fn(u
1(x
1,y
1), ,u
n(x
n,y
n))=nax f
n(u
1(x
1 y1), u
n(x
n yn))
Y1 E Y1 (x)
(2 20) 1( 141n
- 21 -
sujeto a las restricciones
x --(;(A y1
) 14 14n (2 21) 1-1 1 1
* El máximo en este caso se indicas& con g
nPz
n)
Estas nuevas formulaciones aumentan el numero de va-
riables que aparecen en los problemas (de n a 2n) lo que
podría inducir a pensar que la formulación inicial es más
adecuada por ser más simple sin embargo, el principio de op-
timalidad de Bellman permite reducir los dos ultimos proble-
mas a n subproblemas de 2 variables (una de decisión y una
de estado)
2 3 1 - Descomposición retrospectiva de la función objeti-
vo --
Desde el punto de vista de las aplicaciones con-
cretas resulta más interesante el caso en que la función
objeto se deZine adi,i.amente, sin enbargo se verán al-
gunos resultados nás generases que permiten establecer rela-
ciones de recurrencia válidas para resolver problemas de Pro-
gramación Dinámica que evidentemente serán aplicables al
caso aditivo
Con estas referencias se introducirá la siguiente
definición
- 22 -
Definscion 2 3 1 Se dirá que la función objetivo f n admi-
te una descomposición retrospectiva si
1) Existe una función IrDn de dos varlabíes tal que
fn
(t.1(x
1 y1 ) un ( .n yn )) =
= In(un (xne y
n),1:
n-1 (u1 (x 1 y
1) u (x y n-1 n-1 n-1 ))) (2 22)
para n:12
2) Para todo n e>2 y para cada un(x
n,y
n ) la función real
Z.—...4n(u
n (xn ,yn ),Z) es monótona (creciente si el problema
es de máximo y decreciente si es de mínimo)
A propósito de las funciones que se pueden descomponer
retrospectivamente se tiene el siguiente teorema
Teorema 2 3 1 Si la función objetivo fn se puede descom-
poner retrospectivamente entonces
gn(x
n) = max 1
n (un(x
n ,yn ),9n-1 (~0n ()tn yn ))) (2 23)
yn E Y(x)
para todo n n)2,
Demostración
Si se tiene en cuenta la definición de g n (xn ) dada
- 23 -
en la sección 2 3 resulta que'
fn-1 (u 1 (3 1 ,Y1 ) un-1 (xn-1 e yn-1 )Kgn-1 (xn-1 )
con =t l(x yn ) n-1 n n
Como fn se puede descomponer retrospectivamente por
la definición 2 3 1 resulta que
1 (u (x ,y ) f (u (x y ) u (x y )))< nnnn' n-1 1 l' 1 " n-1 n-1 n-1
In (un (xne Yn ) gn - 1 (xn - 1 ))
Cualesquiera que sean las etapas n, ni>2 y las deci-
siones yn donde las xl y las yi para 1‘ 14;n-1, están su-
jetas a las condiciones
„76 ( x , y ) l< 14n-1 1-1
Y E.Y (x ) 14;i:1n-1
Tomando el máximo con respecto a las y i 114Q1.1
se tiene que
- 24 -
gn(.0.
n)=ma -... 11)n [Un (xn yn ) f n-1
(u1(x
1 y
1) ' un-1 (I n-1 Yn-11 ■1;
y 1 I Y 1 (x 1 )
±....<, 1( n
'15,11 max 9ní(un txn
Yn E Yn ( cn )
Para establecer la igualdad se observa que de acuerdo a
la definición de g n (xn )
(11 (u (x y ) g (A ))<:g (xn) luego
nnnn n-1 n-1 N n
ma 1 [u (x ,y ) g (xn-1 ) l< g nnnn n-1 N n n
yn e Y(x)
Siempre que la función fn se pueda descomponer re-
trospectivamente el teorema anterior permitirá dividir el
problema en una serie de sub-problemas cada uno de los cua-
les tendrá una sola variable de decisión y de estado
Si se hace g0(x) = O y gyx,y) = la relación
(2 23) vale también para r = 1
Considérese ahora el caso concreLo en que la función
objetivo se define aditivanenLe
n f n (u 1 () l' y1 ) ' ,u( ,Y))=
21 u (x ,y ) (2 24) n n n 1 1 i 1=1
- 25 -
El problema (2 20) (2 21) toma la forma
max u (x y) 1 1 1 1=
yle Y(x)
14 n
con x 1-£ 1=(x1 ,Y1 ) l< 1<:n
La función objetivo puede descomponerse retrospecti-
vamente como sigue
ru1(x
1 y1 )= un (xn Yn 5:t u (X. y ) (2 25)
1=1 1=1 1
Es decir la expresión para la función In dada por (2 22)
adquiere la forma
un (An ,Yn ) + f ri _ 1 (u 1 (x 1 Y1) un-1 (xn-1 yn-1 )) (2 26)
esto es In (P g)= 1)+4 (2 27)
El hecho de que la función In es creciente resulta
de la compatibilidad de la relación de orden con respecto
a la adición en IR
La relación (2 23) del teorema 2 3 1 en este caso
adquiere la forma
- 26 -
g(x) = max [un (xn yn )+9n-1 ( n (xn ,yn ))] n >1 (2 28)
yn e Yn (xn )
con g0 (x0 )=0 teremos que g 1 (x 1 )= max u l (x, 1. 1 )
y1 E Y
1 (x 1)
Estas ultinas relaciones se conocen como las ecuacio-
de recurroncia de la Programación Dinám-ca
Sea Y(x) el conjunto de las decisiones que optimi-
zan la función objetivo dada en (2 28) para n y x n fijos
es decir
Yn (xn )= {yn Y
n(x
n) gn (xn )=un (xn yn )+gn-1 (iIn (xn ,Yn ))}(2 29)
y supóngase este conjunto no vacío Considérese un proce- *
so secuencial de decisiones de n etapas y 1'4 n‘n
Definición 2 3 2 Se llamará función de decisión óptima
para el momento n, a una aplicación yn definida en X
n con
valores en Rr
tal que y n (x
n)E Y
n(x
n)
Si para cada etapa del proceso secuencial se ha asignado
una función de decisión yn, 1( n<;:n , se cumplen las rela-
ciones
nn nnnn (2 30)
- 27 -
* para todo x
n e X n y n 1...< n‘ n
* Dada una func_ón de decisión óptima y
n y un estado x
n acce-
sible retrospectivamente en el momento n el valor y*
n(x
n)
sera concebido como la mejor decisión posible tomada del
conjunto Xn (xn ) para adoptar en el momento n, si el sistema
se encuentra en el estado xn
* Utilizando una función y
n es posible definir de ma-
nera recursiva una politica óptima y la correspondiente tra-
yectoria como sigue
* Dado el estado final xn* E Xni" se escoge la mejor decisión
* * Yn* correspondiente a ese estado Si para nzln se ha
* escogido el estado xn y la mejor decision
* * * * y(x)C YA ( n n ri n
)
* ¡r * * se tendrá que xn-1= LOn (xn ,yn ) (2 31)
* * * Y y
n-1 =yn-1 (xn-1
) (2 32)
Continuando este proceso se obtendrá la política 6p- * * * *
tima (y l , ,yn* ) y la trayectoria óptima (x o
, x)
En En las relaciones (2 23) (y por tanto en las ecua-
ciones de recurrencia (2 28)) se observa que s- yn es una
- 28 -
politica óptima para un horizonte fijo de n etapas y para
un estado final xn E Xn entonces
(y1 Yn-1 )
(2 33)
es también optima para un horizonte de n-1 etapas y un es-
tado final
* * * 2,n-1
= kl (xn Yn ) (2 34)
lo cual equivale al principio de Bellman
* Utilizando la función de decisión óptima y
n se ob-
tiene la trayectoria de fase (xo x ,xn* ) definida por
la relación de recurrencia
x = (x y ) n-1 n n(n (2 35) n
donde xn*0E Xn* es un estado final fijo
Esto permite describir la evolución del sistema, ya
sea, utilizando la politica escogida o en terminos de los
estados por los que atraviesa el sistema
De hecho, a partir de la relaciones
= (x y (xxn_i( )) xeXn*,n , n>1 (2 36) x)
n n
se observa que el paso de una etapa a otra en el proceso,
es función del estado que describe recurslvamente la trayec-
- 29 -
torta de fase mediante la relación
* xn-1
= xn-1 (c
n) (2 37)
Todo este proceso se esquematiza en la rig 1
Para el caso geneial del teorema 2 3 1 las decisiones óp- *
tinas yn n )1 se obtienen a partir de la relación
* * gn (xn )= O
n [un( xn yn (xn )) gn-1 (1.n (rn yn (xn )))] y así
se puede aplicar un procedimiento recursivo similar al an-
tenor con una definición análoga de funcion de decisión
óptima
CALCULAR gn (xn )=max
n=n+1
ESQUEMA DE
e Y(xn yn n
gn (x
NO
[uo(xn ,yn )+gn-1 (
CONSERVAR
gn - 1( Án - 1 )
CALCULO DEL ANALISIS
INICIO
g(x) = O
n=1
xne Xn* n CALCULAR u n txn yn )
n (xn )
*
n ) y y(x),NixCX n n n n*
g (x)
n=n*
n=n-1
RETROSPECTIVO
yn ))1 Vxn e Xna,n
n
=x n n* donde
xn* * xn* n* es el
- 30 -
fijado
= n n )
NO
FIN} SI < n n-1 n=1 > x =Z (x ,y* n n
FIG 1
- 31 -
Observación
El método descrito anteriormente para determinar una
politica óptima supone que las funciones gn
y yn han sido
calculadas para cada n 1( n(n* y para cada x ne x
A pesar de que esto implica un gran numero de cálculos el
hecho que las variables sean sólo dos en cada paso es lo
que facilita la ejecución real de los mismos Para cualquier
estado del conjunto finito X n* n se pueden determinar los
valores de gn y yn'
pero si Xn*,n es infinito deberá re-
currirse a la interpolación dada la imposibilidad de la rea-
lización de estos cálculos
Este proceso de puede realizar de la siguiente forma
Supóngase que Xn*en es un Intervalo acotado y cerrado
Xn*,n = [an' bn I hágase una división del intervalo en
p+1, p)1 puntos equidistantes
an ,an + ,bn=a
n+per donde bn -an
y anótese los cálculos relativos a gn y y
n en estos pun-
tos
Para cubrir los valores xn e a
n'br que no aparecen se
da a las ft.nciones gn
y yn
los valores
gn(.
n)=g
n(a
n +kor) y yn (xn)-y
n(a
n+kd•)
cuando a n +kr< xn < a n + ( k+ 1 )r k< p-1
La bondad de estas aproximaciones dependerá de la
naturaleza de las funciones
Una variante para efectuar aproximaciones se da por
medio de la interpolación lineal, en este caso
(a +(k+1)0- )-g ( a +kr)
gn xn )=gn an ÷k r -an -je r n n n n
Yn (an+(k+l)d- )- Yn (an
+xcir)) Yn (xn )=yn
(an+k(r)+(x
n- an -kr)
para an
+ kir < xn an + ( k+1 )0"-
Ejemplo Problema de inversión y beneficio
La suma de 6 millones de balboas va a ser utilizada
en 5 regiones económicas Los beneficios obtenidos dependen
tanto de la inversión como de las regiones economicas Se
asumirá que el beneficio en c-erta regiones economicas es
independiente del modo en que se designan los fondos para
otras regiones
- 33 -
El problema consiste en asignar las inversiones entre
las 5 regiones tal que se obtenga el beneficio maximo
Los beneficios correspondientes están dados en la
tabla siguiente (las cantidades representan millones de bal-
boas)
A b1 b
2 b3
b4
b5
0 000 000 000 000 000
1 0 20 0 30 0 25 0 27 0 22
2 0 31 0 45 0 35 0 40 0 37
3 0 53 0 50 0 47 0 58 0 55
4 0 76 0 65 0 60 0 70 0 68
5 080 082 078 085 075
6 0 90 0 95 0 87 0 92 0 82
Tabla 1
Si se denota por yl (variables de decisión)
1(1.15, la suma total invertida en la región i y por x l
(variables de estado), 1.4 14 5 la suma invertida en las
primeras i regiones se tiene la siguiente relación
x1 = it y, L1 i<15 3=1 '
- 34 -
sujeto a c(6 y )O, l< 1( 5 i
Ss b (y ) es el beneficio obtenido en la región i corres-]. i
pondiente a la inversión y i el problema es
5
max E b (y ) i
1=1 1
5
sujeto a E y < 6, y >O, l< I< 5 1=1 i 2.
aplicando el método expuesto se tiene que
A =X 2.-1 i
además, u 1 (2 1
S (x 1 3.
-y 1< 3.( 5 donde xo
= O 1
y) = b 2.(y ) 1C 1.< 5
a i
y ) = x -y 1,C I< 5 1 i 1
Y Y 1 (x 1 ) = { O 1
x5 = { O 12, 6J
} x l< i< 5 donde \ 1
la ecuación de recurrencia (2 28) es
gn
(xn)= max { b
n( yn )+gn-1(xn-yn) 1 , l< n<5
yn
e Yn(xn
)
* Ln ...,
o o o o ri ,-I rm
in en
O o
O
o rn
o
N In
o
N co
o
ce o
i-1
.4* rm
.-f
c" rn
C-1
* -rr ›, 0 O el el el e4 el
cr al
O o
O
O rn
o
N in
o
IN c0
o
IN O
-4
Ln el
H
Ln el
el
it el >1 O O el el el e-I el
el 01
O O
0
O rn
0
in in
O
el N
O
Ifl co
O
CO o
el
el en
el
41 CM >1 O el el C•4 el el IN
cNa al
O 0
0
O el
0
0 Ln
O
In kr)
O
el c0
O
VD O
el
el IN
el
* el >I O el IN el cr un ko
el al
O O
0
O e4
O
el el
O
el Ln
O
1.0
O
i
N 0
0
O
0
X O el eq el •71 in ko
- 36 -
- 3/ -
se obserza que na, g5 (> 5 ) - g 5 (6)=1 39
* * * * * luego xs = 6 de donde y 5
=y5
( 5)=y
5(6)=2
* * * * por consiguiente x =x_ - y=6 - 2=4 de donde y
4(4)=1 4 D 5
continuando los cálculos se obtiene la pol-tica óptima
* * * * * * Y =(Y1 Y2 Y3 Y4 Y5 ) = (1,1,1 1 2)
2 3 2 - Descomposición psospectiva de la función obletivo
Para el estudio de la descomposición en el caso
prospectizo se considerará un problema de la forma
maA . I' ,(u (. ,y ), n-1+1 i i i
Y e Y (x1 )
14 j< n
x = Y ) 3 11)3
(
,un (xn ,yn )) (2 38)
24 j< n (2 39)
Cuyo horizonte es de n-i+1 etapas La definicion 2 3 1 to-
mará la forma siguiente
Definición 2 3 3 Se dirá que la función objetivo fn-i+1
se puede descomponer prospectivamente si Vi 1‘1.11 -1-1
las siguientes dos condiciones se cumplen
- 41 -
orno para el caso retrospectivo en 2 3 1) se resume en
la fig 2
- 38 -
1) E iste una función Fn-1+1 de dos variables tal
que f (u (x y ) un(x
n yn)) = n--+1 1 1 1
((u(( (> y), f ((u un(x
n yn))) n-1+1 1 _ Y1 n-1 1+1 -1 )
2) Para todo 1, y todo u (x y) dado la 1 1 1
función z------.F (u (x y ) z) es monótona n-_+1 1 1 1
(crec_ente para un problema de máximo y decreciente para
un problema de minimo)
El valor máximo de la función objetivo del problema
(2 38), (2 39) se denotará con h (x Evidentemen- n-1+1 1-1 )
te esta función depende tanto del estado inicial x 1 como 1-
del numero de etapas n-1+1
El principio de optimilidad se evidencia en este
caso, con el siguiente teorema
Teorema 2 3 2 Si la función objetivo f se puede n-i+s
descomponer prospectivamente entonces
hn-1+1 (A1-1 ) =
= max F if ti y ) h ( 1/49 (x y ) ) (2 40) n-1+ 1-1' 1 1- 1' a.
y Y (x ) 1 1 1-1
para todo 1, 1.‘, I( n-1
- 39 -
donde U k I/ ) = u ( Hipi (.( _ 1 J. 1_1 Ir_) Yl)
Deroztración Sinilar a la des teorema 2 3 1
La relación (2 40) es también verdadera para s=n
haciendo ho(4..)=0 y F (x y) = %
1
Las funciones hn-1+1' '< l in pueden detersnarse '<Z m
de modo recurrente con la ayuda de la relacion (2 4 0) lo
cual permite definir, las funciones de decisión óptima
* y 1 ( x
2-1 ) 1‘ i< n que hacen que se verifiquen las siguien-
tes ecuaciones
hn-s+1
(x1-1 ) =
N(2._ * = Fn- y (x )) h ( y (c y*(x »)] 1-1 1 ..-1 1 i 1-1 ' 1-1' 1 1-1
para todo 1 1-..C. 141 n
Fijando entre los estados iniciales el óptimo de * *
los nismos co y el horizonte n la política óptima
* * * y la trayectoria óptima correspondiente
* * * r =(n
o , ,xn* ) se calculan de nodo recurrente con las formu-
las siguientes
- GO -
y = y( 1-1 ) 11 141 n*
xl - (x )
1 1-s 1 141 nw
En el caso que la func_ón objetito este defir-da
aditivamente el problema toma la forma
flan fl u 1 (A,y1 ) i=1
y c Y (x ,) J.
14 n
14.;n con x1 = 91(x
1 -1 ,Y1 )
Cono la funcion objetivo se puede descomponer pros-
pectivanente de manera análoga al del caso retrospectivo
en 2 3 1, la re]ación (2 40) adquiere la forma
(x )= nax (c y )+h ( qp (x y hn-1+1 1-1 1 n-1 1 1-1 1
y1 E
(x1-1 ) 1
1‘ 14n
donde ho(x)=0 y U (A ,y1 ( kp (x y ),y )
1 1-1' 1 1 1 1-1 1 1
(2 41)
que identifica las ecuac-ones de recurrencia
El esquema de cálculo para este caso (que fue des-
- 42 -
ESQUEMA DE CALCULO DEL ANALISIS PROSPECTIVO
INICIO
I ho (x)=0 I
* n=n
VA E x n-1 _ o, n-1 CALCULA un ( xn-1' yn )
CALCULA hn*-n+1 ( xn-1 )=me, 1 [
yn E Y n (xn-1 )
— ( un ( kn-1 Yn ))+11n*-n ( qI n (xn-l' Ynq
1 CONSERVA *
hn*-n+1 (xn-1 ) y y (x 1 ) V xn-l e Xo,n-1 1
hri ,,_ n (xo (x) =h hn*-n+1(xn-1)
n=n-1
* =x > SI id n-1 o n=1 *
onde xo e Xon * es el ft]
FIN
n=n+1 r
"1„....::
at n=n
N.77
FIG 2
i * * IYn =Yn (An-1 ) 1
1, tn * i
l xn = Tn ( n( -l I
- 43 -
Elemplo Proolema de producción e inventario
Un fabricante desea satisfacer una demanda conocida
de articulos en N periodos al menor costo posible En cada
periodo 1=1 2, N la demanda se ind_cará por r Si _
decAe fabricar artículos en un periodo dado debe pagar
un costo fijo k y un costo c por articulo producido, si no
existe producción este costo será cero Por otra parte,
es posible almacenar artículos de un período a otro con un
costo unitario a
Se utilizarán las siguientes magnitudes para
1=1,2„N
x cantidad de arAculos almacenados al final del peno-
do 1 (variable de estado)
r demanda en el periodo 1 1
Y cantidad de artículos que se debe producir en el 1
período 1 (variables de decisión)
xo
es la disponibilidad inicial de artículos
Las variables se relacionan de acuerdo a la siguien-
te fórmula
X =A ,+y -r , para 1= 1,2, ,N 1 1-1 1 1
Si c (x ,y ) es el costo en la etapa 1, se tiene que 1 2. 2.
- 44 -
k + c y +a(x l _ i +y i -r 1 ) si yi >O
c 1 ( 1 ,y 1)=
1=1 2 N a(x 1 - r) si y - O
Se supone además que se cumplen las siguientes con-
diciones
x i ),0 yi )0 1=1 2,
Sea hN-1+1 ( ) el valor mínimo de 1-1
ecuación de recurrencia es
,N y ao =) N=0
til ck(xk'yk) la k=1
(A )= mln hN-1+1 1-1 1 1-1 i i' i N-1(x
1-1+y
1-r
1)]
Y1 CY (x )
Sea N=3, r 1 =3, r 2 =2, r 3 =3, k=2 5, c=1 y a= 3 (las cantida-
des rl
r2
r3 y k representan 10,000 balboas por unidad)
Resolviendo la ecuación h 1(x
2)=c,((x2 +y3
-r3
)'y3) y atendien-
do a que 7 3 =0 y r 3 =3 resulta que x 2 y y3 deben satisfa-
cer la condición 2,2+y3
=3 que sólo se cumple para las pare-
jas (0 3), (1,2), (2,1) y (3,0) Haciendo los cálculos se
obtiene la siguiente tabla
- 45 _
c s ¿ y
3 h 1 ( x
2 )
* y 3
0 3 55 3
i 2 45 2
2 1 35 1
3 0 0 0
Tabla 1
Para calcular h2(x
1 ) se suponen satisfechas las de-
mandas r2
y r3' además, la cantidad de articulos x 1 almacena-
dos al final del primer periodo y la cantidad de artículos
y2 que se deben producir en el siguiente período se escogen
de modo que los valores A1+y
2-r
2 correspondan a la cantidad
de artículos x2 almacenados al final del segundo período
(anteriormente tabulados)
Los cálculos conducen a la siguiente tabla
- 46 -
cs( c Ny -2 y2)+h
1()
1+y
2-2) ¿ 1 2
1 Y2 C 1 2 3 4 5 h*
2 (x 1 ) y2
0 95 ±03 10 6 8 4 8 41 5
1 90 93 96 74 74 4
2 55 83 86 59 55 0
3 48 86 54 48 0
4 61 44 44 1
5 9 9 0
Tabla 2
Finalmente la tabla 3 corresponde a la evaluación de h 3 (x)
la disponibilidad inicial de artículos xo y la cant_dad
y1 que se debe producir en el primer periodo, se escogen
de manera qt.e los valores xo+y
1-r
3 correspondan a las can-
tidades x1 de articulos almacenados al final del primer
período (de tabla 2) Como se ha supuesto que xo=0, las
condsciones posibles de 1, 1 son 3,4,5,6 7 y 8
- 47 -
c l (x0 +1 1 -3 y 1 )+h 2 (x0+1, 1 -3)
1
N:
0 1 2 3 4 5 6 7 8 *
h3("0 ) y *
s
0 13 9 14 2 14 1 4 2 15 1 12 9 12 9 8
Tab.a 3
La polítsca optima es y = (8 0 0)
2 d - Diversos casos con respecto al estado inicial o final
Las relaciones de recurrencia dadas en 2 3 1 perni- *
ten determinar una politica óptima y =(y1
, ,yn* ) y una
trayectoria óptima x =(xo
, ,xn* ) correspondientes a un es-
* tado final fijo x n* = cn* considerando el estado inicial
arbitrario De manera similar en 2 3 2 se resuelve el pro-
blema de determinar politica y trayectoria óptimas fijando
el estado inicial xoE:X
o y dejando el estado final x n*
arbitrario Estas mismas relaciones pueden utilizarse para
resolver el problema con estados iniciales y finales no
fijados
Si en un problema se recurre al análisis retrospec- *
tivo, una politica óptima y = (y i , •yn ) correspondiente
al estado final xn* Xn* determinada por la condicien
- 48 -
g ( n* ) - maA gnv (xn* )
c n* E, n*
seria también una política óptima para el problema en el
cual ni el estado inicial ni el estado final se han fijado
El proceso será descrito como sigue
Comon* no es fijo, se puede buscar un estado fi-
nal que maximice la función g cual se calcula con
respecto a cada estado final xn*' conservando en cada caso
gn* (xn* ) y y una vez terminados estos cálculos
se determina el max gn* (rn* ) que permite encontrar
xn* y Yn* (xn* ) xn ,,,EXn* Se puede entonces fijar la politica
óptima y y la trayectoria óptima x , utilizando las fórmu-
las
* * yn
= yn (xn )
14 n4 n *
* * xn-1 n (xn ,yn )
El esquema de cálculo se Ilustra en la fig 3 Análogamen-
te si en un problema se recurre al análisis prospectivo,
a partir de un estado inicial xo
Xo , determinado por la
condición
nnt (c
o ) = mas( h * (Ao
)
,co e o
* * * se obtiene una politica óptima y = (y
1 yn* ) que será
también óptima para el caso en que no estén fijos n_ el es-
tado inicial ni el final El esquema de cálculo correspon-
diente esta dado en la fig 4
El unico caso aun no determinado es aquel en que
el estado inicial xo y el final xn* son fijos
Tanto en el análisis prospectivo como en el retros-
pectivo es posible modificar las restricciones del proble-
ma de manera que el conjunto de estados accesibles al tármi- *
no de las n etapas sea unitario Es decir
Yo,n* = xn* 1 y Yn* o
=Xo* } respectivamente
En el caso prospectivo las nuevas restricciones
del problema se clefinirán en forma recurrente cono sigue
71 (x i--1 )= { Yi e Yi (X 1-1 ) /4111 1 (x 1-1 yi ) 15-cos}
n* {:c* si i=n *
donde x oi
{1. e Xoi Y1+1 (x)+0} si 14
- 50 -
de donde se tiene que toda politica (y1
yn) con
e Y1 x 1-1 ) hace evolucionar el sistema prospectivamente 71 (
* * del estado x
o al estado x
n* afirmación que se puede verifi-
car reemplazando el conjunto Y i (x l _ i ) por Y (x ) 1 en (2 18) 1 1-
(2 19)
Si la evoluc-ón es retrospectiva las modificaciones corres-
pondientes son
Y (x )={y Y i (x )1 Z; (x y i ) C R.n*11-1 } l< 14;n* i i 1 i i 1
{ x * } S I 1=0 o
donde Y11111
= 1
{ xeAn*i Vi (x)# (1}si 141;
como antes, toda política (71, 57n* ) con Y E. V (x ) hace i i 1
* * evolucionar el sistema del estado x
n* al estado xo
INICIO - 51 -
n=1
\71 xe X n n*,n
CALCULE un (An ,yn )
CALCULE
gn (xn )= max 0 (u (x y ) ( (w y )1 \list P Y n n n' n 2n" -n -nn* n yn E Y(x n n )
¡CONSERVE gn(xn) Y Yí(xn) Vxn e Xn*n
9n-1(xn-1 )= gn (xn )
nn+1 NO S 'DETERMINE xn*
= r I * gr, * (Xn* )=max
I = .11n* xn* I
n=n-1 w * * ) 117n = Yn (xn )
L* * * 72»
SI ‹C' n=1 rn-1=-1/n(xn'yn)
FIG 3
- 52 -
INICIO
ho (x)=0
n=n*
Vx X n-1 o,n-1 —
ALCULE u n (xn-1 ,yn )
CALCULE hn*-nt1 (xn-1 ) = maxF n (xn-1 ,17n ) s hn*-n (191n (xn-1 Yn )))
yn EYn (xn-1 )
EMPRIMA hn*-n+1 (xn-1 ) Y Y (x Pfx EX n n-1 n-1 o,n-11
hn*-n (cn )=hnition+1 (xn-1 )
r= -1 hO DETERMINE xo =
h * (4 )=max h (x ) n o n* o
I(
n=n+1 n=Yn (xn-1 )
FIN> SI < n=n*T> lxnn(xn-1 ,yn
FIG 4
es estacionario (en su evolución prospectiva) si
(2 42)
(2 43)
(2 44)
u (x ,y ) = u(x y ) 1:>1 1 1 1 1
Y (x )= Y (x 1 ) 241
11 (xl -1 YI)=4)(xx-1 y l ) 1)1
- 53 -
2 5 - Procesos estacionarios Politica esLacionarsa
Se considerarán en esta sección problemas con an-
ción objeLivo adnive
Noina...men,e las utilidades son funciones no solo
del estado y la politica sino que tambien dependen de la
etapa del pLoceso, de ahí la notación u l Igual situac.on
se da con respecto a los conjuntos de decisiones Y 1 y las
funciones de paso y 7;
Definición 2 5 1 Un problema de programación dinámica
Si se cumplen sólo las ultimas dos con-
diciones se dirá que el problema es SEMI-ESTACIONARIO
La defin_cion anterior pone de manifiesto el hecho
de que las utilidades, los conjuntos de decisiones, y las
funciones de paso obedecen a leves funcionales que son inde-
pendientes de la etapa del proceso Una decisión del con-
junto Y(x 1 )' '41 será denominada decisión estacionaria 1-
- 54 -
Para el caso retrospectivo se da una definición si-
n -lar
Definición 2 52 Un problema de programación dinámica es
semi-estacionario (en su evolución retrospectv,a)si se cum-
plen las siguientes condiciones
Y i (- 1 ) = Y(x1) 1)1 (2 45)
31(1-11Y1)=-1/(4.1'371) 1)1 (2 46)
Si se verifica también 2 42, el problema es estacio-
nario
Cons-derando el caso prospectivo, las relaciones
de recurrencia se tranforman para un proceso con horizon- r
te n , cono siguen
r hn-i+1 (x)= man [171(x y)Thn-1 ( HP(x y))] 14 141; n
1 E Y(2)
donde ho (c) = O y 172(x y)=u(4) (x,y),y)
Para el caso retrospectivo estas relaciones toman
la forma
g (x) = max [u(x,y)-Ig1-1 ( 1(), y))1 14, 14n
* (2 47)
1 IrEY(x)
- 55 -
y g(x) = O
A continuación se verá un ejemplo que ilustra la
situación
Elemplo
Si se considera un s istema cuyos estados posibles
están dados en el conjunto X= {x1
c2' A 3
} tal que cada vez
que el sistema se encuentra en cada uno de los estados
x l x2 y x3 , se pueden adoptar las decisiones,
y l ó y2 1.1 6 y3 y2 6 y3 respectivamente esto es
Y(x2 )= {yi y3 } ,
La evolución retrospectiva del sistema será defini-
da por
t(x l' Y l ) = x2
l( xi Y2 ) ' x3
7"2 Y1 ) ' x 3
11( x2•Y3 ) ' x2
z( x3 Y2 ) = x2
1(x 3 Y3 ) = xl
y las utilidades que se producen en el transcurso del pro-
ceso están dadas por
- 56 -
u(x1
y 1 ) =3 u(sl'
52
) = 1
u(x 2 y1
) = -2 u(x2'
y3
) = O
u(x3'
y2
) = 3 u( c, y3 ) = -1
Utilizando la relación (2 47) se obtienen los valo-
res de g i , i= 1,2 3 4 y la politica óptima de la siguien-
te forma
Para el estado x 1 en la prinera etapa se tsene
g1(x
1) = ma, u(xl' y)
ye Y(x ) 1
= nax {u(x 1Y 1 ) u(x 1 1y2 )} = max {3,4= 3
Y Y1 (x 1 ) = y1 (el máximo valor de la función
objetivo en la primera etapa, corresponde a la decisión
Y 1 )
Continuando es cálculo
g 1 ( 2 1 ) = max u(x
2'y)= max {u(x2
y1) u(x
2yJ
)
ye Y(2
)
= nax {-2,0} = O y y(x 2 ) = y3
- 57 -
g1(d
3) = mac up y)= man {11(x 3 y2 ) L( Y3 )} 3 3 3
y E Y(x3
)
* .{3 -1} = 3 Y y(x3) = y2
en la segunda etapa se tiene
g2 (x 1 ) = max [u(c y) -1
= max{u(x l 1. 1 )+g 1 (75(x1 ,y1 ' )) u(xl' y2 ) +
+
* = max {3+0 1+3} = 4 y y2 (x 1 ) = Y2
g2 (x2 ) = max [ u(x2 ,Y) + g 1 ( 2;(x2 ,y)) I
y e Y(x2 )
= max {u(x 2 1Y1 )+9 1 ( -15(x2 y 1),11(x2 y3 ) +
* = max {-2+3,0+0 } = 1 y y2 (Y2 ) = Yi
- 58 -
e = nar [ u( -3 Y)+9_( -6(c 3 ?Y)/ - 2
yEY(x 3 )
= ma {u( 3' /2 )1- 9 1 (179(7, Y2 )) u(e3'Y3) +
+ 9 1 (2ó(1C 3 y3 ))}
= max (3+0 - 1+3 } =3 Y Y2 (x3 )= Y2
En .La tercera etapa
g3(r
1) = max [u(x 1' y) + g2
( y))]
yE
= max {u(x l y2 )+g2 ( -6(x 1 ,y2 )),u(x 1 y1 ) +
g2(z(xl , 171))}
= max {1+3, 3+1} = 4 y y 3 (x 1 )=Y2 Y1
Conz_nuando con las cálculos se obtiene la sigusen-
te tabla
- 59 -
x 9 1 ( ) *
y 1 (-) g2 (r) *
y2 (x) g3 (x) *
y3 (x) g4 (a) *
y 1 ()
X I. 1 Y2 Y l
o
Y2
Y2
x2
0 73 1
Y1 1
Y1 o Y3
2 Y 1
1.3 3
"2 3 Y2 4 Y2 0 Y2
donde puede observarse que a partir de la tercera etapa
los valores de la función de decisión opLina estacionaria
son
C ( x)Y2. * * (x )=y2' y (x2 ) = yl' y* (),3 )=y2' para 1 3
1 i
Una politica formada por este tipo de decisiones
se denominará política estacionaria
Cono conclusión se puede afirmar que las ecuacsones
de recurrencia 2 28 y 2 41 y los esquemas de cálculo basados
en las mismas, pueden aplicarse para determinar políticas
(y trayectorias) óptimas en todos los procesos controlables
que se desarrollan en etapas y cuyas funciones objetivos
se descomponen prospectiva y/o retrospectivamente
CAPITULO III
PROBLEMA DE LA DIMENSION EN
PROGRAMACION DINAMICA
- 60 -
Introducción
En Jas secciones anteriores se ha construido el esque-
ma de cálculo de la Programación Dinámica
Si las variables de estado y decisión son unidimensio-
nales los procedimientos se aplican directamente sin embar-
go cuando estas variables son vectores de mayor dimensión
las fórmulas establecidas en 2 3 1 y 2 3 2 presentan gran-
des dificultades desde el punto de vista del cálculo pues
el numero de operaciones necesarias para estimar
gn y yn( 6 h
n y yn ) crecería rápidamente dependiendo de la
dimensión de las variables Incluso para dimensiones relati-
vamente pequeñas resulta imposible efectuar los cálculos ne-
cesarios
Entre los instrumentos matemáticos que permiten redu-
cir la dimensión del problema y por tanto hacerlo accesi-
ble al cálculo, se señala un método que resulta de una sín-
tesis enLre las ecuaciones de recurrencia de la programa-
ción dinámica y el método de los multiplicadores de Lagrange
Esta síntesis permite descomponer el problema dado en una
serie de problemas más simples de menor dimensión
- 61 -
El procedimiento tendrá su base en resultados sobre
óptimos condicionados que se detallarán en esta sección
3 1 - Metodos de los multiplicadores de Lagrange
En el espacio Rk se utilizará la relación de orden
que se denotará 41; definida como sigue para todo
x=(x l' ,xk ) e Rk
041.: x <=> x 1 )0 Vi 1= 1,2 k
y c‘ y ,,> O< y-x
Considerense las funciones f y a 1=1 ,n con i
valores reales definidos en un conjunto XI:Rn
Se denotará con a(x) al vector
am (x)) x<IIX
Teorema 3 1 1 Sea u€IRm un vector de componentes positi- *
vas Si x es una solución óptima del problema de progra-
mación no lineal
max { f(x)-u'a(x) >ce X} , (3 1)
* entonces x es también solucion óptima del problema
max {f(x) a(x)‘ a(x * ),xe X} (3 2)
- 62 -
* Denostración Dado que x es solución óptima del problema
(3 1) resulta que
f(x* )-u' a(r
* ) ?. .„.f(x)-u' a(x) Vx e X
* * Sea P=
1.xe Á a(x ) .>„ a(x)} entonces x C. P y
* * f(x ) ) f( ')+u' [a(x
* )-a(x) 1 ) f(x) \ixe P luego x
es solución óptima de (3 2)
El planteamiento central del problema de reducción
de la dimensión seria el siguiente
Considérese el problema de programación no lineal
max {f(A) a(x) .‘ 0,x€ X} (3 3)
y supóngase que existe una solución óptima x ° de (3 1) co-
rrespondiente a un vector u° )0
Si a(x° )=0, el teorema anterior muestra que x ° es
solución óptima de (3 3)
Si a(x° ) # O, se plantea la siguiente interrogante
GEs posible elegir un nuevo vector u 1 )0 de tal manera que
la solución óptima de (3 1) correspondiente a este vector
proporcione una nejor apro =ación del vector a(x1) a
cero'
Los siguientes resultados garantizarán que bajo cier-
tas condiciones esto es posible
- 63 -
Teorema 3 1 2 Sean xo
y x l soluciones óptimas del proble-
ma (3 1) que corresponden respectivamente a los multipsica-
dores de Lagrange u=uo ) O y u=u
1 )0
Si o a () )-a (A
1) (3 4)
Y
ak (x° ) > ak (A 1 ) (3 5)
entonces
uok f(x° ) - f ( x )< 1
(3 6) e_ k ( x° )
Demostración Puesto que xo es solución óptima del problema
(3 1) que corresponde al multiplicador de Lagrange u=u° )0,
se tiene que
f(xo ) - (uo ra(x() ). f(x) - (u° ) . a(x),V1 ex (3 7)
Esta desigualdad puede escribirse de la forma siguien-
te
1 -° '-a (x)] + 1,, u ak‘a k"
5— uo [a (x )-a (x)] i#k
Ss r=x 1 de (3 4) y (3 5) se tiene que
f(x0 ) _ f(c 1 );luz [ak(xo)_ak(xl)
(3 8)
- 64 -
de donde se obt.ene que
o uk f(x0 ) - f(x 1 )
ak (xo ) - akP 1 )
que es la pr_mera desigualdad de (3 6) Análogamente se
deduce la segunda
Corolario 3 1 1 Considérese las soluciones óptimas x ° (u° )
y x(u1 ) de (3 1) correspondientes a los multiplicadores
de Lagrange uo >0, u 1 >0
Si a (xo (uo ))=a (xo (u1)) para ilk entonces, se cumple la
siguiente implicación
1 o u< u t, ax
o(a
o )) a k(xo (a 1 )) r= k k
f "140
En efecto identificando las relaciones (3 4) y (3 5)
con las letras p y q respectivamente y con r la relación
uo ,e- u 1 ewtraida de (3 6), se tiene en particular que k k
(p q) r, lo cual es equivalente a que
p r
Transcribiendo esta proposición se obtiene el corola-
rio
- 65 -
Observacsoli
En adelante se denotarán con x ° (u) las soluciones
del problema (3 3), para cada u >0
Sea uo
> O un multiplicador de Lagrange (ti L ) cuyas
componentes se derotarán con u o 1CiCn y kE {1 2 n}
Se asignará a cada elemento u k de la semirrecta [o, ce)
una solución del problema (3 1) que se denotará yo
(uk
)
cuyo multiplicador asociado estará definido de la siguiente
manera
u° si k 3.
u =
k u
k si i=k
En base a los resultados anteriores se describe el
proceso de busqueda del vector u tal que la solución ópti-
ma de (3 1) proporcione una mejor aproximación de a(A(u))
a cero y así (x(u)) se aproxime a la solución de (3 3) de
la manera siguiente
Escójase un vector uo
O y resuélvase por los mé-
todos usuales el problema
max {f(z) - (u o ) ' a(x) -ce X } (a)
Sea x0 (u0 ) una solución óptima
Si a( ° (u° ))=0 problena (3 3) queda resuelto (por
- 66 -
e- ceorema 3 1 1)
2Q Si a(xo (u° ))n considérese la primera componente
ak (c° (L° )) distinta de cero y sea X'= xe X \ti#k
a (, ,A
z , = , ;„‘o (uo )) }
,
2 a Si ak(c° (u° )) < O Definase el M L uk° como sigue
uo
si 1$k i
u = 1 k uk° tal que uk° < u, si 1=k
k k
y resuélvase el problema
mal,. ( (f(x) - (uk ) a(x) x E X I } (b)
Si xo (uk°) es una solución del mismo, por el teo-
rema 3 1 1 ro(uk° ) es solución del problema
ma-c{f(x) a(x)l a(xo (uk°), x £ X'} (c)
aplicando el corolario 3 1 1 a los óptimos x ° (u° ) y
Ao (uk° ) resulta que
ak (xo (uo )) <1. ak (x
o (uk0 ))
Si ak(j3 (uk°))=O se detiene el cálculo y se pasa a conside-
o rar la siguiente componente de a(x (u o )) distinta de cero,
pero si aun, ak ( o(u
k A 0))C O, se procede como antes,defi-
niendo un nuevo multiplicador u k1 , considerando un kl uk
- 67 -
k tal que u
kk1 ‹: uko y asi sucesivamente
kp Si para algun k resulta que a
k(x° (u -)) >0 considérese P
k , un nuevo mulLiplicador u
k Pl' s tal que
k ukP < uk1)+1 < ukP-1 k k
y continuese este proceso hasta obtener el valor deseado
ak(x° (uk, ))=0 9L>p+1, o bien una aproximación al mismo
k 2 b Si a
k(x° (u° ))> O definase un M L u ° tal que
uo 1
k o u.
1
ko u k
si 1 # k
tal que uk° > uo si i = k k k
y resuélvase el problema (b)
k Si u° (u (5 ) es solución de (b) por el tecrema 3 1 1
k xo (u o
) es solución del problema (c)
Aplicando el corolario 3 1 1 a los óptimos
k k xo (u o ) y x0 (u0 ) cono u e
o uko entonces k -,
k ak (x
o(u ° )) 45.1: ék (x°(u°))
- 68 -
Si a (AO (u
k -n ))- O se detiene el proceso con respecto
A
a esta componente y se pasa a la siguiente distinta de cero k
Si aun a1 (4° (u o )) >0 se continuará el proceso dual del
paso 2 a
La aplicación reiterada del proceso antes descrito permite
aproximar a cero el valor de a k (Ao(u)) Bajo ciertas con-
diciones es posible obtener como valor de a k (x° (u)) preci-
samente al cero ya sea en un numero finito de pasos o gene-
rando una sucesión de numeros reales no negativos u k , k)0,
que representan los valores atribuidos al multiplicador de
Lagrange u es decir, en ciertas condiciones, que dependerán
de la naturaleza del problema, el proceso es convergente
(ver [8] pág 121 y [11] )
En la siguiente sección se verá a través de un ejemplo
cómo se utiliza esta aproximación de la función a(x(u)) a
cero en la reducción de la dimensión de un problema de Pro-
granación Dinámica
3 2 - Un problema de transporte
En esta sección, se aplicará el método descrito ante-
riormente, estudiando el problema de organizar el transpor-
te de marcancías que es de gran importancia en la economía
matemática Se analizará el caso en que un solo tipo de
- 69 -
mercancía está involucrado
Se llamarán origenes a los puntos 1 2 m donde la
mercancía está disponible en cantidades a l a2 am y des-
tinos a los puntos 1 2 n donde la mercancía es demanda-
da en cantidades b1 b2 bn respectivamente
Se supone que se satisface la condición
a 1 +a2 + +am=b 1+b
2+
' bn (3 9)
Sean f 1=1,2, m 3=1,2, n las funciones de costo de ij
transporte entonces si del origen i se expide la cantidad
1, 13 al destino j, el costo de transporte será el valor asig-
nado f (y ) 13 2.]
Se tiene entonces el siguiente problema de programación
min
II t f (Y) (3 10) 3=1 ij 3.]
sujeto a las restricciones siguientes
n 7 y1] = a 1<1<im (3 11) i j=1
m E y = b l< j< n (3 12) 1=1 13 3
- 70 -
y >0 1=1 2 m 3=1 2, n (3 13)
Si las f son lineales se obtiene el bien conocido proble-
ma de transporte pero en general este es un problema de
programación no lsneal
Se procederá ahora a convertir este problema en un problema
de Programación Dinámica
Las variables de decisión serán las y1] , 1( i‘m l< 3<n
y para cada j 1<j<n, se considerará el vector
Y = (Y1]
ey23
,YM] ) (3 14)
Las variables de estado estarán dadas por las relaciones
x I] - 1<i<m 1<3<n (3 15) Yik
que representan la cantidad transportada desde el origen
i a los primeros 3 destinos y el estado del sistema en el
'momento j se indicará por el vector
x = (x 13 e x23 ,xM] ) 1‘ 34;n (3 16)
Por convención el estado inicial será
- 71 -
Xo
(0 O
m-possciones
Obsérvese que
X (
17 1k Y2k• 51-1 Ynk ) k=
- 111 'lk' Y2k 2__ ymk )+(Y 1] YMj ) k=1 k=1
es decir para cada 1<;j<n, se tiene que
x = + x3-1 y3
x,= x -y
3 -1 j j
1C n
l< >C. n
(3 17)
y de (3 13) resulta que
0.‘3,3 C scj l< j< n
(3 18)
El estado final x n al cual se ha de llegar es aquel en que
se ha transportado toda la existencia del recurso O sea
de (3 16) (3 15) y (3 11) resulta
xn
= (a1'
a2' am ) (3 19)
El conjunto de decisiones que pueden adoptarse en es
- 72 -
monento 3 si el sistena se encuenLra en el estado x es
arm ) 0<y< c, fl y =b } (3 20) 3 1=1 i 3
por lo tanto el problena (3 10) - (3 13) es equivalente
al siguiente
mIn I:;
m
211 f (y ) 1.1 13 13
y CY I (x ) 3 3 3 (3 21)
x3-1 = x3 -y j 1( 34.‘ n
donde el conjunto de valores accesibles para el estado fi-
nal xn
es
o
X' = xe Rin x)0 7:1 x l = b (3 22) nl 1= 3=
En efecto
yer(x3
) para 3=1 2„n
equivale a
y = b 13 j=1,2„n
y y > O para 1=1,2„m, 3=1,2„n
- 73 -
de (3 17) para 3=n se obtiene que
= x - x + yn= Xn n- 1 n n-1
En este caso se han servido todos los destinos y por
tanto comparando coordenada a coordenada en la ultima igual-
dad se obtiene que
jutiy = a i = 1 2 ,m 13
De esta manera se observa que el problema (3 21)(3 22)
tiene las mismas restricciones que el inicial
Observación La consideración de las etapas intermedias
es un recurso instrumental que transforma el problema (3 10)
(3 15) en el problema (3 21)(3 22) de programación dinámica
En realidad nos interesa considerar la ultima etapa, 3=n,
ya que en este caso se ha distribuido toda la mercancía,
es decir
a = b ,
que es la condición considerada en el problema original
Si denotamos con (xn ) el valor mínimo de la función ob-
- 74 -
Jetivo del problema (3 21)(3 22) la relación de recurrencia
para el caso retrospectivo es (ver 2 28)
g'(x )=nin [21-1 f (y )+g i (› - Y )] (3 23) n n in _n n-1 n n i=
Esas relaciones de recurrencia son similares a las obtenidas
en 2 3 1 y las dificultades relacionadas con su resolución
numérica son considerables
En efecto, si a cada componente del vector y se le asigna
100 valores distintos para la division en algun esquema de
interpolación (ver la observación de pág 31 ), entonces el
vector y tendrá 10 2m valores distintos, si además se consi-
dera que en la manipulación de las ecuaciones de recurren-
cia (3 23) se trabaja simultáneamente con las
y con la función de decisión óptima correspondiente se ob-
serva fác.lmente que la resolución numérica de los problemas
de la forma (3 10)-(3 13) resulta técnicamente inabordable
aun para valores de m relativamente pequeños
Las consideraciones anteriores indican la conveniencia de
reducir la dimension del problema un primer paso es el de
observar que las relaciones (3 12) permiten escribir cada
componente del vector y, en términos de las m-1 componentes
restantes, esto quiere decir que la dimensión de y es
m-1
- 75 -
Si se pone ynj= b - y13 ,
3 1=1
el pioblena (3 21) toma la forna siguiente
( flj
(y1]
)+f111](b- 1] ))
1=1 1=1 (3 24)
x =x -y 1 j-1 1] 13 l<14<m-1 1.C.j<n (3 25)
donde Y'(x )= {y=(y 1 y2'
ym-1) 007<lx y ( b3} (3 26) 7 3 i 1=3
es el conjunto de las decisiones que se pueden adoptar en
el momento j si el sistema se encuentra en el estado x y 3
el conjunto de los estados finales es
m X' ={xe -1n x>o,
b3 (3 27)
1=1
El estado final que nos interesa es x n=(a i 821 am), en-
tonces el problema (3 24) - (3 25) puede escribirse como
sigue
m=1 mm n t ( >-- f 1] (y 13 )+fm] j (b- ri y )) (3 28)
j=1 1=1 1=1 13
- 76 -
(3 29)
(3 30)
(3 31)
sujeto a
t. y lj = a 1<i<m-1 Ji.
1=2 1<;j4;n
trTi. Y13 Cb3
1<, 2.< m - 1 , 3 (n
La dimensión puede reducirse ahora utilizando el método de
los multiplicadores de Lagrange propuesto en la sección
31
Considérese para esto un M L u >0 El
problema (3 28) - (3 31) queda como sigue
m-1 mm n 71; (57— f (y ) 4.f (
1J 1] M3 bj 5=1 Irm ...1 3 ) (3 32) ]= 1=1 1=1
sujeto a
t y = a • i‘m -2 (3 33) 1 13 ]=
y
y 13
14
< b ■ 3
14;n-2
1‘, 3( n
j< n
(3
(3
- 77
34 )
35)
1=1
>0 ,
Aplicando el esquema de cálculo de la fig 1 para
un valor fijo de u=u° > O, se obtiene una política óptima
y*
(uo ) 1.‘141n-1 1.< 3.1.n, que es también óptima (por 13
el teorema 3 1 1) para el problema (3 32) - (3 35) con la
siguienLe restricción adicional
(u )o
rn- Y 1 3 4.11 Ym-1 3 (3 36)
Si resulta que
(uo ) = am-1 (3 37) Yr11- 3
la politica y *13 (u
o), 1.1;14m-1, 14 j‘n, es una solución
óptima del problema (3 28) - (3 31), de lo contrario, se
procede del modo siguiente
Si E; ym -1,3(u°) < am -1 (3 38)
7
-
- 78 -
se reenplaza uo por u1 con u
1<u
o como lo indsca el proce-
so de la sección 3 1 para obtener
(u1) > Ym-1,j (u°)
Yrk,1-1 j -
(3 39)
ya que la función (u) es decreciente en rn Y-1 F71 —
el intervalo [0, 00 ) (ver corolario 3 1 1)
Análogamente si
<1— *(3 40) Yn-1 o (u ) > a 1 m-
se elige u1,u
1> uo para obtener la desigualdad en senti-
do contrario al de (3 39), etc
Queda ilustrada así, la utilidad del proceso expuesto
en la sección anterior en la reducción de la dimensión en
un problema de Programación Dinámica
CONCLUSIONES
- 79 -
El principio de optimalidad de R-chard Bellman es
el fundamento de los análisis prospectivo y retrospectivo
los cuales permiten determinar la politica y la trayectoria
óptimas de un problema de la programación dinámica
Si para un proceso controlable que se desarrolla en
etapas la función objetivo admite descomposición prospectiva
o retrospectiva ella puede ser utilizada para calcular po-
litica y trayectoria optimas a través de las ecuaciones de
recurrencia 2 28 y 2 41 y los esquemas de cálculo correspon-
dientes Es claro que existen problemas de optimización
que pueden ser resueltos con métodos de programación dinams-
ca aunque en su forma original no pueden ser concebidos
como procesos secuenciales de decisiones (ver 3 2)
En un problema de programación dinámica estacionarlo
las funciones de utilidad, de decisión y paso son las mis-
mas en cada una de las etapas del proceso En el caso semi-
estacionario la función de utilidad puede variar de una eta-
pa a la otra
El corolario 3 1 1 nos permite aproximar tanto como
querremos el valor ak(xo (uk )) a cero proceso este que
converge bajo ciertas condiciones que dependen de la natura-
- 80 -
leza del problema (ver [8] pag 121 y [11] ) Esto nos
pone en condiciones de reducir la dimensión de las variables
para facilitar la resolución de un problema de programacion
dinámica
BIBLIOGRAFIA
- 81 -
[1 ] Bellman, Rtchard Dynamic Programming A Rand Corporat ion Research Study Published Princeton University Press London Oxford University Press 1957
[2 ] Bellman R Dreyfus Stuart Applied Dynamic Program- ming Rand Corporation Published Princeton University Press 1962
[3 1 Boldur-Látescu G Sácuiu I Tigánescu E Cecetare , Operationalá cu ApliéWZI—fE-
Economie Editura Didactscá si Pedagogicá Bucaresti 1979 2 i
[4] Fuentes Maya Determinación de Políticas de Asignación de Agua en Presas y Acuiferos Curso Taller Editado por Subsecretaria de Infraestructura Hidráulica México D F 1985
[5 1 Howard, Ronald A Dynamic Programming and Markov Processes The Massachusetts Institute of Technology 1969
[ 6] Kaufmann, A Métodos y Modelos de Investi- gación de Operaciones II Tomo Compañía Editorial Continental S A México D F 1980
[ 7] haufmann A Cruon R La Programmation Dynamique Paris Dunod 1965
[ 8 ] Luenberger, David Introduction to Linear and Nonlinear Programming Addlson Wesley Publlshing Company 1973
- 82 -
[9 ] Nemhauser, George Introduction to Dynanic Progra- mming John Wiley and Sons Inc 1966
[10] Popescu H Chiroita V Calculul Structurilor Optima- le Editura Acadenies Republicii Socialiste Román/a 1981
[11]
[12]
[13]
[15]
[16]
L. 14] Thierauf
Popovici Constantin
Prauda Juan
Stefánescu, Anton 3
R Grosse R
Zidároiu, C Malita,
Zidároiu Cornello
P Curs de Teoria Algoritmilor Functii Recursive Univers'- ) tatea din Bucuresti Facultatea de Matematica 106
Métodos y Modelos de Investiga- ción de Operaciones Editorial Limusa Mexico D F 1982
Curs de Cercetári Operationale Universitatea Din Sudaren' Facultatea de Matematica 1982
Toma de Decisiones por Medio de Investigación de Operaciones Editorial Limusa México D F 1982
M Matematica Organizáril Editura Tehnicá Bucuresti 1975 ,
Progamare Dinamica Discret/ Editura Tehnicd Bucuresti , 1975
