Upload
others
View
8
Download
0
Embed Size (px)
Citation preview
Chapitre 1
Principe du maximum
1.1. Introduction 1.1.1. Genèse du Principe du maximum
Le Principe du maximum, qui est au cœur de ce chapitre, est l’une des deux grandes formulations de la théorie générale de la commande optimale, l’autre étant la Programmation dynamique. Ces deux approches ont chacune leur intérêt propre et sont complémentaires. L’une se déduit de l’autre, mais sous des hypothèses trop restrictives pour nombre d’applications ([FLEM 75], chap. IV, §8).
Les idées sous-jacentes à ces deux théories sont fort anciennes : la Programmation dynamique a pour origine le Principe de Huygens pour la propagation de la lumière : c’est le fameux principe des « sources intermédiaires » ; le principe de Huygens est lui-même fondé sur le Principe de Fermat qui postule que la lumière suit le trajet dont le temps de propagation est minimal. Le Principe du maximum est une généralisation du Calcul des variations. L’invention de celui-ci remonte à la résolution du problème du Brachystochrone, posé par Jean Bernoulli en 1696 ; il s’agit également d’un problème de temps minimal (comme l’indique la racine grecque : « brachystos », « le plus court » ; « chronos », « temps »). Ce problème fut résolu tout d’abord par Jean Bernoulli lui-même (en même temps que d’autres savants, dont Leibniz et Newton) grâce à une analogie avec le problème de propagation de la lumière et l’application du Principe de Huygens ; c’était en quelque sorte utiliser la Programmation dynamique bien avant la lettre. Puis Euler, élève de Jean Bernoulli, a posé les premières bases du Calcul des variations, en réponse à la demande de son maître de systématiser sa solution ; Euler, à cette occasion, a ébauché à partir de considérations géométriques la méthode des « petites
Chapitre rédigé par Henri BOURLES
16 Commande optimale
variations », dont nous allons parler abondamment, méthode à laquelle Lagrange a donné, un peu plus tard, une forme analytique plus élégante [GOLD 80]. Ainsi, dès leur préhistoire, la Programmation dynamique et le Principe du maximum, dus respectivement à l’américain Bellman et au russe Pontriaguine, sont liés, et il n’est pas étonnant qu’ils continuent aujourd’hui d’avoir de nombreuses connexions.
Par nature, le Principe du maximum est une condition nécessaire d’optimalité, tandis que la Programmation dynamique fournit une condition suffisante. D’autre part, le Principe du maximum donne comme solution une commande en boucle ouverte (fonction du temps) alors que la Programmation dynamique conduit à une commande en boucle fermée (fonction de l’état du système) ; toutefois, la commande solution du Principe du maximum peut, dans les cas favorables, être mise sous forme d’une commande en boucle fermée. Un des grands avantages du Principe du maximum sur la Programmation dynamique est une plus grande facilité de mise en œuvre, celle-ci, quand elle est appliquée aux systèmes à temps continu, impliquant la résolution d’une équation aux dérivées partielles (l’équation de Hamilton-Jacobi-Bellman), tandis que celui-là se ramène à la résolution d’équations différentielles ordinaires (résolution qui est toutefois sérieusement compliquée par le fait que le problème est « aux deux bouts »).
Le Principe du maximum a été développé par « l’école soviétique » constituée de Pontriaguine et de ses collaborateurs : voir l’ouvrage de référence [PONT 61]. Pontriaguine avait énoncé en 1956 le « Principe du maximum » sous forme d’une conjecture dans le cas des problèmes de temps minimal. C’est principalement à Boltianski et Rozonoer qu’on en doit la démonstration complète [BOLT 58], [ROZO 59].
1.1.2. Vers une formulation du Problème de Pontriaguine
Examinons tout d’abord, pour l’instant sans trop entrer dans les détails, quel est le « problème de Pontriaguine » que résout le Principe du maximum. Soit un système régi par une équation d’état
( )uxtfx ,,=& [1.1]
où ( ) ntx ℜ∈ et ( ) mtu ℜ∈ désignent respectivement l’état et la commande à l’instant t. L’état est supposé connu. Soit 0t l’instant initial, et supposons que la valeur de l’état à cet instant soit fixée et notée 0x , de sorte que
( ) 00 xtx = . [1.2] Avant de parler de commande optimale, il convient de parler de commande tout
court. On ne peut piloter le système considéré entre l’instant initial 0t et un instant final ft qu’avec une commande suffisamment « régulière », d’une part parce que seule une telle commande est physiquement réalisable, et d’autre part, au plan mathématique, parce que cela est nécessaire pour que l’équation différentielle [1.1]
Principe du maximum 17
admette des solutions ; c’est pourquoi nous nous limiterons aux commandes continues par morceaux. Il est également nécessaire, pour les mêmes raisons, de limiter les valeurs de cette commande, donc d’imposer une contrainte de la forme
( ) ItUtu ∈∀∈ , [1.3]
où I est un intervalle de ℜ contenant [ ]ft,t0 (éventuellement égal à celui-ci, mais
pouvant aussi être non borné) et où U est un certain sous-ensemble non vide de mℜ . On appelle ensemble des commandes admissibles, l’ensemble des commandes continues par morceaux de I dans mℜ , satisfaisant la contrainte [1.3].
Il s’agit de piloter le système de manière à réaliser une certaine « mission » M. Celle-ci consiste à transférer l’état x de sa condition initiale fixée [1.2] à une condition finale ( ) ff xtx = sujette à certaines contraintes. Par exemple, ft et fx
peuvent être entièrement fixés. Plus généralement, ft étant fixé, on peut exiger que
fx soit un point quelconque d’une sous-variété de nℜ . Mais cette variété peut se déplacer : imaginons qu’on veuille envoyer une fusée sur la lune ; la lune ne reste pas immobile par rapport à la terre ! On est donc amené à considérer « l’espace-temps » 1+ℜn = nℜ×ℜ et à imposer une condition de la forme
( ) fff Vxt ∈, [1.4]
où fV est une sous-variété de 1+ℜn , appelée « variété cible ». Cette formulation permet notamment de considérer des missions où l’instant final n’est pas fixé.
Nous dirons dans ce qui suit qu’une commande est efficace si 1°) elle est admissible et 2°) elle réalise la mission M (consistant à transférer l’état x de sa condition initiale [1.2] à une condition finale ( ) ff xtx = vérifiant [1.4]).
Le Problème de Pontriaguine consiste à déterminer, si elle existe, une commande *u minimisant, sur l’ensemble U des commandes efficaces, un critère J de la forme
( ) ( ) ( )( ) dttutxtlxtKJ ft
tff ∫+=0
,,, . [1.5]
Ce critère peut représenter un coût de nature économique, ou une énergie (le problème à résoudre étant par exemple : « comment envoyer une fusée de la terre à la lune en dépensant le moins d’énergie possible ? » ) ; il peut aussi être, notamment, le laps de temps 0tt f − . Dans ce dernier cas, on parle de problème de temps
minimal, obtenu en posant dans [1.5], indifféremment, soit 0=K et 1=l , soit 0ttK f −= et 0=l (voir exercice 1.5). Le critère J est dit final (ou terminal) si
0=l , et intégral si 0=K ; sous la forme générale [1.5], il est mixte. Un critère
18 Commande optimale
mixte peut se mettre sous la forme d’un critère final : il suffit d’ajouter à ( )nxxx ...,,1= une composante 1+nx telle que ( ) ( ) ( )( )tutxtltx n ,,1 =+& ,
( ) 001 =+ tx n& ;1 on obtient en effet ( )( ) ( ) ( )( )fff
nff txtKtxtxtKJ ,:, 1 =+= + , où
( )11 ,...,, += nn xxxx . Si K est de classe 1C , le critère mixte J peut également se mettre sous la forme d’un critère intégral (démonstration facile). 1.1.3. Calcul des variations
1.1.3.1. Calcul des variations et Problème de Pontriaguine
Le Problème de Pontriaguine ainsi formulé est une généralisation du problème du Calcul des variations. Celui-ci consiste à déterminer, si elle existe, une fonction
nIx ℜ→: vérifiant des conditions initiale et finale telles que [1.2] et [1.4], et minimisant un critère
( ) ( ) ( )( ) dttxtxtlxtKJ ft
tff ∫+=0
,,, & . [1.6]
On se ramène immédiatement au Problème de Pontriaguine en posant ux =& , ce qui est un cas particulier de [1.1]. Le Calcul des variations suppose que U est un sous-ensemble ouvert non vide de nℜ et procède par « petites variations » de la trajectoire x ; ainsi, en posant ( )xJJ = , on cherche une trajectoire *x telle que
( ) ( )*xJx*xJ ≥+δ dès que la variation xδ est « suffisamment petite » : c’est l’idée fondamentale d’Euler et de Lagrange qui a été évoquée plus haut.
D’autres noms célèbres sont associés au Calcul des variations, et parmi eux Legendre, Jacobi, Hamilton, Erdmann et Weierstrass, que nous rencontrerons plus loin.
Il convient de préciser ce qu’on entend par une « petite variation », et nous allons voir que deux types de variations peuvent être envisagés : les « variations faibles » et les « variations fortes ».
1.1.3.2. Variations faibles
Notons ( )IC nb1 l’espace vectoriel des fonctions de l’intervalle I dans nℜ ,
continûment dérivables, bornées et dont la dérivée est bornée. Cet espace est muni de la norme
1 Dans tout ce chapitre, les composantes d’un vecteur figurent en exposant, les indices étant réservés aux éléments d’une suite ou d’une famille.
Principe du maximum 19
( ) ( )( )txtxxIt
&,sup1∈
= . [1.7]
Une variation faible est un accroissement xδ dans ( )IC nb1 . Une telle variation est
« petite » si la norme 1xδ est petite. Cela signifie que non seulement son amplitude mais aussi celle de sa dérivée sont petites à chaque instant. En prenant les hypothèses de régularité convenables sur la fonction l , on peut considérer J comme une fonction de ( )IC n
b1 dans ℜ . Les conditions (nécessaires ou suffisantes) pour que la fonction J ainsi considérée admette un minimum (local ou global) en un point
*x sont appelées les conditions (nécessaires ou suffisantes) de minimum faible (local ou global).
Considérons le cas le plus simple où l’instant final ft est fixé et où la variété
cible est soit réduite à un point (état final fixé), soit égale à nft ℜ× (état final
libre). On montre sans trop de difficultés que l’ensemble des fonctions ( )ICx nb1∈
telles que les relations [1.2], [1.4] sont satisfaites et [ ] ,t,tt f0∈∀ ( )tx& appartient Ã
l’ouvert U, est un sous-ensemble ouvert de ( )IC nb1 ([SCHW 92], théorème 3.11.1).
Par conséquent, la condition nécessaire du premier ordre de minimum local faible est l’égalité d’Euler classique
( ) 0=*xJd [1.8]
où ( )*xJd est la différentielle de J au point *x (il s’agit d’un élément du dual
( )'IC nb1 ). Cette égalité conduit à la « condition d’Euler-Lagrange ». La condition nécessaire du second ordre de minimum local faible s’écrit ( ) 02 ≥*xJd [1.9]
ce qui signifie que la différentielle seconde de J au point *x est une forme bilinéaire continue symétrique semi-définie positive. Cette inégalité conduit à la « condition faible de Legendre » et à la « condition faible de Jacobi ».
1.1.3.3. Variations fortes
La notion de variation forte, due à Weierstrass, a été la source d’un grand
progrès du Calcul des variations. Soit ( )IKC nb1 l’espace vectoriel des fonctions de I
dans nℜ , continûment dérivables par morceaux et bornées. Il s’agit des fonctions x continues et bornées sur I pour lesquelles il existe une suite strictement croissante ( )kτ de points de I, n’admettant pas de point d’accumulation, et tels x est
20 Commande optimale
continûment dérivable sur tout intervalle ouvert ] [1+kk ,ττ , la dérivée x& admettant une limite finie à droite en kτ et à gauche en 1+kτ . Cet espace est muni de la norme
( )txsupx
It∈=0 . [1.10]
Le critère J est maintenant considéré en tant que fonction de ( )IKC nb1 dans ℜ .
Une variation forte est un accroissement xδ dans ( )IKC nb1 . Une telle variation est
« petite » si la norme 0xδ est petite, autrement dit si son amplitude ( )txδ est petite à chaque instant, aucune condition ne portant cette fois sur l’amplitude de sa dérivée. Si, avec ( )ICx n
b1*∈ , ( )*xJ est un minimum fort (local, resp. global) de J, a fortiori ( )*xJ est un minimum faible (local, resp. global) de J. La réciproque n’est pas vraie : une condition nécessaire supplémentaire pour qu’un minimum local faible de J soit fort est la « condition de Weierstrass », qui exprime que la « fonction de Weierstrass » doit être maximale (voir §1.5.1). Le Principe du maximum, dit « de Pontriaguine », est une généralisation de cette condition.
1.1.4. Commande optimale discrète
Le Principe du maximum concerne l’optimisation des systèmes à temps continu. La mise en œuvre de lois de commande par calculateur a rendu nécessaire le développement d’une théorie correspondante pour les processus à temps discret, régis par des équations récurrentes de la forme
( )kkkk u,xFx =+1 [1.11]
où à tout « instant discret » k, nkx ℜ∈ , et ku appartient à un sous-ensemble kU
de mℜ . Dans le cas d’un système à temps continu commandé numériquement, [1.11] est
généralement obtenu à partir de [1.1] en faisant une approximation. Considérons l’approximation la plus simple : celle d’Euler. Soit T la période d’échantillonnage, et posons (avec un léger abus de notation) ( )kTxxk = et ( )kTuuk = . Alors, l’équation différentielle [1.1] a pour approximation l’équation récurrente [1.11] avec
( ) ( )kkkkkk uxkTfTxuxF ,,, += . [1.12] Si le système est linéaire et invariant, à savoir ( ) ( ) ( )utBxtAuxtf +=,, [1.13]
où les matrices ( )tA et ( )tB sont constantes par rapport à t, et si l’on suppose le bloqueur d’ordre zéro, on obtient [1.11] sans approximation, avec
Principe du maximum 21
( ) kkkkkkk uxuxF BA +=, [1.14] où les matrices kA et kB sont constantes par rapport à k et données par
TAk e=A et BdeT A
k ττ∫= 0B .2 Il peut arriver aussi que [1.11] soit l’équation
récurrente régissant le comportement d’un système intrinsèquement à temps discret. Soit i et N ( )Ni < l’instant initial et l’instant final respectivement, qui tous deux
sont supposés fixés. La variété cible est cette fois une sous-variété fV de nℜ et la
mission M assignée à la commande consiste à transférer l’état x du point initial ix , supposé connu, à un point quelconque de fV atteint à l’instant N. L’ensemble des
commandes efficaces est l’ensemble U des suites finies 1−≤≤= Nkikuu , 1°) telles que pour tout instant 1−∈ N...,,ik , kk Uu ∈ , et 2°) réalisant la mission M. Cet ensemble U est supposé non vide.
Le critère considéré est de la forme
( ) ( )kkN
ikkNN uxLxKJ ,
1∑+=−
=. [1.15]
Le critère [1.15] peut être vu comme une approximation du critère [1.5]. Si l’on utilise la méthode des rectangles, on obtient [1.15] à partir de [1.5] en posant
Tit =0 , TNt f = , ( ) ( )kkkkk uxLT
uxkTl ,1,, = . [1.16]
Nous appellerons problème discret de Pontriaguine celui qui consiste à déterminer, si elle existe, une commande u* minimisant, sur l’ensemble U des commandes efficaces, le critère J défini par [1.15]. Ce problème est plus simple que le « problème continu de Pontriaguine » envisagé au §1.1.2. En effet, le premier est un problème de minimisation dans un espace de dimension finie, tandis que le second se réfère à un espace de dimension infinie (l’espace des fonctions continues par morceaux de I dans mℜ ). Une autre différence importante est que la notion de « variation forte » n’a aucun sens pour le problème discret, pour lequel il n’y a donc pas de Principe du maximum possible, à moins de faire les hypothèses de convexité appropriées (voir §1.3.2.2, rem. 1.4 ; exercice 1.4) ou d’autres hypothèses du même type [NEUS 76]. Une solution au problème discret de Pontriaguine, dans sa formulation générale, a été proposée dans [BOLT 73] ; cette solution est la conséquence directe des théorèmes fondamentaux de F. John [JOHN 48] et de Karush, Kuhn et Tucker [KARU 39], [KUHN 51] (voir section 1.3).
2 Dans la majeure partie de cet ouvrage, les matrices sont notées par des lettres majuscules en italiques ; exceptionnellement, les matrices du système à temps discret [1.11], [1.14] sont désignées par des lettres majuscules en caractères gras pour éviter toute confusion avec celles du système à temps continu [1.1], [1.13].
22 Commande optimale
1.1.5. Esprit de ce chapitre
La synthèse proposée dans ce chapitre a notamment pour objet de faire ressortir la solidarité qui existe entre la théorie classique de l’optimisation (section 1.2), la théorie de la commande optimale discrète (section 1.3), le Principe du maximum complété par la théorie de la « seconde variation » (section 1.4), et le Calcul des variations (section 1.5). Quelques exercices sont proposés dans la section 1.6.
Le Principe du maximum est obtenu comme suit dans la section 1.4 : la théorie de la commande optimale discrète est appliquée à une approximation discrète (aux différences finies) du problème continu de Pontriaguine, avec un pas de discrétisation tendant vers zéro (cette méthode est très semblable à celle qu’avait utilisée Euler pour obtenir sa fameuse égalité, dite « d’Euler-Lagrange » [GOLD 80]). Il convient alors de passer des « variations faibles » aux « variations fortes » : c’est justement ce passage qui permet d’établir le Principe du maximum ; nous n’en donnons une démonstration que dans le cas le plus simple d’un instant final fixé et d’un état final libre, ce qui permet tout de même de comprendre l’apport des variations fortes. Le Principe du maximum est admis dans le cas où l’instant final est fixé et où l’état final est soumis à des contraintes. L’extension au cas général où l’instant et l’état finals sont sujets à une contrainte globale est ensuite effectuée.
Pour les problèmes sous contrainte d’état, la méthode des différences finies n’est plus applicable ; la dimension infinie et la théorie de la mesure ne peuvent être évitées. Le lecteur intéressé pourra à ce sujet consulter la littérature, et notamment [BOURL 04], qui est dans le même esprit que ce chapitre et le prolonge.
1.2. Eléments de la théorie de l’optimisation
Dans cette section figurent des préliminaires mathématiques, donnés sans
démonstration, et des éléments de la théorie générale de l’optimisation. Les résultats sont énoncés pour des espaces vectoriels de dimension finie, mais s’étendent sans difficulté au cas où il s’agit d’espaces de Banach ; on peut également donner un sens à une contrainte de type inégalité ( ) 0≤ug en considérant comme ensemble d’arrivée de g un espace vectoriel normé ordonné [BOUR 81], c’est-à -dire muni d’un « cône positif » [LUEN 69].
1.2.1. Convexité et cônes
Soit E = nℜ , où l’on suppose choisie la base canonique, permettant d’identifier
un vecteur ( )nx,...,xx 1= avec la matrice colonne [ ]Tnxx L1 . La base duale de cette base canonique est choisie dans le dual 'E , permettant d’identifier une forme
linéaire 'y avec un « vecteur ligne » [ ]nyy L1 . Une application linéaire est également identifiée avec sa matrice par rapport aux bases canoniques.
Principe du maximum 23
1.2.1.1. Convexité Ensemble convexe
Soit x et y deux points de E. On appelle segment fermé d’extrémités x et y le sous-ensemble [ ]y,x de E formé des points de la forme ( ) yx λλ −+ 1 , où le réel λ décrit l’intervalle [ ]10, . Un sous-ensemble A de E est dit convexe, si pour tous points x et y de A, le segment [ ]y,x est inclus dans A.
L’adhérence d’un ensemble convexe est convexe, de même que son intérieur s’il est non vide.
Enveloppe convexe
Toute intersection d’ensembles convexes est convexe. Par conséquent, si B est un sous-ensemble non vide de E, l’intersection A de tous les sous-ensembles convexes de E contenant B est un ensemble convexe ; A est le plus petit ensemble convexe contenant B, et est appelé l’enveloppe convexe de B. Il est noté ( )Bco . Cet ensemble est constitué des éléments de la forme ∑
∈Iiii xλ où Bxi ∈ , 0≥iλ ,
0=iλ sauf pour un nombre fini d’indices et ∑ =∈Ii
i 1λ .
Fonctions convexes
Soit A un sous-ensemble convexe de E et ℜ→A:J une fonction. Elle est dite convexe si pour Az ∈1 , Az ∈2 , 10 ≤≤ λ , on a
( )( ) ( ) ( ) ( )2121 11 zJzJzzJ λλλλ −+≤−+ . [1.17] Cette fonction est dite strictement convexe si l’inégalité [1.17] est stricte lorsque
21 zz ≠et ] [10,∈λ . Si J est une fonction de deux variables x et u , posons ( )x,uz = . Nous dirons
que J est convexe, strictement par rapport à u , si l’inégalité [1.17] devient stricte lorsque 21 uu ≠et ] [10,∈λ (avec ( )111 , xuz = et ( )222 , xuz = ).
Soit A un ouvert de E et B une partie convexe de A. Soit enfin ℜ→A:J une fonction différentiable. Il est bien connu que J est convexe sur B si, et seulement si son graphe est au-dessus de sa tangente en tout point de B, c’est-à -dire si pour tout
Bz ∈ et tout Eh ∈ tel que Bhz ∈+ , ( ) ( ) ( )hzdJzJhzJ .+≥+ . [1.18] Cette fonction est strictement convexe sur B si, et seulement si l’inégalité [1.18]
devient stricte pour 0≠h [CIAR 90]. On montre de même, avec ( )x,uz = et
24 Commande optimale
( )x,uh δδ= , que la fonction J est convexe, strictement par rapport à u sur B , si et seulement si l’inégalité [1.18] devient stricte pour 0≠uδ . Séparation des ensembles convexes
Soit 'x un élément du dual E’. L’ensemble des points y de E tels que δ=y,'x , où ℜ∈δ , est un hyperplan H de E orthogonal à 'x . Cet hyperplan
détermine deux demi espaces fermés : l’ensemble +HE formé des y de E tels que
δ≥y,'x , et l’ensemble −HE formé des y de E tels que δ≤y,'x .
Soit maintenant A et B deux sous-ensembles non vides de E. On dit que A et B sont séparés par l’hyperplan H, si A est inclus dans +
HE et B est inclus dans −HE
(ou l’inverse). Le résultat ci-dessous est fondamental [BOUR 81]. Proposition 1.1 (Théorème de Hahn-Banach) Soit A un ensemble convexe d’intérieur non vide et B un ensemble convexe ne
rencontrant pas l’intérieur de A. Alors il existe un hyperplan H séparant A et B.
1.2.1.2. Cônes Définition 1.1.
Un sous-ensemble C de E est appelé un cône de sommet 0 si pour tout x de C et tout réel λ > 0, λ x appartient à C. Un cône de sommet z (z ∈ E) est un ensemble noté z + C , où C est un cône de sommet 0 ; il s’agit de l’ensemble des vecteurs de la forme z + x, où x décrit C. Un cône dont on ne précise pas le sommet sera implicitement supposé de sommet 0.
Un cône C est dit pointé si C∈0 ; un cône pointé est saillant s’il ne contient
aucune droite passant par 0. Il est immédiat que si C est un cône, son adhérence C est également un cône.
Cône pointé engendré par une famille de vecteurs
Si ( ) Iiiv ∈ est une famille de vecteurs de E, l'ensemble des éléments de la forme
iIi
i v∑∈
λ où les λi sont des réels ≥ 0, nuls sauf pour un nombre fini d’entre eux, est
un cône pointé convexe, appelé le cône pointé (convexe) engendré par la famille
( ) Iiiv ∈ . Il est égal à ( )
Γ
∈U
Iiivco , où ( )ivΓ désigne le cône pointé engendré par le
seul vecteur iv (ce dernier cône est fermé).
Principe du maximum 25
Relation d’ordre dans E L’ensemble +E des éléments x de E dont les composantes ix , ni ≤≤1 , sont
toutes 0≥ , est un cône convexe pointé saillant. Soit +oE son intérieur. On définit
dans E la relation d’ordre (resp. d’ordre strict) : yx ≥ (resp. yx > ) si, et seulement
si +∈− Eyx (resp. +∈−oEyx ). (Plus généralement, si +E est un cône convexe
pointé saillant d’intérieur non vide d’un espace vectoriel normé E , on peut définir une relation d’ordre dans E comme ci-dessus [BOUR 81], chap. II, §2, n°5.)
Polaire
Soit C un cône de E. Le sous-ensemble 0C des formes linéaires 'E'y ∈ telles que 0≥∈∀ x,'y,Cx est un cône fermé convexe, appelé le polaire de C [BOUR 81].
Si C est un sous-espace vectoriel de E, 0C n’est autre que l’orthogonal ⊥C , c’est-à -dire l’ensemble des formes linéaires 'E'y ∈ telles que 0=∈∀ x,'y,Cx . Il
est clair que pour tout cône C, 00 CC = . De plus, on montre les deux propriétés suivantes ([BOUR 81], chap. II, §6, n°3) :
(i) Si C est un cône fermé convexe, alors CC =00 , où 00C est le « bipolaire » de C, c’est-à -dire le polaire de 0C .
(ii) Soit ( ) IiiC ∈ une famille de cônes fermés convexes ; alors
∈
0i
IiCcco U =
0
∈i
IiCI , [1.19]
où cco désigne l’enveloppe fermée convexe (c’est-à -dire l’adhérence de co ).
Le dual 'E de E est ordonné dans ce qui suit par le polaire de +E .
Proposition 1.2 (Lemme de Farkas-Minkowski) Soit ( )mi'x i ≤≤1 et 'b des éléments du dual E’, et ( )i'xΓ et ( )'bΓ les cônes
pointés de E’ engendrés par ces éléments. Les deux propositions suivantes sont
équivalentes : (i) ( ) ( )00
1'' bx i
m
iΓ⊂Γ
=I ; (ii) ( )
Γ∈
=Um
iixcob
1'' .
Démonstration. Il suffit d’appliquer [1.19] avec ( )ii xC 'Γ= , mI ...,,1= , et d’utiliser la propriété du bipolaire.
26 Commande optimale
Cônes tangents et normaux Soit U un sous-ensemble non vide de E, et u* un point de U. Un vecteur Eh ∈ est appelé un vecteur tangent à U au point u* s’il existe une fonction γ ,
définie et continue sur un intervalle [ [ε,0 , 0>ε , à valeurs dans U, dérivable Ã
droite en 0, et telle que ( ) *0 u=γ et ( ) h=+0γ& (γ s’appelle un arc d’origine u* tracé sur U).
Proposition 1.3. L’ensemble ( )Uu*Φ des vecteurs tangents à U au point u* est
un cône pointé (appelé le contingent vectoriel de U au point u* [PALL 66]). Démonstration. Soit ∈h ( )Uu*Φ et λ > 0. Il existe un réel 0>ε et un arc
[ [ U,: →εγ 0 tels que ( ) *0 u=γ et ( ) h=+0γ& . Soit ( ) ( )tt λγφ = , [ [λε /,t 0∈ . Alors
[ [ U/,: →λεφ 0 est telle que ( ) *0 u=φ et ( ) hλφ =+0& , donc ∈hλ ( )Uu*Φ . De plus, ( )Uu*Φ contient 0. QED .
Définition 1.2. L’adhérence ( )UTu* de ( )Uu*Φ est appelée le cône tangent à U
au point u*. L’opposé ( )UTu0*− du polaire de ( )UTu* (formé des éléments 'x− ,
( )UTx u0*'∈ ) est appelé le cône normal à U au point *u , et est noté ( )UNu* .
Il existe différentes manières de définir un cône tangent ; nous avons choisi la
plus simple ; le « cône tangent de Bouligand », [SUSS 98], [CIAR 90] est une notion un peu plus générale. Notons que :
- Si u* est un point isolé de U, alors ( )UTu* = 0 , donc ( ) '* EUNu = . - Si u* est un point intérieur à U, alors ( )UTu* = E, donc ( ) 0* =UNu . - Si U est une sous-variété de E, alors ( )UTu* = ( )Uu*Φ est l’espace tangent
à U au point u.
Proposition 1.4. Si U est un ensemble convexe, alors ( )UTu* est un cône fermé convexe et ( )UTuU u**+⊂ .
Démonstration. Si u est un point de U, γ(t) = u* + t (u – u*) appartient à U
pour tout t dans [0, 1[, puisque U est convexe ; de plus, )( +0γ& = *uu − , donc *uu − appartient à ( )Uu*Φ , par conséquent u appartient à ( )UTu u**+ . D'autre
part, si 1h et 2h appartiennent à ( )Uu*Φ , il existe des arcs 1γ et 2γ , tracés sur U et
d’origine u*, tels que )0(11+= γ&h et )0(22
+= γ&h ; puisque U est convexe, pour tout λ appartenant à ] [10, et tout t appartenant à un intervalle suffisamment petit
Principe du maximum 27
[ [ε,0 , ( ) ( ) ( )tt 21 1 γλγλ −+ appartient à U, et il s'ensuit que λ )( +01γ&
+ ( ) )0(1 2+− γλ & appartient à ( )Uu*Φ . Par conséquent, ( )Uu*Φ est un cône
convexe, et il en va donc de même de son adhérence ( )UTu* . QED.
1.2.1.3. Coupole
La notion de coupole [BOLT 73] est proche de celle de cône tangent, avec une différence dans des cas « irréguliers ».
Soit Ω un ouvert non vide de E, et ( )mig i ≤≤1 des fonctions différentiables de Ω dans ℜ . Considérons le sous-ensemble U de Ω formé des points u tels que
( ) miug i ≤≤≤ 1,0 , et supposons U non vide. Soit u* un point de U et ( )*uI le sous-ensemble de m,...,1 (éventuellement vide) formé des « indices » i tels que
( ) 0* =ug i . L’inégalité ( ) 0≤ug i s’interprète comme une contrainte, et ( )*uI indique les contraintes qui sont « actives » au point u*.
La coupole ( )UCu* de U au point u* est l’ensemble des vecteurs Eh ∈ tels que ( ) ( )*,0.* uIihugd i ∈∀≤ . [1.20]
En d’autres termes, en posant ( )*' ugd ii −=∇ et en notant ( )'
i∇Γ le cône
engendré (dans 'E ) par 'i∇ , on a (d’après [1.19])
( )UCu* = ( )( )
0
*
'I
uIii
∈∇Γ = ( )
( )
0
*
'
∇Γ
∈U
uIiico . [1.21]
Coupole à une variété
Soit V une sous-variété de E, de dimension qn − , et *u un point de V. On sait
qu’il existe un voisinage ouvert Ω de *u dans E et une submersion q:f ℜ→Ω (c’est-à -dire une fonction continûment différentiable f telle que ( ) qufdrang =* ) tels que VIΩ est l’ensemble des points Ω∈u vérifiant :
( ) 0=uf . [1.22]
L’égalité [1.22] équivaut aux q2 inégalités ( ) qiuf i ≤≤≤ 1,0 et
( ) qiuf i ≤≤≤− 1,0 . Par conséquent, en posant ( )*' ufd ii −=∇ , il vient
( ) ( ) ( )
∇−Γ∇Γ=
=II
0'0'
1* ii
q
iu VC , soit encore
28 Commande optimale
( ) ( )*Ker* udfVCu = . [1.23] Or, on sait que, du fait que V est une variété, ( ) ( )VTudf u**Ker = . [1.24]
Par conséquent, ( ) ( )VTVC uu ** = . Exemples de différence entre cône tangent et coupole
1) Soit g la fonction de 2ℜ dans 2ℜ définie par : ( ) ( )3121 uuug −= et
( ) ( )
+−=
3122 uuug . Enfin, soit U l’ensemble défini par ( ) 2,1,0 =≤ iug i (voir
figure 1.1). On a ( ) ( )1001
=∂
∂ug
et ( ) ( )1002
−=∂
∂u
g ; par conséquent, d’après
[1.20], ( )UC0 est la droite 02 =h tandis que ( )UT0 est la demi-droite
00 21 =≥ h,h . On a ( ) ( )UCUT 00 ≠⊂ (voir, ci-dessous, le corollaire 1.1, §1.2.2.1).
Figure 1.1. Ensemble U
2) Soit f la fonction de 3ℜ dans ℜ définie par : ( ) ( ) ( )2221221 ,, uuuuuf +=
et soit ( ) 03 =ℜ∈= uf:uV . D’après [1.23], la coupole à V au point 0* =u est :
-3 -2 -1 0 1 2 3-30
-20
-10
0
10
20
30
u1
u2
U
g1g2
Principe du maximum 29
( ) 30 ℜ=VC . La fonction f n’est pas une submersion au voisinage de 0* =u , donc V
n’est pas une variété au voisinage de ce point et l’égalité [1.24] ne s’applique pas. D’après la définition donnée plus haut, ( ) ( )VVT 00 Φ= est la droite
ℜ∈== 321 00 h,h,h . Donc, ( ) ( )VCVT 00 ≠⊂ .
1.2.2. Conditions d’optimalité du premier ordre
Les conditions nécessaires de minimum local d’une fonction différentiable J sur un ouvert U sont [1.8] pour le premier ordre et [1.9] pour le second ordre. Voyons ce que devient [1.8] lorsque U n’est plus nécessairement un ensemble ouvert.
1.2.2.1. Condition d’Euler
Le théorème suivant est simple mais fondamental. Théorème 1.1. Soit U ⊂ Ω un ensemble non vide, où Ω est un ouvert de E, et
soit J : Ω → ℜ une fonction différentiable. Pour que J admette un minimum local au point u* sur l'ensemble U (autrement dit, pour que la restriction de J à U admette un minimum local au point u*), la condition d'Euler est nécessaire :
( ) ( )UNudJ u**0 +∈ . [1.25] Démonstration. Soit ∈h ( )Uu*Φ ; il existe un arc γ : [ [ε,0 → U tel que
( ) *0 u=γ et h = )( +0γ& . Si la restriction de J à U admet un minimum local au point u*, il existe un réel η , εη ≤<0 , tel que ( )( ) ( )*uJtJ ≥γ , ∀ t ∈ ] [η,0 . Par
conséquent, ( ) =hudJ .*( )( ) ( )
00
≥−
+→ tuJtJlim
t
γ . En d’autres termes,
( ) ( )0** UudJ uΦ∈ ( )0
* UTu= . QED. Corollaire 1.1. Soit U un ensemble admettant au point u* une coupole ( )UCu*
et un cône tangent ( )UTu* non vides. On a ( ) ( )UCUT uu ** ⊂ . Démonstration. Si ( )*uIi ∈ , la fonction ig− du §1.2.1.3 admet un minimum
local sur U au point u*. Donc, si ( )UTh u*∈ , on a ( ) ( )*,0.* uIihudg i ∈∀≥−
d’après le théorème 1.1, d’où ( )UCh u*∈ d’après [1.20]. QED.
30 Commande optimale
Corollaire 1.2. Avec les hypothèses du théorème 1.1, pour que J admette un minimum local en un point u* intérieur à U, il est nécessaire qu’on ait l’égalité d’Euler ( ) 0* =udJ (identique à [1.8]).
Démonstration. Dans ce cas, ( ) 0* =UNu . QED. Théorème 1.2. Soit Ω, U, et J comme au théorème 1.1. Si U et J sont convexes,
la condition d’Euler [1.25] est nécessaire et suffisante pour que J admette un minimum global au point u* sur U. Ce minimum est strict (c’est-à -dire atteint en un seul point) si, de plus, J est strictement convexe, ou plus généralement si J , fonction d’un couple ( )xuz ,= , est convexe, strictement par rapport à u sur U , cet ensemble étant tel que : ( ) Uxu ∈11, , ( ) Uxu ∈22 , , ( ) ( )2211 ,, xuxu ≠⇒ 21 uu ≠.
Démonstration. Montrons que la condition d’Euler, dont on sait qu’elle est
nécessaire, est suffisante. Soit Uu ∈ , *uu ≠, *uuh −= et ] [10,∈λ . Puisque U est convexe, Uh*u ∈+λ , et puisque J est convexe sur U, l’inégalité [1.17] est
vérifiée avec uz =1 et *uz =2 , donc ( ) ( ) ( ) ( )λ
λ *uJh*uJ*uJuJ
−+≥− (cette
inégalité étant stricte dans le cas strictement convexe) ; d’où, en faisant tendre λ vers +0 , ( ) ( ) ( )hudJuJuJ .** ≥− . Si [1.25] est vérifiée, on a ( ) 0.* ≥hudJ car
( )UTh u*∈ d’après la proposition 1.4 (§1.2.1.2), et donc ( ) ( )*uJuJ ≥ , cette inégalité étant stricte si l’hypothèse de convexité stricte énoncée est satisfaite. QED.
1.2.2.2. Minimum sous contrainte égalité
Nous nous proposons maintenant de déterminer une condition nécessaire pour qu’une fonction différentiable J admette un minimum local en un point *u sur une variété V, de dimension qn − , définie par une égalité telle que [1.22], où
q:f ℜ→Ω est une submersion ( Ω désignant un voisinage ouvert de *u dans E). Pour s’exprimer de manière analytique et non plus géométrique, on cherche donc une condition nécessaire pour que J admette un minimum local au point *u sous la contrainte égalité [1.22].
Soit la fonction ℜ→ℜ×Ω ×q1:L , appelée le Lagrangien, et définie par
( ) ( ) ( )ufuJu TT µµ +=,L [1.26]
où qT ×ℜ∈ 1µ est appelé le « multiplicateur de Lagrange ».
Principe du maximum 31
Théorème 1.3. Pour que la fonction J admette un minimum local au point u* sur la variété V, il est nécessaire qu’il existe un multiplicateur de Lagrange *Tµ (alors unique) tel que la différentielle partielle de L par rapport à u vérifie
( ) 0*, * =∂∂ Tu
uµ
L [1.27]
Démonstration. Par définition du noyau et compte tenu de [1.24],
( ) ( ) qiufdvectVT iu ≤≤=⊥ 1,*
* , [1.28] où « vect » signifie « sous-espace vectoriel engendré par ». D’après le théorème 1.1 (§1.2.2.1), il est nécessaire que ( ) ( )⊥∈ VTudJ u** . Il existe donc des réels
q*,...,* µµ 1 tels que ( ) ( )*
1
** ufduJd iq
i
i∑==
µ , ce qui prouve [1.27]. Ces i*µ sont
déterminés de manière unique puisque f est une submersion. QED
Remarque 1.1. Le fait que f soit une submersion au voisinage de u* est
essentiel pour l’existence d’un *Tµ tel que l’on ait [1.27] (et non pas seulement pour son unicité), car si cette condition n’est pas satisfaite, l’égalité [1.28] cesse d’être vérifiée en général (voir au §1.2.1.3 le second exemple de différence entre cône tangent et coupole). Cela étant, la condition d’Euler [1.25] est toujours applicable.
Remarque 1.2. Soit u un point quelconque de V, [ [ V→εγ ,0: un arc tel que
( ) u=0γ et soit ( ) ( )VTh u∈= +0γ& . On a : pour tout [ [ε,0∈t , ( ) ( )tohtut ++=γ et
pour tout qT ×ℜ∈ 1µ , ( ) ( )( )( )TttJ µγγ ,L= ; par conséquent,
( )( ) ( ) ( ) ( )tohuu
tuJtJ T +∂∂
=− ., µγ L , où ( )to désigne une fonction négligeable
devant t , c’est-à -dire telle que ( ) 0lim0,0
=≠→ t
tott
. On appelle « première variation de
J au point u » la quantité : ( ) ( )( ) ( )t
uJtJhuJt
−=
+→
γδ lim;
0. Il vient donc :
( ) ( ) huu
huJ T .,; µδ∂∂
=L . [1.29]
32 Commande optimale
1.2.2.3. Minimum sous contraintes de types inégalité et égalité : formulation large (ou « de Fritz John »)
Dans un problème de minimisation sous contraintes de type inégalité ( ) ( )miug i ≤≤≤ 10 , on est de nouveau amené à former un Lagrangien, avec
toutefois une contrainte de signe sur les multiplicateurs de Lagrange ( )mii ≤≤1λ
associés à ces contraintes, à savoir 0≥iλ . La formulation proposée ici est large car, dans ce Lagrangien L~ , la fonction à minimiser J est elle-même multipliée par un nombre 1,00 ∈λ , nul dans les « cas dégénérés ». Au paragraphe suivant, où est utilisée une démarche différente, des hypothèses supplémentaires sont prises pour interdire ces cas dégénérés, ce qui impose 10 =λ . Le Lagrangien prend alors une forme semblable à la fonction L de [1.26] : c’est ce que nous appellerons la formulation stricte. Sous les hypothèses de convexité appropriées, la formulation stricte conduit à une condition nécessaire et suffisante de minimum global, ce qui n’est pas le cas avec la formulation large.
Cas de contraintes de type inégalité
Soit Ω un ouvert non vide de E, ℜ→Ω:J une fonction différentiable et U le sous-ensemble de Ω défini par
( ) miuguU i ,...,1,0: =≤Ω∈= [1.30]
où les fonctions ℜ→Ω:g i sont continûment différentiables.
Théorème 1.4. Pour que J admette un minimum local au point u* sur U, il est nécessaire qu’il existe un élément ( ) mT ×ℜ×∈= 1**0* 1,0,~
λλλ , appelé « multiplicateur de Lagrange », et vérifiant les propriétés suivantes :
(i) 0≠*~λ et 0* ≥Tλ ; (ii) ( ) 0** =ugTλ (c’est-à -dire 0=*iλ si ( ) 0* <ug i , ou encore si ( )*uIi ∉ avec la notation du §1.2.1.3) ;
(iii) ( ) 0,*, **0~
=∂∂ Tu
uλλ
L [1.31]
où L~ : ℜ→ℜ××Ω ×m11,0 est le Lagrangien défini par :
( ) ( ) ( )uguJu TT λλλλ += 00 ,,~L . Démonstration. Considérons les deux sous-ensembles suivants de m+ℜ1 :
( ) 0000 ≤≤= λλλλ ,,,A ,
Principe du maximum 33
( ) ( ) ( ) ( ) hudgughuJdEhB .**,.*:,, 00 +≥≥∈∃= λλλλ . 1) Il est immédiat que ces deux ensembles sont convexes et qu’ils ont en
commun l’origine de m+ℜ1 . 2) De plus, B ne rencontre pas l’intérieur de A. En effet, si l’intersection de B et
de l’intérieur de A est non vide, il existe Eh ∈ tel que ( ) 0.* <huJd et ( ) ( ) 0.** <+ hudgug . Soit alors ] [10,∈α ; il vient : ( ) ( ) ( ) ( ) ( ) ( ) ( )[ ] ( ) ( )*1.**.*** ughudgughudgughug ααεααεααα −+++=++=+
où ( )αε est un terme tendant vers 0 quand α tend vers 0. On a ( ) 0* ≤ug , par conséquent ( ) 0* <+ hug α pour α suffisamment petit, et ceci entraîne
( ) Uhug ∈+α* . Le même raisonnement montre que pour α suffisamment petit, ( ) ( )** uJhuJ <+α . Mais ceci entraîne que J n’admet pas un minimum local au
point u* sur U. 3) D’après le théorème de Hahn-Banach (proposition 1.1, §1.2.1.1), il existe un
hyperplan séparant A et B, donc un vecteur non nul ( ) ( )mTT +×ℜ∈= 11**0* ,~λλλ et
un réel δ tels que δλλ ≤~~ *T pour tout λ~ dans A et δλλ ≥
~~ T* pour tout λ~ dans B. Puisque A et B ont pour point commun l’origine, on a nécessairement 0=δ . D’après la définition de l’ensemble A, on a 0~ * ≥Tλ , et (i) est démontré. D’autre part,
( ) ( ) ( )( ) BhudgughudJEh ∈+∈∀ .**,.*,
par conséquent ( ) ( ) ( )[ ] 0.**.* **0 ≥++ hudgughudJ Tλλ ; on peut changer h en h− , donc cette inégalité est en fait une égalité. En faisant 0=h , on obtient
( ) 0** =ugTλ , ce qui montre (ii). Donc, ( ) ( ) 0.*.* **0 =+ hudghudJ Tλλ pour tout
Eh ∈ ; ceci entraîne ( ) ( ) 0** **0 =+ udgudJ Tλλ qui équivaut à (iii).
4) Si 0*0 >λ , on peut sans perte de généralité diviser *~Tλ par *0λ , ce qui revient à imposer 1*0 =λ . QED. Cas de contraintes de types inégalité et égalité
Un « problème mixte », où l’on a à la fois des contraintes de type égalité ( ) 0=uf i et des contraintes de type inégalité ( ) 0≤ug i , se ramène à la formulation
unitaire où toutes les contraintes sont de type inégalité en procédant comme on l’a fait pour obtenir [1.23]. En groupant dans le Lagrangien les termes ( )uf i et
( )uf i− , le multiplicateur de Lagrange iµ associé à la contrainte égalité ( ) 0=uf i devient alors de signe quelconque. On obtient le théorème suivant, qui généralise le théorème 1.4 :
34 Commande optimale
Théorème 1.5 (Fritz John). Soit Ω un ouvert de E, et J, g et f des fonctions continûment différentiables sur Ω et à valeurs dans ℜ , mℜ et qℜ respectivement, f étant une submersion. Soit d’autre part V une variété telle que
ΩIV soit l’ensemble des points Ω∈u vérifiant l’égalité [1.22], et U l’ensemble défini par [1.30] (l’absence de contrainte égalité correspond au cas 0=q ). Soit enfin UVW I= et u* un point de W. Pour que J admette un minimum local au point u* sur W, il est nécessaire qu’il existe des éléments
( ) mTT ×ℜ×∈= 1**0* 1,0,~λλλ et qT ×ℜ∈ 1*µ , appelés « multiplicateurs de
Lagrange », tels que : (i) Les propriétés (i) et (ii) du théorème 1.4 sont satisfaites ;
(ii) ( ) 0,,*, ***0~
=∂∂ TTu
uµλλ
L [1.32]
où L~ : ℜ→ℜ×ℜ××Ω ×× qm 111,0 est le Lagrangien défini par :
( ) ( ) ( ) ( )ufuguJu TTTT µλλµλλ ++= 00 ,,,~L . [1.33] Démonstration. Il reste à montrer que 0~ * ≠Tλ . Au lieu de procéder comme en
[1.23], la démonstration consiste à « éliminer » la contrainte égalité en utilisant le théorème des fonctions implicites : quitte à renuméroter les composantes de u , [1.22] revient à écrire au voisinage de *u : ( )21, uuu = et ( )12 uu ϕ= , où ϕ est la
fonction implicite, telle que ( ) ( ) ( )*
1
1*
2
*1 u
uf
uuf
ud∂∂
∂∂
−=−
ϕ . Il s’agit alors de
minimiser ( ) ( )( )111 , uuJuK ϕ= sous la contrainte ( ) 01 ≤uh , où ( ) ( )( )111 , uuguh ϕ= . D’après le théorème 1.4, il existe un vecteur
( ) mT ×ℜ×∈= 1**0* 1,0,~λλλ vérifiant les propriétés (i) et (ii) de ce théorème et tel
que ( ) ( ) 0*1
**1
*0 =+ uhduKd Tλλ . On montre facilement que cela implique [1.32] avec
( ) ( ) ( )1
*
2
*
2
**
2
*0*−
∂∂
∂∂
+∂∂
−= uuf
uug
uuJ TT λλµ . QED.
1.2.2.4. Minimum sous contraintes de types inégalité et égalité : formulation stricte
(ou « de Karush-Kuhn-Tucker ») Régularité
Nous considérons le même problème qu’au paragraphe précédent, à savoir la minimisation de J sur l’ensemble W défini dans l’énoncé du théorème 1.5. Cependant, la démarche suivie est cette fois différente. Nous allons dans un premier
Principe du maximum 35
temps déterminer une condition suffisante pour que le cône tangent ( )WTu* de
W en un point *u coïncide avec la coupole ( )WCu* ; puis nous appliquerons le Lemme de Farkas-Minkowski (proposition 1.2, §1.2.1.2). Soit de nouveau ( )*uI l’ensemble des indices défini comme au §1.2.1.3.
Proposition 1.5. Soit l’une des situations suivantes : 1) ( )*uI est vide, autrement dit toutes les contraintes inégalité sont
« inactives ». 2) Il existe un vecteur ( )VTw u*∈ tel que pour tout ( )*uIi ∈ , ( ) 0.* <wugd i
(« condition de Mangasarian-Fromovitz »3). 3) Il existe un vecteur ( )VTw u*∈ tel que pour tout ( )*uIi ∈ , ( ) 0.* ≤wugd i ;
de plus, la variété V et les fonctions ig , ( )*uIi ∈ , sont affines.
Alors, ( ) ( )WTWC uu ** = . Démonstration. Dans la situation 1), ( ) ( ) ( ) ( )WTVTVCWC uuuu **** === . Envisageons maintenant les situations 2) et 3), en supposant ( )*uI non vide. On
sait que ( ) ( )WCWT uu ** ⊂ d’après le corollaire 1.1 (§1.2.2.1) ; il reste donc Ã
montrer que ( ) ( )WTWC uu ** ⊂ . D’après [1.21],
( )WCu* = ( ) ( ) ( ) ( )UCVTUCVC uuuu **** II = . Soit ( )WCz u*∈ et posons
wn
zzn1
+= , où w est un vecteur de E tel que décrit dans l’énoncé et où n est un
entier 1≥ . On a évidemment ( )VTz un *∈ , par conséquent il existe un 0>ε et une fonction continûment dérivable [ [ E,:n →εω 0 tels que pour tout [ [ε,t 0∈ , le point
( ) ( )ttztut nnn ωγ ++= * appartient à V , avec ( ) 0lim0
=+→
tnt
ω ; de plus, cette
fonction nω est identiquement nulle si V est une variété affine. Montrons tout d’abord que si 0>ε est choisi suffisamment petit, le point ( )tnγ appartient à U pour tout [ [ε,t 0∈ .
(i) Si ( )*uIi ∉ , on a ( ) 0* <ug i , donc ( ) Utn ∈γ pour t suffisamment petit.
3 Si les fonctions ig sont convexes, il est facile de montrer que pour que la condition de Mangasarian-Fromovitz soit satisfaite, il suffit que soit satisfaite la condition de Slater : « W est d’intérieur non vide » (ce qui suppose qu’il n’y ait pas de contraintes égalité).
36 Commande optimale
(ii) Si ( )*uIi ∈ , on a ( )( ) ( ) ( )ttzugdttg nni
ni εγ += .* où ( ) 0lim
0=
+→tn
tε ; de
plus, cette fonction nε est identiquement nulle si la variété V et la fonction ig sont
toutes deux affines. On a donc ( )( ) ( ) ( )ttwugdnttg n
in
i εγ +≤ .* d’où ( )( ) 0≤tg ni γ
pour t suffisamment petit. Ainsi, ( )tnγ appartient à U (donc à W) pour tout [ [ε,t 0∈ si 0>ε est choisi
suffisamment petit, et ( ) *0 un =γ . D’autre part, ( ) ( ) ( )tttzt nnnn ωωγ && ++= , donc
( ) nn z=+0γ& . Ceci entraîne que ( )WTz un *∈ . Or, zznn
=+∞→
lim , donc ( )WTz u*∈
puisque le cône ( )WTu* est fermé. On a donc montré que ( ) ( )WTWC uu ** ⊂ . QED. Définition 1.3. Le point Wu ∈* est dit régulier (resp. strictement régulier) pour
l’ensemble W , si ( ) ( )WTWC uu ** = (resp. si les conditions 1) ou 2) de la proposition 1.5 sont satisfaites) [HEST 75].
Formulation stricte dans le cas de contraintes de types égalité et inégalité
Théorème 1.6 (Karush-Kuhn-Tucker). Soit le problème d’optimisation faisant l’objet du théorème 1.5 (§1.2.2.3). Pour que J admette un minimum local au point u* sur W, *u étant supposé régulier pour W , il est nécessaire qu’il existe des vecteurs mT ×ℜ∈ 1*λ et qT ×ℜ∈ 1*µ , appelés « multiplicateurs de Lagrange », tels que :
(i) 0* ≥Tλ , (ii) ( ) 0** =ugTλ , (iii) ( ) 0,*, ** =∂∂ TTu
uµλ
L,
où L : ℜ→ℜ×ℜ×Ω ×× qm 11 est le Lagrangien défini par : ( ) ( ) ( ) ( )ufuguJu TTTT µλµλ ++=,,L [1.34]
Démonstration. Compte tenu de l’hypothèse de régularité de *u , la condition
nécessaire d’Euler (théorème 1.1, §1.2.2.1) s’écrit ( ) ( )WChhuJd u*,0.* ∈∀≥ . Soit
( )*' uJdb = et ( ) ( )*,*' uIiugd ii ∈−=∇ . La condition ci-dessus s’écrit encore
( ) ( ) ( )0** 'bUCVT uu Γ⊂I ; ceci équivaut, d’après [1.21] et le Lemme de Farkas-
Minkowski (proposition 1.2, §1.2.1.2), à ( ) ( )( )
∇Γ∈
∈
⊥U U
*
'*'
uIiiu VTcob .
D’après [1.28], cette relation équivaut aux conditions énoncées. QED.
Principe du maximum 37
Le théorème ci-dessous découle immédiatement du théorème 1.2 (§1.2.2.1) : Théorème 1.7. Supposons que la fonction J et l’ensemble W du théorème 1.6
soient convexes (la seconde condition revenant à dire que la variété V est affine et que les fonctions ig sont convexes). Alors la condition nécessaire de minimum local donnée par le théorème 1.6 est également une condition suffisante de minimum global. Ce minimum est strict si J est strictement convexe, ou plus généralement si J , fonction d’un couple ( )x,uz = , est convexe, strictement par rapport à u sur W , l’ensemble W étant tel que :
( ) Wxu ∈11, , ( ) Wxu ∈22 , , ( ) ( )2211 ,, xuxu ≠⇒ 21 uu ≠.
1.2.3. Conditions d’optimalité du second ordre sous contrainte égalité
Théorème 1.8. Soit le problème d’optimisation faisant l’objet du théorème 1.3 (§1.2.2.2), où les fonctions J et f sont de classe 2C , et supposons satisfaite la condition nécessaire du premier ordre donnée par ce théorème. La « première variation » ( )huJ *;δ (rem. 1.2, §1.2.2.2) vérifie donc : ( ) ( )VThhuJ u*,0*; ∈∀=δ .
(i) Soit ( ) ( )VTh u*0 ∈= +γ& , où [ [ V→εγ ,0: est un arc tel que ( ) *0 u=γ .
Posons ( ) ( )hhh ,2 = et désignons par 2
2
u∂
∂ L désigne la différentielle partielle
seconde de L par rapport à u ; la limite ( ) ( )( ) ( )20
2 *lim*;α
αγδ
α
uJJhuJ −=
+→
(appelée « seconde variation » de J ) existe et :
( ) ( ) ( )2*2
22 .*,
21*; hu
uhuJ Tµδ
∂
∂=
L . [1.35]
(ii) L’inégalité
( ) ( ) 0.*, 2*2
2≥
∂
∂ huu
TµL (resp. > 0), ( ) 0* −∈∀ VTh u ,
est nécessaire (resp. suffisante) pour que J admette un minimum local (resp. local strict) au point *u sur V .
Démonstration. On a ( )( ) ( )( )*, TJ µαγαγ L= , pour tout [ [εα ,0∈ . De plus, ( ) ( )αααγ ohu ++= * . Compte tenu de [1.27], on en déduit (i) (en appliquant à la
fonction →α ( )( )*, TµαγL la formule de Taylor à l’ordre 2 avec reste de Young).
Si J admet un minimum local au point *u sur V , ( )huJ *;2δ est non négatif, ce
38 Commande optimale
qui montre la condition nécessaire de (ii). Réciproquement, si l’inégalité stricte de (ii) est satisfaite, ( )huJ *;2δ est positif (strictement) pour ( )VTh u*∈ non nul, ce qui montre la condition suffisante. QED.
Pour alléger les écritures, nous omettrons de marquer d’une étoile les multiplicateurs de Lagrange impliqués dans les théorèmes 1.5 à 1.8 dans tout le reste de ce chapitre.
1.3. Commande optimale discrète 1.3.1. Position du problème
Apportons tout d’abord des précisions supplémentaires concernant le « problème discret de Pontriaguine » posé au paragraphe 1.1.4. Chaque ensemble kU est supposé défini par l’inégalité : ( ) 0≤kk ug , [1.36]
où ( )krkkk ggg ,...,1= . Nous considérons ci-dessous dans chaque ensemble kU un
point *ku , en supposant *
ku strictement régulier pour kU (définition 1.3, §1.2.2.4).
D’autre part, soit qn − la dimension de la variété finale fV ; si *Nx est un point
de cette variété, il existe donc une submersion NG de rang q telle qu’au voisinage
de *Nx , fV est l’ensemble des points Nx vérifiant l’égalité
( ) 0=NN xG . [1.37] Les fonctions kF , kL , NK , kg et NG sont toutes supposées continûment
différentiables.
1.3.2. Deux formulations
1.3.2.1. Reformulation du problème dans le formalisme de F. John et de Karush, Kuhn et Tucker
La théorie de la commande optimale discrète est une conséquence directe des
théorèmes 1.5 (dans la formulation large du §1.2.2.3) et 1.6 (dans la formulation stricte du §1.2.2.4).
Considérons que les inconnues du problème sont les commandes 1, −≤≤ Nkiuk , ainsi que les états Nkixk ≤≤+1, . Ceci conduit à rassembler ces
inconnues dans le vecteur ( )x,uz = avec ( )Ni x...,,xx 1+= et ( )1−= Ni u...,uu . Dès lors, le critère J est une fonction de z .
Principe du maximum 39
Les inconnues sont soumises à des contraintes : l’équation d’état [1.11] se traduit par les contraintes de type égalité ( ) 1,0,1 −≤≤=−+ NkiuxFx kkkk , auxquelles sont associés des multiplicateurs de Lagrange (de signe quelconque)
nTN
Ti pp ×+ ℜ∈ 11 ...,, . A la contrainte égalité [1.37] est associé un multiplicateur de
Lagrange (de signe quelconque) qT ×ℜ∈ 1µ . Enfin, aux contraintes de type
inégalité [1.36] sont associés des multiplicateurs de Lagrange TN
Ti 1...,, −λλ tels que
krTk
×ℜ∈ 1λ et 1...,,,0 −∈≥ NikTkλ . Posons :
( )TN
Ti
TTN
Ti pp 11 ...,,,,...,,' −+= λλµν .
1.3.2.2. Formulation large
Soit 1,00 ∈λ . On est amené, dans la « formulation large », à définir le Lagrangien :
( ) ( ) ( )( ) ( )[ ] ( )NNTN
ikkk
Tkkkkk
Tk xGuguxFxpzJz µλλνλ +∑ +−+=
−
=++
111
00 ,',,~L .
Il est à noter que la fonction kL qui figure sous le signe de sommation du critère est parfois appelée « Lagrangien », ou « fonction lagrangienne » (de même que la fonction l qui figure sous le signe d’intégration du problème de Pontriaguine), bien que n’ayant rien à voir avec un Lagrangien au sens utilisé ci-dessus. Pour éviter cette confusion, nous ne parlerons jamais de Lagrangien à propos de kL et de l .
Posons 0=Tip , de sorte que k
N
ik
Tkk
N
ik
Tk xpxp ∑=∑
=+
−
=+ 1
11 . Alors, l’expression du
Lagrangien se simplifie si l’on introduit « l’Hamiltonien » : ( ) ( ) ( )kkkkkk
Tk
Tkkkk uxLuxFppux ,,,,, 0
110~
λλ −= ++H [1.38] En effet, on obtient après un calcul élémentaire
( ) ( ) ( )
( ) ( )[ ]∑ +−+
++=−
=+
11
0
00
,,,
',,~
~
N
ikkk
Tk
Tkkkkk
Tk
NTNNN
TNN
ugpuxxp
xpxGxKz
λλ
µλνλ
H
L
Avec cette notation, l’équation d’état s’écrit :
( )TkkkT
k
kk pux
px 1
0**
1
*1 ,,,
~+
++
∂
∂= λH
. [1.39]
Il reste maintenant à appliquer le théorème 1.5 (§1.2.2.3). Explicitons [1.32] :
a) ( ) 0,, *0*~
=∂∂ T
kz
xνλ
L, 11 −≤≤+ Nki si, et seulement si
40 Commande optimale
( )Tkkk
k
kTk pux
xp 1
0** ,,,~
+∂∂
= λH
. [1.40]
b) ( ) 0',, 0*~
=∂∂
νλzxN
L si, et seulement si
( ) ( )**0NN
TNN
TN xGdxKdp µλ −=+ . [1.41]
Il existe un qT ×ℜ∈ 1µ tel que cette égalité est vérifiée si, et seulement si
( ) ( )fxNNTN VNxKdp
N*
*00 ++∈ λ . [1.42]
c) ( ) 0',, 0*~
=∂∂
νλzuk
L, 1−≤≤ Nki , si et seulement si
( ) ( )*1
0** ,,,~
kkTk
Tkkk
k
k ugdpuxu
λλ =∂
∂+
H, 1−≤≤ Nki . [1.43]
D’après les conditions (i) et (ii) du théorème 1.5, on a 0≥Tkλ et ( ) 0* =kk
Tk ugλ ,
d’où ( )*,0 kkjk uIj ∉=λ . Posons ( )T
kkkk
kk pux
ub 1
0**' ,,,~
+∂∂
= λH
et
( )*', k
ikik ugd−=∇ . Alors [1.43] équivaut à ( )
( )
∇Γ∈−
∈U
*
',
'
kk uIiikk cob , soit encore,
d’après [1.21], puisque *ku est régulier pour kU , à la condition d’Euler (§1.2.1.2) :
( ) ( ) ( )1,,, *10**
~−≤≤∈
∂∂
+ NkiUNpuxu ku
Tkkk
k
kk
λH
. [1.44]
On appelle « équations canoniques » les équations [1.39] et [1.40], et cette
dernière est appelée « l’équation adjointe » ; les vecteurs nTkp ×ℜ∈ 1 sont appelés
« vecteurs adjoints ». On a obtenu le théorème suivant [BOLT 73] :
Théorème 1.9. Soit la commande efficace 1
*−≤≤ Nkiku , et soit Nkikx ≤≤
* l’état
qui s’en déduit par la relation de récurrence [1.11] à partir de la condition initiale fixée ii xx =* . Pour que cette commande soit optimale, il est nécessaire qu’il existe
un élément 1,00 ∈λ et 1+− iN vecteurs adjoints nTkp ×ℜ∈ 1 , Nik ...,,∈ ,
Principe du maximum 41
vérifiant : pour ik = , 0=Tip ; pour tout 1...,,1 −+∈ Nik , l’équation adjointe
[1.40] ; pour Nk = , l’équation [1.42], dite « condition de transversalité », ainsi que
la condition ( ) 0,0 ≠TNpλ . Enfin, il est nécessaire que *u vérifie la condition
d’Euler [1.44]. Démonstration. Il reste à montrer qu’on a nécessairement ( ) 0,0 ≠T
Npλ .
Supposons que ( ) 0,0 =TNpλ . Alors d’après [1.38] et [1.40], NkipT
k ≤≤= ,0 .
D’après [1.43], on a donc, pour tout 1...,, −∈ Nik , ( ) 0* =kkTk ugdλ , donc
0=Tkλ puisque *
ku est strictement régulier pour kU . Mais cela ne peut pas être
vrai puisque, d’après le théorème 1.4 (§1.2.2.3), les multiplicateurs de Lagrange 0λ et T
kλ ne peuvent pas être tous nuls. QED.
Remarque 1.3. La détermination de l’état Nkikx ≤≤* et du vecteur adjoint
NkiTkp
≤≤ est un « problème aux deux bouts » dans le sens suivant : l’état *
kx
vérifie l’équation récurrente [1.11] à partir de la valeur connue ii xx =* ; cette
équation récurrente est « directe » (du passé vers le futur). Le vecteur adjoint Tkp ,
quant à lui, vérifie l’équation récurrente [1.40] en tenant compte de la condition de transversalité [1.42] ; cette équation récurrente est « à rebours » (du futur vers le passé). Ces deux équations récurrentes sont généralement couplées, ce qui peut rendre le problème difficile. Dans le cas où 0=NK , la condition de transversalité exprime que le vecteur adjoint doit être orthogonal à la variété cible à l’instant final.
Remarque 1.4. Supposons que l’ensemble kU et la fonction
→ku ( )Tkkkk pux 1
0* ,,,~
+λH- soient convexes. La condition d’Euler est alors une condition nécessaire et suffisante de maximum global de la fonction
→ku ( )Tkkkk pux 1
0* ,,,~
+λH sur kU d’après le théorème 1.2 (§1.2.2.1) : il s’agit du « Principe du maximum » qu’on écrira sous la forme :
( )Tkkkk
Uuk puxu
kk1
0** ,,,maxarg~
+∈
∈ λH . [1.45]
42 Commande optimale
1.3.2.3. Formulation stricte
Les contraintes de type égalité [1.38] et [1.37] peuvent être rassemblées en une équation de la forme ( ) 0=zF ; il est facile de vérifier que F est une submersion, définissant donc une sous-variété V de l’espace vectoriel E auquel appartient z . D’autre part, les contraintes de type inégalité [1.36] (qu’on peut rassembler sous la forme ( ) 0≤zG ) définissent un sous-ensemble U de E . Soit I UVW = ; on a
( ) ( )WW *z*z CT = [1.46]
si W∈*z est régulier pour W (§1.2.2.4, proposition 1.5 et définition 1.3) ; on est alors conduit à la « formulation stricte » du théorème 1.6 (§1.2.2.4), où 10 =λ . L’Hamiltonien [1.38] devient donc : ( ) ( ) ( )kkkkkk
Tk
Tkkkk uxLuxFppux ,,,, 11 −= ++H . [1.47]
Soit ( )*zI l’ensemble des « indices » j tels que ( ) 0=*j zG . D’après la proposition 1.5 (§1.2.2.4), une première situation où la formulation stricte est valide est celle où ( )*zI est vide, c’est-à -dire où toutes les contraintes inégalité sont inactives.
Une seconde situation est celle où la variété V et les fonctions ( )*j zj, IG ∈ , sont affines, c’est-à -dire où les fonctions 1, −≤≤ NkiFk , la variété fV et les
fonctions ( )*, kkj
k uIjg ∈ , sont affines. Une troisième situation est celle où la « condition de Mangasarian-Fromovitz »
est vérifiée, c’est-à -dire où il existe un vecteur ( )V*zTw∈ tel que
( ) ( )**j zj,w.zd IG ∈∀< 0 . D’après la définition du vecteur des inconnues z , un tel vecteur w est de la forme ( )NiNi xxuuw δδδδ ...,,,...,, 11 +−= . Il appartient Ã
( )V*zT si, et seulement si ( ) 0.* =wzd F , ou encore :
( ) ( ) k*k
*k
k
kk
*k
*k
k
kk uu,x
uF
xu,xxF
x δδδ∂∂
+∂∂
=+1 [1.48]
1−≤≤ Nki avec 0=ixδ , et
( ) 0=∂∂
N*N
N
N xxxG
δ . [1.49]
On a ( ) ( )** zj,w.zd IG j ∈∀< 0 , si et seulement si pour tout 1...,, −∈ Nik ,
( ) ( )** ,0. kkkkj
k uIjuugd ∈<δ . Cette condition peut être satisfaite si les kuδ peuvent
être librement choisis, puisque *ku est strictement régulier pour kU . Or, la seule
Principe du maximum 43
restriction sur le choix des kuδ est [1.49], qui disparaît si 0=NG . Cette égalité
équivaut à nfV ℜ= (état final libre). Rassemblons en un théorème les résultats
obtenus : Théorème 1.10. La formulation stricte (obtenue en posant, dans l’énoncé du
théorème 1.9, 10 =λ , et donc en substituant à l’Hamiltonien k~H défini par [1.38]
l’Hamiltonien kH défini par [1.47]) est valide si l’égalité [1.46] est vérifiée. Ceci est vrai, notamment, dans les trois cas suivants : (i) les contraintes inégalité sont toutes inactives ; (ii) les fonctions 1, −≤≤ NkiFk , la variété fV et les fonctions
( )*, kkj
k uIjg ∈ , sont affines ; (iii) nfV ℜ= (état final libre).
Remarque 1.5. Dans le cas (iii), le théorème 1.9 lui-même implique 00 ≠λ . En
effet, 00 =λ entraîne 0=TNp d’après [1.42], ce qui est impossible car
( ) 0,0 ≠TNpλ .
L’ensemble W est évidemment tel que si W∈z , W∈z ( ( )x,uz = , ( )x,uz = )
et zz ≠, alors uu ≠. En appliquant le théorème 1.7 (§1.2.2.4), on obtient une condition nécessaire et suffisante d’optimum global :
Théorème 1.11. Soit la commande efficace 1−≤≤= Nki*k
* uu , et soit *k
* xx = l’état qui s’en déduit par la relation de récurrence [1.11] à partir de la condition initiale fixée ii xx =* . Supposons que l’égalité [1.46] soit vérifiée (voir théorème 1.10) et que les ensembles kU et les fonctions NK et 1, −≤≤ NkiLk , soient convexes. Alors la condition nécessaire donnée par le théorème 1.9 au §1.3.2.2 (avec 10 =λ ) est également suffisante pour que la commande *u soit optimale. Si de plus les fonctions 1, −≤≤ NkiLk , sont convexes, strictement par rapport à ku ,
alors *u est l’unique commande optimale. 1.3.3. Problème linéaire quadratique
Un cas important pour les applications est celui où le système est linéaire, c’est-à -dire décrit par l’équation d’état :
kkkkk uxx BA +=+1 [1.50]
et où le critère est quadratique, c’est-à -dire où les fonctions kL et NK de [1.15] sont de la forme :
44 Commande optimale
( ) [ ]kkTkkk
Tkkkk uuxxuxL RQ +=
21, , [1.51]
( ) NNTNNN xxxK Σ=
21 . [1.52]
Dans un premier temps, plaçons-nous dans le cas où les fonctions kL et NK
sont convexes, c’est-à -dire où les matrices kQ , kR et NΣ sont symétriques réelles semi-définies positives (ce qu’on écrira, pour plus de concision, 0≥kQ , etc.).
L’état final est supposé libre ( nfV ℜ= ) et la commande est sans contrainte
( mkU ℜ= ). On peut donc appliquer le théorème 1.11 (§1.3.2.3). L’Hamiltonien [1.47] vaut :
( ) [ ] [ ]kkTkkk
Tkkkkk
Tk
Tkkkk uuxxuxppux RQBA +−+= ++ 2
1,, 11H .
L’équation adjointe [1.40] se met sous la forme : **
1*
kkkTkk xpp QA −= + , [1.53]
tandis que la condition de transversalité [1.42] devient :
0** =Σ+ NNN xp . [1.54] La condition d’Euler [1.44] équivaut à la « condition de stationnarité »
( ) 0,, 1** =
∂∂
+Tkkk
k
k puxuH
, soit encore
1*
+= kTkkk pu BR . [1.55]
A partir de [1.53] et [1.54], on établit aisément par récurrence que le vecteur
adjoint *kp s’exprime linéairement en fonction de l’état *
kx , soit **
kkk xp K−= , [1.56] où kK est une matrice de dimension nn× . Il vient d’après [1.55], [1.56] et [1.53]
( ) [ ] *1
**11
*1 kkk
Tkkkkk
Tkkkk
Tkk xuxu AKBBKBBKBR ++++ −=+−=+ ,
par conséquent, à condition que la matrice kkTkk BKBR 1++ soit inversible, la
commande optimale s’exprime nécessairement de la manière suivante :
**kkk xu G−= , [1.57]
Principe du maximum 45
où kG est le « gain optimal », donné par
( ) kkTkkk
Tkkk AKBBKBRG 1
11 +
−++= . [1.58]
Il vient d’après [1.53], [1.56], [1.50] et [1.57]
( ) **1
*kkkkkkk
Tkkk xxx QGBAKAK −−−=− +
et cette relation est vérifiée si ( ) kkkkkTkk QGBAKAK +−= +1 , soit encore
d’après [1.58] :
( ) ( ) kkkTkkkkk
Tkkkk QGRGGBAKGBAK ++−−= +1 . [1.59]
Enfin, d’après [1.56], la relation [1.54] est vérifiée si : NN Σ=K . [1.60] L’égalité [1.59], où le gain kG est remplacé par son expression [1.58], est une
relation de récurrence « à rebours » (parfois appelée, par abus de langage, « équation de Riccati à temps discret »), où kK est exprimé en fonction de 1+kK ; toutes les matrices kK ( )Nik ...,,1+∈ peuvent donc être calculées à partir de la valeur finale [1.60]. Il en découle le théorème suivant :
Théorème 1.12. Sous les hypothèses considérées, une commande optimale
existe, et est alors unique, si 1...,, −∈∀ Nik , la matrice kkTkk BKBR 1++ est
inversible (donc définie positive). Cette commande optimale est en boucle fermée et s’exprime linéairement en fonction de l’état suivant [1.57], où kG est le gain optimal défini par [1.58], kK étant l’unique solution de « l’équation de Riccati à temps discret » [1.59], calculée à rebours à partir de la valeur finale [1.60] ; cette matrice kK est symétrique et vérifie 0≥kK pour tout Nik ...,,1+∈ .
Démonstration. Montrons que pour tout k , kK est symétrique réelle semi-définie positive. Cette propriété est vérifiée pour Nk = ; de plus, l’expression [1.59] entraîne que si elle est vérifiée à l’instant 1+k , elle est également vérifiée à l’instant k . La propriété est donc démontrée pour tout Nik ...,,1+∈ par récurrence. QED
Remarque 1.6. (i) Le développement qui précède l’énoncé du théorème 1.12
peut laisser penser que les relations [1.58] et [1.60] ont un caractère arbitraire. Mais elles permettent de déterminer effectivement la commande optimale, dont l’existence et l’unicité sont assurées par l’inversibilité de la matrice
46 Commande optimale
kkTkk BKBR 1++ . Cet arbitraire a donc en définitive un caractère de nécessité. (ii)
Les deux équations du « problème aux deux bouts » (voir rem. 1.3, §1.3.2.2) ont pu être découplées grâce à la relation [1.56]. (iii) On peut montrer grâce à la Programmation dynamique que l’hypothèse de convexité ( 0≥Σ N , 0≥kR ,
0≥kQ ) est inutilement forte : en supposant seulement que les matrices NΣ , kR et kQ (pour tout Nik ...,,1+∈ ) sont symétriques, il suffit, pour qu’il existe une
commande optimale unique, que la condition 01 >+ + kkTkk BKBR soit satisfaite
(où « > 0 » signifie « définie positive » pour une matrice symétrique réelle).
On peut à présent considérer le problème plus général où le critère contient des « termes croisés », c’est-à -dire où la relation [1.51] est remplacée par
( ) [ ]
=
k
k
kTk
kkTk
Tkkkk u
xuxuxL
RSSQ
21, [1.61]
Les matrices NΣ , kR et kQ (pour tout Nik ...,,1+∈ ) sont supposées symétriques. En supposant kR inversible, on se ramène au cas précédent en remarquant que
( ) [ ]kkTkkk
Tkkkk vvxxuxL RQ +=
~21, ,
avec Tkkkkk SRSQQ 1~ −−= et k
Tkkkk xuv SR 1−+= . La matrice 1+kK est alors
remplacée par la matrice 1~
+kK , vérifiant l’équation analogue à [1.59] où kQ est
remplacée par k~Q ; le gain optimal kG est remplacé par kG~ , vérifiant l’équation
analogue à [1.58] où 1+kK est remplacée par 1~
+kK . La rem. 1.6 conduit au résultat suivant : Corollaire 1.3. Si pour tout 1...,, −∈ Nik , 0>kR et 0~
1 >+ + kkTkk BKBR ,
alors il existe une commande optimale et une seule ; elle est en boucle fermée et s’exprime linéairement en fonction de l’état, sous la forme
( ) *1* ~k
Tkkkk xu SRG −+−= .
1.3.4. Première et seconde variation pour le problème discret de Pontriaguine
Nous revenons maintenant au Problème discret de Pontriaguine dans le cas où
toutes les contraintes inégalité sont inactives. La formulation stricte du théorème 1.10 (§1.3.2.3) est alors valable, et peut s’obtenir en appliquant le théorème 1.3 (§1.2.2.2).
La « première variation » est donnée par [1.29]. Intuitivement, soit ( ) 1−≤≤= Nkikuu une commande efficace nominale, pour laquelle le critère prend la
Principe du maximum 47
valeur ( )uJ , tandis que l’état et le vecteur adjoint correspondants (c’est-à -dire vérifiant les équations canoniques, la condition de transversalité et la condition initiale sur l’état) sont notés respectivement ( ) ( )( ) Nkik uxux ≤≤= et
( )( ) NkiTk
T upp≤≤
= . Si la commande est remplacée par uu δα+ , où uδ est une
« variation admissible » (c’est-à -dire telle que pour 0>α suffisamment petit, uu δα+ est encore, à un terme du second ordre près en α , une commande
efficace), le critère devient ( ) ( ) ( )αδδα ouuJuJ ++ ; . Avec les notations des paragraphes 1.3.2.1 et 1.3.2.3, on obtient (d’après les équations canoniques et la
condition de transversalité), ( ) ( ) kN
ik kuz
uuuJ δνδδ .',;
1∑
∂∂
=−
=
L , soit encore :
( ) ( ) ( )( ) kTkkk
N
ik k
k uupuuxu
uuJ δδδ .,,; 11
+
−
=∑
∂∂
−=H
. [1.62]
La condition d’Euler [1.44] entraîne, avec les hypothèses précédentes, ( ) 0*; =uuJ δδ pour tout accroissement uδ . Supposons maintenant que toutes les
fonctions du problème soient de classe 2C . La condition du second ordre fournie par le théorème 1.8 (§1.2.3) permet d’obtenir une condition suffisante de minimum local. Il vient :
( ) [ ]
∑+Σ=−
= k
k
kTk
kkN
ik
Tk
TkNN
TN u
xuxxxuuJ
δδ
δδδδδδRSSQ12
21
21*; [1.63]
où 2
2
k
kk
x∂
∂−=
HQ ,
kk
kk ux ∂∂
∂−=
H2S ,
2
2
k
kk
u∂
∂−=
HR ,4 toutes ces dérivées
partielles étant évaluées au point ( )Tkkk pux 1
** ,, + , et où
( ) ( )*2*2NN
TNNN xGdxKd µ+=Σ .
4 Si ℜ→ℜ×ℜ mn:H est une fonction de classe 2C , malgré une légère incohérence
d’écriture, ( )** u,xux∂∂
∂−=
H2S et ( )*u,xu
*2
2
∂
∂−=
HR désignent respectivement les matrices
de composantes ( )**jiij u,x
ux ∂∂
∂−=
H2S , ni ≤≤1 , mj ≤≤1 et ( )**jiij u,x
uu ∂∂
∂−=
H2R ,
mi ≤≤1 , mj ≤≤1 ; dans l’esprit des conventions prises au début du §1.2.1, ces matrices sont identifiées avec les formes bilinéaires qui leur sont canoniquement associées, c’est-à -dire les différentielles partielles secondes correspondantes.
48 Commande optimale
L’accroissement ( )NiNi xxuuh δδδδ ...,,,...,, 11 +−= appartient à ( )V*zT , ce qui entraîne l’égalité [1.48] pour tout 1...,, −∈ Nik . De plus, 0=ixδ , donc
( ) 0*;2 =uuJ δδ si 0=kuδ , 1...,, −∈ Nik . On est conduit à examiner si ce problème linéaire quadratique avec terme croisé,
où l’état et la commande sont respectivement les accroissements xδ et uδ , admet une solution ; ce problème est appelé problème de minimum secondaire (ou accessoire). D’après le corollaire 1.3 (§1.3.3), on a le résultat suivant :
Théorème 1.13. Pour le problème discret de Pontriaguine envisagé, supposons
les conditions du théorème 1.9 (dans la formulation stricte du théorème 1.10, §1.3.2.3) satisfaites. Pour que qu’un minimum local de J soit obtenu avec la commande u*, il est nécessaire le problème de minimum secondaire admette pour solution la commande nulle (ce qui équivaut à la condition ( ) 0*,2 ≥uuJ δδ pour toute variation admissible uδ ). Pour qu’un minimum local strict de J soit obtenu avec la commande u*, il est suffisant que le problème de minimum secondaire admette la commande nulle pour unique solution (soit : ( ) 0*,2 >uuJ δδ pour toute variation admissible 0≠uδ ). Dans le cas où l’état final est libre, il suffit pour cela que pour tout 1...,, −∈ Nik , 0>kR et 0~
1 >+ + kkTkk BKBR .
1.4. Principe du maximum de Pontriaguine
1.4.1. Hypothèses, et variations fortes de la commande
Comme il est dit au §1.1.3.3, le Principe du maximum fournit une condition
nécessaire d’optimum local fort. Cette notion est claire dans le cadre du Calcul des variations, mais demande à être précisée dans celui de la commande optimale.
Soit le système [1.1], le critère [1.5] et la condition finale [1.4]. Les fonctions f , l et K sont supposées continues et ayant des différentielles partielles par
rapport à x (resp. par rapport à t et x ) continues au §1.4.2 (resp. 1.4.3). Il est donc remarquable que la différentiabilité de f et l par rapport à u n’est pas requise.
Supposons que pour tout u appartenant à l’ensemble U des commandes efficaces (défini au §1.1.2), l’équation différentielle [1.1] admette sur I une solution unique vérifiant la condition initiale fixée [1.2] (solution que nous appellerons « l’état correspondant à u », suivant la terminologie adoptée au §1.3.4) ; on montre immédiatement (en considérant t comme un état supplémentaire) que l’instant final ft est alors également déterminé par U∈u : nous l’appellerons « l’instant final correspondant à u ». Le critère ne dépend donc que de U∈u et peut être noté ( )uJ .
Principe du maximum 49
Soit U∈*u , et *x et *ft l’état et l’instant final correspondants. Soit 0>ε , et
notons εV l’ensemble des commandes U∈u ayant la propriété suivante : l’état x et l’instant final ft correspondants sont tels que
ε<− *ff tt et ( ) ( ) [ ] [ ]I
*00
* ,,, ff ttttttxtx ∈∀<− ε .
En définissant les voisinages de *u dans U comme étant les sous-ensembles de U contenant un de ces ensembles εV (et en procédant ainsi pour tout U∈*u ), on munit U d’une topologie dite « des variations fortes ». Nous dirons donc que la commande U∈*u est localement optimale forte s’il existe un réel 0>ε tel que
( ) ( ) εV∈∀≤ uuJuJ ,* , et qu’elle est globalement optimale forte si
( ) ( ) U∈∀≤ uuJuJ ,* .
1.4.2. Cas d’un instant final fixé Procédons comme on l’a dit au §1.1.5. Par nature, le Problème discret de
Pontriaguine est à instant final fixé (car on ne peut pas faire varier continûment l’entier N ), donc le passage à la limite que nous souhaitons faire ici n’a de sens que pour un problème continu de Pontriaguine à instant final fixé. Nous verrons au paragraphe suivant comment on peut passer au cas d’un instant final libre. Dans la suite de ce paragraphe, I désigne l’intervalle [ ]ftt ,0 . La condition [1.4] est
remplacée par ff Vx ∈ , où fV est une sous-variété de nℜ . Le point ( )t*u est supposé strictement régulier pour l’ensemble U , pour tout It ∈ (§1.2.2.4, définition 1.3).
L’approximation discrète de l’équation différentielle [1.1] est l’équation
récurrente [1.11] compte tenu de la relation [1.12] ; celle du critère [1.5] est le critère [1.15] compte tenu des relations [1.16]. On est ainsi ramené au problème discret de Pontriaguine. Tirons tout d’abord les conséquences du théorème 1.9 (§1.3.2.2). L’Hamiltonien [1.38] s’écrit :
( ) ( )[ ] ( )kkkkkTk
Tkkkk uxTklTuxTkfTxppux ,,,,,,, 0
110~
λλ −+= ++H . L’équation adjointe [1.40] se met donc sous la forme :
( )Tkkk
Tk
Tk puxkT
xTpp
10**1 ,,,,
~+
+
∂∂
−=−
λH
où H~ est l’Hamiltionien du problème continu de Pontriaguine, défini par
( ) ( ) ( )uxtluxtfppuxt TT ,,,,,,,, 00~λλ −=H . [1.64]
50 Commande optimale
Voyons ce que deviennent les deux équations canoniques en faisant tendre T
vers +0 ; on obtient pour l’équation adjointe :
( ) ( ) ( ) ( )( )tptutxtx
tp TT ,,,, 0**~
λ∂
∂−=H
& . [1.65]
D’après [1.64] et [1.1], on a (sans passage à la limite) :
( ) ( ) ( ) ( )( )tptutxtp
tx TT
,,,, 0***~
λ∂
∂=H
& . [1.66]
Les équations [1.66] et [1.65] sont appelées « équations canoniques », et cette dernière est appelée « l’équation adjointe ». L’équation [1.41] et l’équation de transversalité [1.42] deviennent respectivement (avec ( )ff txx ** = ) :
( ) ( ) ( )**0 , fT
fffT xdGxt
xK
tp µλ −=∂∂
+ , [1.67]
( ) ( ) ( )fxfffT VNxt
xK
tpf*
*0 ,0 +∂∂
+∈ λ . [1.68]
Enfin, compte tenu du fait que la différence ( ) ( )T
kkkTkkkk puxTkTpux 1
01
0 ,,,,,,,~~
++ − λλ HH ne dépend pas de ku , la condition d’Euler [1.44] devient
( ) ( ) ( )( ) ( ) ( )UNtptutxtu tu
T*,,,, *0**
~∈
∂∂
λH
[1.69]
(en supposant, pour les besoins du passage à la limite effectué ici, que l’Hamiltonien est différentiable par rapport à u ). Telle est la condition obtenue avec des variations faibles. Avec des variations fortes, [1.69] est à remplacer par le Principe du maximum :
( ) ( ) ( )( )tputxttu T
Uu,,,,maxarg 0** ~
λH∈
∈ . [1.70]
comme nous allons le démontrer dans le cas le plus simple d’un état final libre. Proposition 1.6. (Principe du maximum dans le cas d’un instant final fixé). Soit *u une commande efficace. Pour que cette commande soit localement
optimale forte, il est nécessaire qu’il existe un multiplicateur de Lagrange 1,00 ∈λ
et un « vecteur adjoint » ∈Tp ( )IKC nb×1
1 tels que :
Principe du maximum 51
(i) ( )( ) 0,0 ≠fT tpλ ;
(ii) Les équations canoniques [1.65] et [1.66] sont satisfaites à tout instant It ∈ auquel la commande *u est continue ;
(iii) La condition de transversalité [1.68] est satisfaite ; (iv) ( )tu* vérifie le « Principe du maximum » [1.70], [ ] ( )*0 , ucfttt ∈∀ , où
[ ] ( )*0 , ucftt désigne l’ensemble des instants [ ]ft,tt 0∈ auxquels *u
est continue ; (v) Soit *~H la fonction définie sur I par :
( ) ( ) ( ) ( )( )tptutxtt T,,,, 0*** ~~λHH = ;
cette fonction est continue. Démonstration du Principe du maximum (cas d’un état final libre). Il suffit de
considérer le cas d’un critère final ( )( )ftxKJ = (§1.1.2). Soit *u une commande admissible (donc efficace puisque l’état final est libre). Soit d’autre part
] [fttt ,01 ∈ un instant auquel *u est continue, ] ]01,0 tt −∈τ , et u la commande
définie sur [ ]fttI ,0= de la manière suivante : ( ) Uutu ∈= pour ] [11 , ttt τ−∈
et ( ) ( )tutu *= sinon ; cette commande u est efficace. Le laps de temps τ permet de réaliser la variation, dite « en aiguille », de la commande. Il en résulte une variation ( )tx ,τδ de l’état, nulle pour [ ]τ−∈ 10 , ttt , et telle que
( ) ( ) ( )τττδ outftx +∆= ,, 11 , où ( ) ( )( ) ( ) ( )( )[ ]111111 t*u,t*x,tfu,t*x,tfu,tf −=∆ ,
en supposant τ suffisamment petit pour que *u soit continue sur ] ]11 , tt τ− .
Sur [ ]ftt ,1 , ( ) ( )txt ,0+
∂∂
=τδη est solution de l’équation différentielle linéaire « aux
variations » ([SCHW 92], th. 4.3.11) : ( ) ( )( )ηηtutxt
xf
dtd
*,*,∂∂
= ; et ce qui précède
montre que η a pour condition initiale ( ) ( )utft ,11 ∆=η . La variation du critère est : ( )( ) ( ) ( )ττδδ otxtxKdJ ff += ,* . L’équation de transversalité [1.68] entraîne que
( ) ( )( )ffT txKdtp *−= , car, comme on le verra un peu plus loin (remarque 1.8,
§1.4.3), 10 =λ lorsque l’état final est libre. Il vient donc : ( ) ( ) ( ) ( ) ( ) ( )ττηττδδ ottpotxtpJ ff
Tff
T +−=+−= , . L’équation adjointe [1.65]
s’écrit xf
px
p TT∂∂
−=∂
∂−=H
& (c’est l’adjointe de l’équation aux variations !) ; par
52 Commande optimale
conséquent, ( ) 0=ηTpdtd , donc ( ) ( )ttpT η est constant. En particulier,
( ) ( ) ( ) ( )ffTT ttpttp ηη =11 , donc ( ) ( ) ( )ττδ outftpJ T +∆−= ,11 . Pour que la
commande *u soit optimale, il est nécessaire que 0≥Jδ , pour tout instant 1t tel
que considéré ici et tout Uu ∈ avec +→ 0τ , d’où
( ) ( ) 0lim,0
11 ≥=∆−+→ τ
δτ
JutftpT , ce qui équivaut au Principe du maximum. QED.
Remarque 1.7. La proposition 1.6 affirme que les fonctions Tp et *~H sont
continues, même aux points de discontinuité de *u (puisque, par définition, une fonction continûment dérivable par morceaux est continue) ; cette propriété est appelée la « condition des angles » de Weierstrass-Erdmann, cette dénomination venant du Calcul des variations (voir §1.5.1). Ceci est clair pour Tp (en tant que
solution de l’équation adjointe) ; pour la démonstration de la continuité de *~H , voir ([ALEX 82], chap. IV, §4.2.E).
1.4.3. Instant final libre
Le cas où l’instant final est éventuellement libre est maintenant déduit du cas précédent. La différence avec ce qui précède réside dans la condition finale [1.4], qui doit maintenant être considérée dans toute sa généralité.
Le principe de la « méthode paramétrique » qui suit est dû à Pallu de la Barrière
[PALL 66]. Tout état ( )txt → , défini sur [ ]ftt ,0 admet une représentation
paramétrique ( )( )sxs ϕ→ , ( )st ϕ= , où ϕ est une fonction dérivable strictement
croissante de [ ]1,0 sur [ ]ftt ,0 ; de plus, on peut supposer ( ) [ ]1,0,0 ∈∀> ssϕ& .
Posons ( ) ( )( )sxs ϕ=x et ( ) ( ) ( )( )sss xx ,ϕ= . Le degré de liberté supplémentaire dont on dispose maintenant, par rapport au cas de la section précédente, est la manière dont t évolue en fonction de s . Par conséquent la variable ( ) ( )ss ϕ&=0u peut être considérée comme une commande supplémentaire. Posons ( ) ( ) ( )( )sss uuu ,0= . La représentation paramétrique du système [1.1] s’écrit alors
( )
( ) ( )
==
0
0, uuxxu
fss
&
&Ï•
et le critère [1.5] s’écrit
( ) ( ) ( )( ) ( ) sdssslKJ f ∫+=1
00, uuxx .
Principe du maximum 53
Ainsi, on est ramené au « problème à instant final fixé » déjà traité. Le vecteur adjoint associé à l’état x est de la forme ( )TT ppp ,0= et l’Hamiltonien du problème est :
( ) ( ) ( )[ ] ( )[ ]00
000
00 ,,,,,,,,
~~ppuxupuxuxupux +=+−= λλλ HH lfpT .
L’équation canonique s’écrit ( ) ( ) ( ) ( )( )ssss TT puxx
p ,,*,* 0~
λ∂
∂−=H& ; puisque
xu
x ∂∂
=∂
∂ HH ~~0 , on obtient l’équation adjointe [I.65] (littéralement), ainsi que la
relation (vérifiée à tout instant auquel la commande est continue)
( ) ( ) ( ) ( )( )tptutxtt
tp T,,,, 00
~λ••
∂∂
−=H
& . [I.71]
D’après le Principe du maximum, la commande optimale ( ) ( ) ( )( )sss **0
* , uuu =
doit maximiser par rapport à ( )uuu ,0= la quantité ( ) ( )( )s,p,,s ***~pux 0H sous
les contraintes U∈u et 00 >u . Faisons tout d’abord la maximisation par rapport à u , et posons
( ) ( ) ( )( )sss TU
puxu
,,,max 0** ~~λHH
∈= ,
ce maximum étant atteint pour ( )s*uu = ; la commande optimale ( ) ( )stu ** u= (si elle existe) vérifie donc encore le Principe du maximum de la proposition 1.6. Il
reste maintenant à maximiser ( ) ( )[ ]ss 0*
0~
pu +H sous la contrainte 00 >u . D’après l’égalité d’Euler (corollaire 1.2, § 1.2.2.1), on a nécessairement
( ) ( ) [ ]1,0,00*~
∈∀=+ sss pH , et il vient donc d’après [1.71]
( ) ( ) ( )( ) ( ) ( ) ( )( )tptutxtdtdtptutxt
tTT ,,,,,,,, 0**0** ~~
λλ HH=
∂∂ . [1.72]
La condition de transversalité [1.68] s’écrit dans le cas présent : ( ) ( )( ) ( ) ( )f
T VNKd 1*0
*110 xxp ++∈ λ .
En revenant aux fonctions du temps, la condition de transversalité ci-dessus s’écrit, d’après les résultats obtenus :
( ) ( ) ( ) ( )( )fxtfT
ffff VNtpxtxK*
ft*xttK
ff, ** ,
*****0 ,0,0~
+
+
∂∂
−
∂∂
∈ λλ H .
54 Commande optimale
[1.73] On a démontré le théorème suivant : Théorème 1.14. (Principe du maximum). Soit *u une commande efficace. Pour que cette commande soit localement
optimale forte, il est nécessaire qu’il existe un multiplicateur de Lagrange 1,00 ∈λ
et un vecteur adjoint ∈Tp ( )IKC nb×1
1 tels que :
i) ( )( ) 0,0 ≠fT tpλ ;
ii) L’équation adjointe [1.65] est satisfaite à tout instant où la commande *u est continue ;
iii) La condition de transversalité [1.73] est satisfaite ; iv) La commande *u vérifie le « Principe du maximum » [1.70],
[ ] ( )**
0 , ucfttt ∈∀ ;
v) ( )IKC b*~
1∈H (où *~H est la fonction définie dans l’énoncé de la proposition 1.6(v)).
Ces conditions étant satisfaites, on a l’égalité [1.72] à tout instant où la commande est continue.
Remarque 1.8. Si 00 ≠λ , à l’Hamiltonien H~ défini par [1.64] se substitue
l’Hamiltonien H défini par : ( ) ( ) ( )u,x,tlu,x,tfpp,u,x,t T −=H . [1.74] Conformément à la terminologie employée au §1.3.2.3, c’est ce qu’on peut
appeler la « formulation stricte » du Principe du maximum. Voyons quelques cas où cette formulation stricte est valide :
(i) Cas d’un état final libre. Dans ce cas, en effet, le vecteur η de l’équation de
transversalité [1.73] est quelconque dans nℜ . Donc, que l’instant final soit libre
ou non, cette équation entraîne ( ) ( ) 0, **0* =∂∂
+ fffT xt
xK
tp λ . Il est donc
impossible que 00 =λ car cela entraînerait également ( ) 0* =fT tp , ce qui
contredirait la condition (i) du théorème 1.14. (ii) Quels que soient ( ) nIxt ℜ×∈, et 01 −ℜ∈ ×nTπ , la fonction
( )uxtfu T ,,π→ n’admet pas de maximum sur U (ce qui est vrai, notamment,
lorsque U est ouvert et ( )uxtuf
,,∂∂
est de rang n pour tout ( ) UIuxt n ×ℜ×∈,, ;
le Calcul des variations, où l’équation d’évolution est de la forme ux =& , en est
Principe du maximum 55
un exemple). En effet, si 00 =λ , il vient
( ) ( )( ) ( ) ( )( )utxtftptputxt TT ,,,0,,, **~=H , qui n’admet pas de maximum sur
U, sauf si 0=Tp , ce qui est impossible d’après la condition (i) du théorème 1.14. Remarque 1.9 : Cas d’un horizon infini. Dans de nombreuses applications, on est
amené à poser +∞=ft . Le système est supposé avoir pour équation ( )u,xfx =& . Les commandes efficaces sont les commandes continues par morceaux et bornées sur [ [∞+,t0 , telles que ( ) [ [∞+∈∀∈ ,tt,Utu 0 , qui font converger l’intégrale
impropre ( ) ( )( ) tdtu,txlJt∫=
+∞
0
, et pour lesquelles l’état vérifie une « condition
finale » de la forme ( ) ∞+∞→
∈Vtxlimt
où ∞V est une sous-variété de nℜ . On cherche
une commande minimisant J sur l’ensemble U des commandes efficaces. Le théorème 1.14 est alors encore applicable (ou plus précisément la proposition 1.6, puisque le temps final est fixé). L’équation de transversalité s’écrit :
( ) ( )∞+∞→ ∞
∈ VNtp xT
t*lim , où ( )txlimx *
t*
+∞→∞ = .
Généralisations De nombreuses généralisations du théorème 1.14 existent, notamment aux cas
suivants : a) Le système est sujet à une contrainte sur l’état, de la forme ( )( ) 0, ≤txtg .
Cette contrainte complique beaucoup le Principe du maximum. Voir [CLAR 83] (livre de base pour aborder la théorie de l’optimisation dans le cadre de « l’analyse non lisse ») et [BOURL 04]. Quelques exemples d’illustration sont proposés dans [HART 95].
b) Le système est défini par une « inclusion différentielle » de la forme ( )xtFx ,∈& où F est une « multifonction » [CLAR 83], [CLAR 98]. La
commande est « cachée » dans ce formalisme, grâce auquel est notamment traité dans [CLAR 83] l’exemple de la commande optimale d’un système électrique comprenant une diode.
c) Le système est sujet à une « condition finale » plus générale que [1.4] (voir exercice 1.6) ; le système est à retard ([PONT 61], [GORE 89]) ou régi par une équation d’évolution stochastique [HAUS 78]. Les hypothèses minimales sous lesquelles le Principe du maximum est correct ont été systématiquement recherchées [CLAR 76], [SUSS 98].
Mise en œuvre Des méthodes numériques ont été proposées pour résoudre le « problème aux
deux bouts », notamment les « méthodes de tir » [STOE 80], [BONN 01].
56 Commande optimale
1.4.4. Condition suffisante d’optimalité globale
De nombreux travaux portent sur l’obtention de conditions suffisantes d’optimalité globale, soit strictement dans le formalisme de Pontriaguine ([FLEM 75], chap. III ; [KALM 69], §4.3), soit en faisant appel à des notions issues de la Programmation dynamique [BOLT 72]. Nous envisageons ci-dessous le cas le plus simple d’un système linéaire et d’un critère convexe, qu’on peut considérer comme la « version continue » de la situation faisant l’objet du théorème 1.11 (§1.3.2.3). L’instant final ft est supposé fixé, et on peut donc faire un « passage à la limite » du résultat fourni par le théorème 1.11, comme au §1.4.2. Certaines précautions sont toutefois nécessaires, et c’est pourquoi nous esquisserons une démonstration, que le lecteur peut compléter en reprenant une partie de la démonstration du théorème II.11.6 de [FLEM 75] (le théorème qui suit étant légèrement plus général). Dans le cas convexe, il n’y a pas lieu de distinguer minimum fort et minimum faible.
Théorème 1.15. (Condition suffisante d’optimalité sous la forme du Principe du maximum). Soit le système linéaire [1.1], [1.13], où les matrices A et B sont des fonctions
continues du temps. Soit également le critère [1.5] où les fonctions l et K sont continûment différentiables. Supposons que l’ensemble U et la fonction
( )fff xtKx ,→ soient convexes, ainsi que la fonction ( ) ( )u,x,tlu,x → pour tout
It ∈ ; supposons également que la variété fV soit affine et que l’instant final soit
fixé. Alors, les conditions nécessaires du théorème 1.14 (avec 10 =λ ) sont également suffisantes pour que la commande efficace *u soit globalement optimale. Si de plus pour tout It ∈ , la fonction ( ) ( )u,x,tlu,x → est convexe, strictement par rapport à u , alors il y a unicité de la commande optimale.
Démonstration. Soit 1u et 2u deux éléments de l’ensemble des commandes
efficaces U (qui est non vide puisque U∈*u ), 1x et 2x les états correspondants (pour la même condition initiale [1.2]), et soit [ ]1,0∈α . Le système étant linéaire, il est clair que ( ) 21 1 xxx αα −+= est l’état correspondant à la commande
( ) 21 1 uuu αα −+= pour la condition initiale [1.2]. En outre, cet état x vérifie la condition finale [1.4] puisque la variété fV est affine ; donc, U∈u car, de plus, U est convexe. Il s’ensuit que U est convexe. D’autre part, la convexité des fonctions
( )fff xtKx ,→ et ( ) ( )u,x,tlu,x → entraîne que ( )uJu → est une fonction
convexe ; si de plus la fonction ( ) ( )u,x,tlu,x → est convexe, strictement par rapport à u , alors la fonction ( )uJu → est strictement convexe. Cette fonction est
Principe du maximum 57
à minimiser sur l’ensemble convexe U . Il ne reste plus qu’à conclure comme dans la démonstration de [FLEM 75], théorème II.11.6. QED. 1.4.5. Commande en temps minimal
La commande en temps minimal est une application typique du Principe du
maximum. Elle a une importance historique, comme on l’a vu au §1.1.1. Elle a pris moins d’importance pratique depuis que son manque de robustesse a été reconnu.
Supposons le système affine par rapport à la commande, c’est-à -dire régi par une équation de la forme ( ) ( )utBtxax += ,& .
La mission consiste à amener l’état de la condition initiale ( ) 00 xtx = à la valeur finale ( ) 0=ftx . Il s’agit donc d’un problème à état final fixé et instant final libre.
Le critère minimisé est ∫=−=ft
tf tdttJ
0
10 .
L’ensemble U auxquelles sont contraintes les valeurs de la commande est un parallélépipède défini par les inégalités miu iii ≤≤≤≤ 1,βα .
L’Hamiltonien est donc donné par ( ) ( ) ( )[ ] 00 ,,,,,
~λλ −+= utBtxappuxt TTH
Posons, en supposant l’état adjoint connu, ( ) ( ) ( )tBtpt TT =µ . Le Principe du
maximum implique que si *u est la commande optimale, ( )tu* doit nécessairement
maximiser sur U la quantité ( )utTµ . Par conséquent, on a nécessairement
( ) ii tu α=* si ( ) 0<tiµ et ( ) ii tu β=* si ( ) 0>tiµ . On a obtenu le résultat suivant : Proposition 1.7. La commande à temps minimal, si elle existe, est constante par
morceaux, ses valeurs étant les sommets du parallélépipède U (« commande bang-bang »).
Remarque 1.10. Dans le cas où le système est linéaire invariant (à savoir
( ) xAxta =, et ( ) BtB = ) et gouvernable, on peut montrer que (i) si les valeurs propres de A sont toutes réelles, le nombre de commutations (c’est-à -dire de passages des valeurs de la commande d’un sommet à une autre) est au plus égal Ã
1−n (où n est l’ordre du système), et (ii) si les valeurs propres de A sont toutes à partie réelle négative et si l’origine appartient à l’intérieur de U, alors la commande optimale existe et est unique : voir [PONT 61]. 1.4.6. Problème linéaire quadratique
Considérons maintenant la « version à temps continu » du problème étudié au §1.3.3. Soit le système linéaire, régi par l’équation différentielle
58 Commande optimale
( ) ( )utBxtAx +=& , et soit le critère quadratique à minimiser :
( ) ( )[ ] ( ) ( )( ) ( )
( )( ) tdtutx
tRtStStQ
tutxxxJft
tT
TTf
Tf
∫
+Σ=
021
21 . [1.75]
Les matrices ( )tA , ( )tB , ( )tQ , ( )tS et ( )tR sont des fonctions continues du temps ; les matrices Σ , ( )tQ et ( )tR sont symétriques. Enfin, la commande n’est
sujette à aucune contrainte ( mU ℜ= ). L’Hamiltonien, défini par [1.74], a pour expression :
( ) ( ) ( )[ ] ( ) ( )[ ] ( ) ( )( ) ( )
( )( )
−+=
tutx
tRtStStQ
tutxutBxtAppuxt TTTTT
21,,,H .
Compte tenu du fait que U est ouvert, le Principe du maximum entraîne l’égalité d’Euler (ici appelée « équation de stationnarité ») :
( ) ( ) ( )( ) 0,,, ** =∂
∂tptutxt
uTH
. [1.76]
Supposons que pour tout [ ]fttt ,0∈ , l’équation de stationnarité admette (au
moins) une solution ( )tu * , la fonction *u étant continue par morceaux ; cette
solution vérifie le Principe du maximum si, et seulement si pour tout [ ]fttt ,0∈ , la
fonction quadratique ( ) ( ) ( )( )tputxtut T,,,, *0u HH =→ est concave, c’est-à -dire
si la « condition faible de Legendre » est vérifiée : ( ) 0≥tR , ∀ [ ]fttt ,0∈ . [1.77]
Supposons maintenant vérifiée la « condition forte de Legendre » : ( ) 0>tR , ∀ [ ]fttt ,0∈ . [1.78] On se ramène alors au cas d’un critère sans terme croisé en faisant le
changement de variable (analogue à celui effectué au §1.3.4) : ( ) ( ) ( ) ( ) ( )txtStRtutv T1−+= , et en posant ( ) ( ) ( ) ( ) ( )tStRtStQtQ T1~ −−= ; il vient
d’après [1.76] : ( ) ( ) ( ) ( )tptBtRtv T1* −= . [1.79]
L’équation adjointe [1.65] s’écrit ( ) ( ) ( ) ( ) ( )txtQtptAtp T *~+−=& . On obtient
donc pour ( )px*, le système différentiel :
( )
( )( ) ( ) ( ) ( )( ) ( )
( )( )
−=
−
tptx
tAtQtBtRtBtA
tptx
T
T *~
* 1
&
&= ( ) ( )
( )
tptx
tM*
, [1.80]
appelé « équation hamiltonienne » (et la matrice ( )tM est elle-même appelée « matrice hamiltonienne »). Cette équation est à intégrer en tenant compte de la
Principe du maximum 59
condition initiale ( ) 00 xtx = et de la condition de transversalité [1.68], ce qui constitue un « problème aux deux bouts ». L’équation [1.80] étant linéaire, celui-ci peut être résolu sans trop de difficulté si la variété finale est affine : voir ([BERN 76], § 2.3), et ([BRYS 69], §5.3). Toutefois, le cas le plus simple est celui où l’état final est libre , et c’est celui qui est envisagée ci-dessous.
Avec un raisonnement semblable à celui effectué au § 1.3.3, on montre que le vecteur adjoint est alors de la forme :
( ) ( ) ( )txtKtp *~−= , [1.81]
où ( )tK~ est une matrice de dimension nn× . L’équation de transversalité conduit à poser ( ) Σ=ftK~ . [1.82]
On obtient d’après [1.79] et [1.81] : ( ) ( ) ( )txtGtv ** ~
−= , [1.83]
où ( ) nmtG ×ℜ∈~ est le « gain optimal » défini par
( ) ( ) ( ) ( )tKtBtRtG T ~~ 1−= . [1.84] D’après [1.83] et l’équation adjointe où p a été remplacé par son expression
[1.81], K~ est solution de l’équation différentielle (matricielle) de Riccati :
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 0~~~~~~ 1 =+−++ − tQtKtBtRtBtKtKtAtAtKtK TT& . [1.85] Cette équation différentielle est à intégrer à rebours à partir de la condition finale
[1.82]. Elle est de la forme ( )KtFK ~,~=& où la fonction F est quadratique, donc
localement lipschitzienne en K~ . Il est clair que si K~ est une solution de [1.85] vérifiant [1.82], TK~ a la même propriété. Par conséquent, le théorème de Cauchy permet d’affirmer que TKK ~~
= , donc que ( )tK~ est symétrique. De plus, la théorie des équations différentielles permet d’affirmer qu’il existe,
parmi les sous-intervalles de [ ]ftt ,0 , un intervalle maximal non vide ( ]ftt ,1
(ouvert ou fermé en 1t ) sur lequel ( )tK~ est définie ; si de plus, ou bien 01 tt > , ou
bien 01 tt = mais ( ]ftt ,1 est ouvert en 1t , alors ( ) +∞→tK~ lorsque 1tt → en
restant dans l’intervalle ] ]ftt ,1 [SCHW 92]. Ce point 1t , quand il existe, est appelé point focal (et est parfois appelé, par abus de langage, « point conjugué » : voir exercice 1.7).
Nous allons maintenant utiliser un résultat découlant de la théorie de Hamilton-Jacobi-Bellman (voir chapitre 3, §3.3.2) ; c’est le suivant : pour tout ] ]fttt ,1∈ , le
60 Commande optimale
critère est optimal pour la commande [1.83] lorsque 0t est remplacé par t, et sa
valeur est alors ( ) ( ) ( ) ( )txtKtxtJ T ~* = .
L’absence de point focal dans l’intervalle ] ]ftt ,0 (appelée « condition faible de
Jacobi ») équivaut à l’existence de la solution ( )tK~ sur cet intervalle. Or, cette
existence est nécessaire pour que la commande [1.83] soit définie sur [ ]ftt ,0 , et
suffisante si cette commande peut être prolongée par continuité en 0t ; cette commande est alors optimale si ( )tJ * admet une limite finie quand 0tt → en
restant dans l’intervalle ] ]ftt ,0 . D’autre part, il est clair que l’absence de point
focal dans l’intervalle [ ]ftt ,0 (appelée « condition forte de Jacobi ») garantit que la
commande [1.83] est définie sur [ ]ftt ,0 et est optimale.
Dans le cas convexe ( 0≥Σ et pour tout [ ]fttt ,0∈ , ( ) 0~≥tQ ), on peut
appliquer le théorème 1.15 (§1.4.4) ; l’existence de la commande optimale est alors garantie.
On peut rassembler les résultats obtenus dans le théorème suivant : Théorème 1.16. Pour que le problème linéaire quadratique admette une
solution : (i) La condition faible de Legendre [1.77] est nécessaire ; (ii) Dans le cas où l’état final est libre et où la condition forte de Legendre [1.78]
est vérifiée, il est nécessaire que soit satisfaite la condition de Jacobi sous forme faible : il n’y a pas de point focal dans l’intervalle ] ]ftt ,0 , et il est suffisant que soit satisfaite le condition de Jacobi sous forme forte : il n’y a pas de point focal dans l’intervalle [ ]ftt ,0 . La commande optimale est alors unique et est en boucle fermée, s’exprimant linéairement en fonction de l’état suivant ( ) ( ) xtGxtu −=,* où ( ) ( ) ( ) ( )tStRtGtG T1~ −+= . La condition faible de Jacobi, dans la circonstance considérée, est certainement satisfaite dans le cas convexe : 0≥Σ et ( ) 0~
≥tQ pour tout [ ]fttt ,0∈ , puisque l’existence de la commande optimale est alors assurée.
1.4.7. Première et seconde variation pour le problème de Pontriaguine
Il est à présent possible d’établir pour le problème de Pontriaguine une théorie de
la première et de la seconde variation ; la situation est supposée correspondre à celle du §1.3.4 : l’ensemble U est ouvert, l’instant final est fixé et la formulation stricte du Principe du maximum est valide (rem. 1.8, §1.4.3). Avec le passage à la limite
Principe du maximum 61
maintenant habituel, les éléments du § 1.3.4 se transposent de la manière suivante : en notant respectivement ux et T
up l’état et le vecteur adjoint correspondant à la
commande u (ce qui signifie, pour Tup , qu’il vérifie l’équation adjointe et
l’équation de transversalité), on obtient à partir de [1.62] l’expression de la première variation ( )uuJ δδ ; ( uδ étant une variation faible) :
( ) ( ) ( ) ( )( ) ( )dttutptutxtu
uuJ Tuu
t
t
fδδδ ,,,;
0
∫∂
∂−=
H [1.86]
On obtient à partir de [1.63] l’expression de la seconde variation ( )uuJ δδ *;2 :
( ) ( ) ( )[ ] ( ) ( )( ) ( )
( )( ) tdtutx
tRtStStQ
tutxxxuuJft
tT
TTf
Tf
∫
+Σ=
δδ
δδδδδδ0
21
21*;2
où les accroissements xδ et uδ sont les variables d’état et de commande du
système linéarisé tangent ( ) ( ) utBxtAx δδδ +=& , avec ( )xf
tA∂∂
= , ( )uf
tB∂∂
= , ces
différentielles partielles étant évaluées au point ( ) ( )( )tutxt *,*, , ainsi que
( )2
2
xtQ
∂
∂−=
H , ( )ux
tS∂∂
∂−=
H2, ( )
2
2
utR
∂
∂−=
H , ces différentielles partielles étant
évaluées au point ( ) ( ) ( )( )tptutxt T,*,*, ; enfin, ( ) ( )*2**2
2, f
Tff xGdxt
xK µ+
∂
∂=Σ ,
où Tµ est le multiplicateur de Lagrange intervenant dans l’équation [1.67]. Le problème linéaire quadratique « aux variations » ainsi défini est de nouveau appelé « problème de minimum secondaire ». On a le résultat suivant : Théorème 1.17. Pour le problème de Pontriaguine envisagé, supposons les conditions du théorème 1.14 (dans la formulation stricte de la remarque 1.8) satisfaites, le Principe du maximum étant remplacé par l’équation de stationnarité [1.76]. Pour que qu’un minimum local faible de J soit obtenu avec la commande u*, il est nécessaire le problème de minimum secondaire admette pour solution la commande nulle 0=uδ (soit : ( ) 0*,2 ≥uuJ δδ pour toute variation admissible
uδ ). Pour qu’un minimum local faible strict de J soit obtenu avec la commande u*, il est suffisant que le problème de minimum secondaire admette la commande nulle pour unique solution (soit : ( ) 0*,2 >uuJ δδ pour toute variation admissible
0≠uδ ). Remarque 1.11.
(a) Pour qu’un minimum local de J soit obtenu avec la commande *u , il est donc nécessaire que la condition faible de Legendre soit satisfaite. Elle s’écrit dans
62 Commande optimale
le cas présent : ( ) ( ) ( )( ) 0,*,*,2
2≤
∂
∂ tptutxtu
TH , [ ]fttt ,0∈∀ . (La nécessité de
cette condition n’a été établie que pour un minimum fort, mais on peut montrer qu’elle également valide pour un minimum faible [SARY 91].) Dans le cas d’un état final libre, la commande en boucle fermée donnée par le théorème 1.16 est évidemment nulle lorsque l’état initial est nul, ce qui est le cas ici : ( ) 00 =txδ . Supposons donc satisfaite la condition forte de Legendre :
( ) ( ) ( )( ) 0,*,*,2
2<
∂
∂ tptutxtu
TH , [ ]fttt ,0∈∀ ; alors la condition faible (resp.
forte) de Jacobi : « il n’y a pas de point focal dans l’intervalle ] ]ftt ,0 (resp.
[ ]ftt ,0 ) », est nécessaire (resp. suffisante) pour qu’un minimum local faible (resp. faible strict) de J soit obtenu avec la commande u*.
(b) Dans le cas où mU ℜ= , toute variation uδ appartenant à l’ensemble ( )IC m
des fonctions continues sur [ ]fttI ,0= et à valeurs dans mℜ , est admissible. Si
uδ est remplacée par uδλ , 0>λ , alors xδ et ( )uuJ δδ *,2 sont remplacés
respectivement par xδλ et ( )uuJ δδλ *,22 . Donc, s’il existe ( )ICu m∈δ telle que
( ) αδδ −=uuJ *,2 , 0>α , alors ( )
( ) −∞=∈
uuJICu m
δδδ
*,inf 2 (ce qu’on obtient en
prenant +∞→λ ). Par conséquent, ( )
( ) 0*,inf 2 =∈
uuJICu m
δδδ
ou −∞ , et dans le
premier cas cette borne inférieure est atteinte pour 0=uδ . Bien entendu, cette remarque peut également être faite à propos du théorème 1.13, §1.3.4.
(c) Voyons ce que devient la première variation [1.86] quand on utilise des variations fortes, U n’étant pas nécessairement ouvert. A la fin de la partie 1) de la démonstration de la proposition 1.6 (§1.4.2), on a obtenu l’expression
( ) ( ) ( )ττδ outftpJ T +∆−= ,11 . Soit :
( ) ( ) ( )TTT pvxtpuxtvpuxt ,,,,,,;,,,~ HHE −= . [1.87] Avec la commande u considérée dans cette démonstration, on a
( ) ( ) ( ) ( )( ) 0;,*,*,~=tutptutxt TE en dehors de l’intervalle ] [11 , tt τ− , et on a donc
l’équivalent suivant lorsque εV∈u (voir § 1.4.1) avec +→ 0ε :
( ) ( ) ( ) ( )( )dttutptutxtJft
t
T∫0
;,*,*,~ ~Eδ . [1.88]
1.5. Calcul des variations
Principe du maximum 63
Il a déjà été souligné que le Calcul des variations est un cas particulier de la théorie de la Commande optimale, obtenu en considérant comme équation d’évolution ux =& (donc en posant ( ) uuxtf =,, ) et en supposant que U est un
ouvert de mℜ . La « formulation stricte » du Principe du maximum est valide (§1.4.3, rem. 1.8, (ii)). La fonction l est supposée de classe 2C (hypothèse que l’on peut affiner suivant le type de condition envisagé : pour les conditions du premier ordre, il suffit de supposer l de classe 1C ; l’existence d’une dérivée partielle seconde par rapport à t n’est jamais requise, celle d’une dérivée partielle première par rapport à cette variable ne l’est pas toujours).
1.5.1. Formalisme de Hamilton
Le formalisme de Hamilton, correctement revu [SUSS 97], est un cas particulier
de celui de Pontriaguine. L’Hamiltonien est donné par : ( ) ( )uxtluppuxt TT ,,,,, −=H . [1.89]
Les « équations canoniques de Hamilton » sont [1.65] et [1.66] où H~ est remplacé par H et où l’argument 0λ est supprimé. La condition de transversalité [1.73] (avec les mêmes modifications) est bien entendu toujours valide. Avec la fonction définie par l’équation [1.87], le Principe du maximum s’écrit :
( ) ( ) ( )( ) 0;,*,*,~≥vtptutxt TE , Uv ∈∀ , [ ] ( )*
*0 ,
ucfttt ∈∀ . [1.90]
Il s’agit d’une condition nécessaire de minimum local fort qui, sous la forme considérée ici, est valide sous la seule condition que la formulation stricte du Principe du maximum soit correcte. En supposant que U est un ouvert de mℜ , [1.90] entraîne :
• au premier ordre, la condition de stationnarité [1.76], qui s’écrit à présent (en replaçant u par x& ) :
( ) ( ) ( )( )txtxtxl
tpT ** ,, &&∂
∂= ; [1.91]
• au second ordre, la condition faible de Legendre :
( ) ( ) ( )( ) 0,,, **2
2≥
∂
∂ tptxtxtx
l T&&
, [ ]fttt ,0∈∀ . [1.92]
Ces deux conditions sont également des conditions nécessaires de minimum local faible (rem. 1.11, §1.4.7). Une autre condition nécessaire de minimum local fort est la « condition des angles de Weierstrass-Erdmann », c’est-à -dire la continuité des fonctions Tp et *H sur [ ]ftt ,0 (remarque 1.7, §1.4.2). Dans le cas convexe, la condition nécessaire et suffisante du théorème 1.15 (§1.4.4) se particularise sans difficulté au cas du Calcul des variations.
64 Commande optimale
1.5.2. Formalisme de Lagrange
Compte tenu de [1.91], l’équation adjointe [1.65] s’écrit :
( ) ( ) ( )( )tutxtxl
tpT ** ,,∂∂
=& . L’équation de stationnarité [1.75] devient donc :
( ) ( )( ) ( ) ( )( )tutxtxl
txtxtxl
tdd **** ,,,,
∂∂
=
∂∂
&&
[1.93]
qui est l’équation d’Euler-Lagrange. Bien entendu, dans cette équation, les variables x et x& sont considérées comme étant indépendantes ( x& n’étant qu’une nouvelle notation pour u ). Rappelons qu’il s’agit d’une condition nécessaire de minimum local faible du premier ordre.
La fonction ( ) ( )
∂∂
= vuxtuluxtvu,x,t,
T;,,,,,~EE est appelée « fonction de
Weierstrass » (E : du latin excessus). La condition [1.90] s’exprime au moyen de E sous la forme :
( ) ( )( ) 0≥u,t*u,t*x,tE , [ ] ( )**
0 , ucfttt ∈∀ , Uu ∈∀ .
Cette inégalité est la « condition de Weierstrass » ; contrairement à [1.90], elle n’est valide que lorsque U est un ouvert de mℜ , puisque ce n’est que dans ce cas qu’on peut utiliser la condition de stationnarité [1.91].
Dans le cas d’un état final libre, on a vu au §1.4.7 qu’en supposant la condition forte de Legendre satisfaite, la condition faible (resp. forte) de Jacobi pour le problème de minimum secondaire, est une condition nécessaire (resp. suffisante) de minimum local faible. La condition de Jacobi, exprimée différemment, s’applique à d’autres types de condition finale [GELF 63], [BRYS 69]. Dans le cadre du Calcul des variations, l’expression [1.88] peut être affinée : l’intégrale qui y figure est en fait exactement la variation du critère (théorème de Weierstrass) ; ce résultat permet d’établir une condition suffisante (obtenue par Weierstrass en 1879) de minimum local fort. Ceci sort du cadre de ce chapitre : voir [GELF 63].
1.5.3. Application à la dynamique d’un système holonôme
Un système mécanique est dit holonôme si la position de ses différentes parties peut être caractérisée par n variables indépendantes 1q , …, nq , appelées les coordonnées généralisées de ce système, qui est alors dit à n degrés de liberté. Le vecteur q de ces coordonnées généralisées (qui peuvent être des positions et des angles) appartient donc à un espace vectoriel de dimension n , appelé espace de configuration.
Principe du maximum 65
L’énergie cinétique T est une fonction quadratique de uq =& , soit
( ) ( )uqMuu,q T21
=T où ( )qM est la « masse généralisée ». Il s’agit d’une
matrice symétrique réelle. Supposons que ce système mécanique soit soumis à un « vecteur force généralisée » f (dont les composantes sont des forces ou des couples) dérivant d’un potentiel ( )qU , soit : ( )qU−∇=f .
On appelle action entre deux instants 0t et ft la quantité
( ) ( )( ) ( )( )[ ]dttqtq,tqft
t∫ −=0
UTS & .
Le Principe de moindre action de Maupertuis (énoncé par Maupertuis en 1744 et par Euler… l’année précédente [GOLD 80]), affirme que le mouvement s’effectue de manière à minimiser cette action S (on verra à la fin de ce paragraphe que cette assertion est en réalité inexacte). Voyons les conditions obtenues à partir du Calcul des variations. L’Hamiltonien s’écrit
( ) ( ) ( )quqMuuppuq TTT UH +−=21,, [1.94]
L’équation de stationnarité s’écrit
( ) ( ) ( )( ) ( )( ) ( )tutqMtutqul
tpT
**** , =
∂∂
= [1.95]
Ainsi, p est la « quantité de mouvement généralisée ». La condition faible de
Legendre s’écrit ( )( ) 0≥tqM * . L’équation du mouvement est déterminé par l’équation adjointe
( ) ( ) ( ) ( )( )tptutqq
tp TT ,, **∂
∂−=H
& qui, dans le cas le plus simple où la « masse
généralisée » est indépendante de q , devient une forme généralisée du Principe
fondamental de la dynamique : ( ) ( )( ) ( )ttqtp f=−∇= *U& . Enfin, on a :
( ) =t*H ( ) ( )( ) ( ) ( )( ) ( ) ( )( ) ( )( )tqtu,tqtqtutqMtu ******T* UTU +=+21 ;
autrement dit, « l’Hamiltonien optimal » est l’énergie totale du système mécanique.
Puisque 0=∂
∂tH
, la relation [1.72] devient ( ) 0=t*H& , donc ( ) =t*H constante :
c’est le théorème de conservation de l’énergie totale. Le Principe de moindre action, tel qu’il a été énoncé plus haut, est inexact ; on peut seulement affirmer que l’action est stationnaire, dans le sens où sa première variation est nulle : 0=Sδ (voir exercice 1.7). Ce « Principe de l’action stationnaire », ou « Principe de Hamilton » (formulé un siècle environ après qu’Euler et Maupertuis eurent formulé leur Principe de moindre action), est
66 Commande optimale
extrêmement général en physique. On peut noter que si l’énergie cinétique est une forme quadratique définie positive en q& (ce qui correspond à la condition forte de Legendre), alors la condition forte de Jacobi entraîne que l’action est minimale entre deux instants 0t et ft tels que 00 >− tt f est suffisamment petit : c’est le « Principe de moindre action de Jacobi ». 1.6. Exercices Section 1.2 Exercice 1.1. Soit les fonctions ( ) 21 uuuJ −= , où ( )321 u,u,uu = , et
( ) ( ) ( ) ( ) 1232221 −++= uuuuf . (i) On rappelle qu’une fonction continue sur un
compact admet un maximum et un minimum ; en déduire que J admet un minimum sous la contrainte ( ) 0=uf . (ii) Déterminer ce minimum et en quel(s) point(s) il est
atteint. (Réponse :
− 0,
21,
21 .)
Exercice 1.2. Soit A une partie fermée non vide et non bornée de nℜ et
ℜ→AJ : une fonction. Cette fonction est dite coercive si ( ) +∞→uJ quand +∞→u ( u restant dans A ). (i) Monter qu’une fonction coercive et continue
admet un minimum. (ii) Soit les fonctions ( ) ( ) ( )222121, uuuuJ += et
( ) 2, 2121 −= uuuuf . Montrer que J admet un minimum sous la contrainte ( ) 0=uf . (iii) Déterminer ce minimum et en quel(s) point(s) il est atteint.
(Réponse : ( ) 1,2,2 ±=εεε .)
Exercice 1.3. Soit ( ) ( ) ( ) 212221 824 uuuuuJ +−+= , où ( )21 u,uu = , et les
contraintes 425 21 ≤+ uu , 01 ≥u , 02 ≥u . Montrer que le problème de minimum (global) sous contraintes inégalité admet une solution et déterminer en quel(s)
point(s) ce minimum est atteint. (Réponse :
0,
54 .)
Section 1.3 Exercice 1.4. Soit le système linéaire scalaire [ ]1,11 −∈=+ kk ux , 00 =x . On
considère le critère ( ) ( )[ ]∑ −=−
=
1
0
222N
kkk uxJ , l’état final étant libre. (i) Par un calcul
direct, montrer que ( )21−−= NuJ , et en déduire que la commande 0=ku ,
Principe du maximum 67
2...,,0 −∈ Nk et 11 ±=−Nu , est optimale. (ii) Montrer que l’état adjoint kp correspondant à cette commande est nul. iii) En déduire que la fonction
→ku ( )1* ,, +kkkk puxH est maximale sur [ ]1,1− pour 1=ku , et donc que le
Principe du maximum [1.45] ne s’applique pas à cet exemple (mais que la condition d’Euler [1.44] est vérifiée). Section 1.4 Exercice 1.5. Soit le système du second ordre uy =&& . On souhaite amener ce système d’une condition initiale quelconque ( ) 00 yy = , ( ) 00 yy && = à ( ) 0=fty ,
( ) 0=fty& en minimisant le temps de transfert ft sous la contrainte ( ) 1≤tu . (i)
Déterminer la représentation d’état de ce système pour l’état ( )y,yx &= . (ii) Déterminer, dans le plan de phase, les trajectoires de phase du système, suivant que
1=u ou 1−=u . (iii) En partant d’une condition initiale quelconque, déterminer la trajectoire de phase suivie, et vérifier qu’il y a au plus une commutation, conformément à la remarque 1.10, §1.4.5. (Indication : les « courbes de
commutation » sont ( )212
2xx ε= , ( )usigne=ε ). Noter que commande optimale est
en boucle fermée. Exercice 1.6. Généralisation de la condition de transversalité. (i) On considère le problème discret de Pontriaguine où la condition [1.37] est remplacée par fN Sx ∈ avec I fff VES = , fE étant le sous-ensemble de nℜ
défini par ( ) 0≤NN xG , où NG est une submersion de rang 0≥r et de classe 1C ,
et où fV est une sous-variété de nℜ . Montrer que le théorème 1.9 reste valide pourvu que la condition de transversalité [1.42] soit remplacée par
( ) ( )fxNNTN SNxKdp
N*
*00 ++∈ λ .
(ii) Considérons maintenant le problème de Pontriaguine où la condition [1.4] est remplacée par ( ) fff Sxt ∈, avec I fff VES = , fE étant le sous-ensemble de
n+ℜ1 défini par ( ) 0, ≤ff xtG , où G est une submersion de rang 0≥r et de classe 1C , et où fV est une sous-variété de n+ℜ1 . En reprenant le raisonnement du
§1.4.3, montrer qu’on est amené à remplacer la condition de transversalité [1.73] par la condition plus générale :
( ) ( ) ( ) ( )( )fxtfT
ffff SNtpxtxK*
ft*xttK
ff, ** ,
*****0 ,0,0~
+
+
∂∂
−
∂∂
∈ λλ H .
68 Commande optimale
Section 1.5. Exercice 1.7. Soit un point de masse m se mouvant sur l’axe des x à partir de l’origine, et soumis à une force de rappel xkf −= , 0>k (de sorte que l’origine est
un point d’équilibre). (i) Montrer que l’énergie potentielle est 221 xkU = . (ii) En
appliquant le Principe fondamental de la dynamique, et en supposant, pour simplifier les calculs, que mk = dans les unités choisies, montrer que toutes les solutions x vérifiant la condition initiale ( ) 00 =x sont de la forme ( ) tctx sin= ,
ℜ∈c . (iii) On applique le Principe de moindre action au problème à état final libre.
Déterminer l’équation différentielle de Riccati, puis sa solution en prenant .2π
=ft
(iv) Montrer que 01 =t est l’unique point focal dans l’intervalle
2,0 π . En déduire
que l’action ne peut pas être minimisée sur
2,0Ï€t pour 00 <t , donc que le
Principe de moindre action de Maupertuis est inexact. (v) Par un passage à la limite (voir la discussion qui précède le théorème 1.16, §1.4.6), montrer que ( ) tctx sin=
minimise l’action sur
2,0 π avec la condition initiale ( ) 00 =x . (On peut montrer
que ( ) tctx sin= minimise l’action sur [ ]ft,0 pour π<< ft0 , mais non pas pour
π>ft ; les points 0 et π sont dits conjugués : voir [GELF 63], §36.2.) 1.7. Bibliographie
[ALEX 82] ALEXEEV V., TIKHOMIROV V., FOMINE S., Commande optimale, Mir, 1982. [BERN 76] BERNHARD, P., Commande optimale, décentralisation et jeux dynamiques, Dunod,
1976. [BOLT 58] Boltianski V., Principe du maximum dans la théorie des processus optimaux,
Doklady de l’Acad. Sc. de l’URSS, vol. 119, n°6, pp. 1070-1073, 1958. [BOLT 72] BOLTIANSKI V., Méthodes mathématiques de contrôle optimal,. Mir, 1972. [BOLT 73] BOLTIANSKI V., Commande optimale des systèmes discrets, Mir, 1976.
(Traduction de l’édition originale en russe parue en 1973). [BONN 01] BONNANS F., « The Shooting Algorithm for Optimal Control Problems : A
Review of Some Theoretical and Numerical Aspects », Ecole Polytechnique & INRIA-Rocquencourt (France), November 25, 2001.
Principe du maximum 69
[BOUR 81] BOURBAKI N., Espaces vectoriels topologiques, Masson, 1981. [BOURL 04] BOURLES H., « Commande optimale des systèmes sujets à des contraintes
mixtes : une approche fondée sur les conditions de Fritz John et leur généralisation », soumis à JESA en 2004.
[BRYS 69] BRYSON A.E., HO Y.-C., Applied Optimal Control, Blaisdell, 1969. [CIAR 90] CIARLET P.G., Introduction à l'analyse numérique matricielle et à l'optimisation,
Masson, 1990. [CLAR 76] CLARKE F.H., « The Maximum Principle Under Minimal Hypotheses », SIAM
Journal on Control and Optimization, vol. 14, pp. 1078-1091, 1976. [CLAR 83] CLARKE F.H., Optimization and Nonsmooth Analysis, Wiley, 1983. [CLAR 98] CLARKE F.H., LEDYAEV YU.S., STERN R.J., WOLENSKI P.R., Nonsmooth Analysis
and Control Theory, Springer, 1998. [FLEM 75] FLEMING W. H., RISHEL R. W., Deterministic and Stochastic Optimal Control,
Springer Verlag, 1975. [GELF 63] GELFAND I.M., FOMIN S.V., Calculus of Variations, Prentice-Hall, 1963. [GOLD 80] GOLDSTINE H.H., A History of the Calculus of Variations From the 17th Through
the 19th Century, Springer Verlag, 1980. [GORE 89] GORECKI H., FUKSA S., GRABOWSKI P., KORYTOWSKI A., Analysis and Synthesis of
Time Delay Systems, John Wiley, 1989. [HART 95] HARTL R.F., SETHI S.P., VICKSON R.G., « A survey of the maximum principle for
optimal control problems with state constraints », SIAM Review, vol. 37, n°2, pp. 181-218, 1995.
[HAUS 78] HAUSSMANN U.G., « On the Stochastic Maximum Principle », SIAM J. Control
and Optimization, vol. 16, n°2, pp. 236-269, 1978. [JOHN 48] JOHN F., « Extremum Problems with Inequalities as Subsidiary Conditions »,
Studies and Essays Presented to R. Courant on his 60th Birthday, Interscience, 1948, pp. 187-204.
[KALM 69] KALMAN R., FALB P.L., ARBIB M.A., Topics in Mathematical Control Theory,
McGraw-Hill, 1969. [KARU 39] KARUSH W. E., Minima of Functions of Several Variables with Inequalities as
Side Conditions, Ph. D Thesis, Univ. of Chicago, 1939. [KUHN 51] KUHN H., TUCKER A.W., « Nonlinear Programming », 2nd Berkeley Symp. on
Math. Statistics and Probability. Univ. of California Press, 1951.
70 Commande optimale
[LUEN 68] LUENBERGER D.G., Optimization by Vector Space Methods, John Viley, 1968. [NEUS 76] NEUSTADT L. W., Optimization, A Theory of Necessary Conditions, Princeton
Univ. Press, 1976. [PALL 66] PALLU DE LA BARRIERE R., Cours d’automatique théorique, Dunod, 1966. [PONT 61] PONTRIAGUINE L., BOLTIANSKI V., GAMKRELIDZE R., MICHTCHENKO E., Théorie
mathématique des processus optimaux, Mir, 1974. (Traduction de l’édition originale en russe parue en 1961.)
[ROZO 59] ROZONOER L.I., in Automation and Remote Control, vol. 20 ; I : « Theory of
Optimum Systems », n°10, pp. 1288-1302 ; II : « L.S. Pontryagin’s and Maximum Principle in Optimal System Theory », n°11, pp. 1405-1421 ; III : « The Maximum Principle of Pontryiagin in Optimal System Theory », n°12, pp. 1517-1532 ; 1959.
[SARY 91] SARYCHEV A.V., « High-order necessary conditions of optimality for nonlinear
control systems », Systems & Control Letters, vol. 16, n°5, pp. 369-378, 1991. [SCHW 92] SCHWARTZ L., Analyse II, Hermann, 1992. [STOE 80] STOER J., BULIRSCH R., Introduction To Numerical Analysis, Springer, 1980. [SUSS 97] SUSSMANN H.J., WILLEMS J.C., « 300 Years of Optimal Control : From the
Brachystochrone to the Maximum Principle », IEEE Control Systems Magazine, pp. 32-44, June 1997.
[SUSS 98] SUSSMANN H.J., « Geometry and Optimal Control », in Mathematical Control
Theory, J. Baillieul and J.C. Willems edts, pp. 140-198, Springer Verlag, 1998.
Index
A action 65 arc 26 B bipolaire 25 C cible (variété −) 17 commande admissible 17 efficace 17 en temps minimal 57 coupole 27 critère 17 final 17 intégral 17 mixte 17 terminal 17 condition des angles de Weiersrass-
Erdmann 52, 64 d’Euler 29, 31, 40 de Jacobi 60, 62 de Legendre 58, 62, 64 de Mangasarian-Fromovitz
35
de transversalité 41, 50, 54, 67, 68
de Slater 35 de Weierstrass 64 cône 24 normal 26 pointé 24 saillant 24 tangent 26 contingent vectoriel 26 convexe ensemble − 23 enveloppe − 23 enveloppe fermée − 25 fonction − 23 coordonnées généralisées 65 E égalité d’Euler 19, 30 équation adjointe 40, 50 canonique 40, 50 d’Euler-Lagrange 64 de Riccati 45, 59 de stationnarité 76 de transversalité 41, 50,
54 espace de configuration 65
F fonction coercive 66 de Weierstrass 64
H Hamiltonien 39, 42, 49, 54 holonôme 65 L Lagrangien 30-33 lemme de Farkas-Minkowski 25 M méthode paramétrique 52 minimum faible 19 fort 20 sous contrainte égalité 30 sous contrainte inégalité
32 strict 30 multiplicateur de Lagrange
30-36 P point conjugué 60, 68 focal 60 polaire 25 principe de moindre action de Jacobi 66 de Maupertuis 65 principe de Hamilton 66 principe du maximum 41, 50,
54, 63 problème
aux deux bouts 41 continu de Pontriaguine
16, 21 linéaire quadratique 43, 58 de minimum secondaire
48, 61 de temps minimal 17, 57 discret de Pontriaguine 21 R régulier point − 36 point strictement − 36 S submersion 27 T termes croisés 46 théorème de Fritz John 34 de Hahn-Banach 24 de Karush-Kuhn-Tucker
36 de Weierstrass 64 V variation faible 19, 50 forte 20, 49, 50 première − 31, 47, 61 seconde − 37, 47, 61 vecteur adjoint 40 tangent 26