Thèse : résolution de grands problèmes en optimisation stochastique dynamique et synthèse de lois de commande

Thèse présentée pour l’obtention du titre de Docteur de l’Université Paris-Est Spécialité : Mathématiques par Pierre GIRARDEAU Résolution de grands problèmes en optimisation stochastique dynamique et synthèse de lois de commande Soutenance le 17 décembre 2010 devant le jury composé de : Rapporteurs : Jean-Pierre Quadrat INRIA Paris-Rocquencourt Nizar Touzi École Polytechnique Examinateurs : Kengy Barty EDF R&D Andrew Philpott University of Auckland Felisa Vázquez-Abad Hunter College, New York Directeurs de thèse : Pierre Carpentier ENSTA-ParisTech Guy Cohen École des Ponts-ParisTech Cette thèse a été effectuée conjointement à l’Unité de Mathématiques Appliquées de l’ENSTA-ParisTech, au CERMICS de l’École des Ponts-ParisTech, et dans le département OSIRIS d’EDF R&D sous la forme d’un contrat CIFRE.ACette thèse a été rédigée à l’aide du logiciel libre de mise en forme LT X, ainsi que des précieux conseilsE proposés par Mori (2008) au sujet de la rédaction d’une thèse. iiRésumé Le travail présenté ici s’intéresse à la résolution numérique de problèmes de commande optimale stochastique de grande taille. Nous considérons un système dynamique, sur un horizon de temps discret et fini, pouvant être influencé par des bruits exogènes et par des actions prises par le décideur. L’objectif est de contrôler ce système de sorte à minimiser une certaine fonction objectif, qui dépend de l’évolution du sur tout l’horizon. Nous supposons qu’à chaque instant des observations sont faites sur le système, et éven- tuellementgardéesenmémoire.Ilestgénéralementprofitable,pourledécideur,deprendre en compte ces observations dans le choix des actions futures. Ainsi sommes-nous à la re- cherche de stratégies, ou encore de lois de commandes, plutôt que de simples décisions. Il s’agit de fonctions qui à tout instant et à toute observation possible du système associent une décision à prendre. Ce manuscrit présente trois contributions. La première concerne la convergence de méthodes numériques basées sur des scénarios. Nous comparons l’utilisation de méthodes basées sur les arbres de scénarios aux méthodes particulaires. Les premières ont été lar- gement étudiées au sein de la communauté “Programmation Stochastique”. Des dévelop- pements récents, tant théoriques que numériques, montrent que cette méthodologie est mal adaptée aux problèmes à plusieurs pas de temps. Nous expliquons ici en détails d’où provient ce défaut et montrons qu’il ne peut être attribué à l’usage de scénarios en tant que tel, mais plutôt à la structure d’arbre. En effet, nous montrons sur des exemples numériques que les méthodes particulaires, plus récemment développées et utilisant éga- lement des scénarios, ont un meilleur comportement même avec un grand nombre de pas de temps. La deuxième contribution part du constat que, même à l’aide des méthodes particu- laires, nous faisons toujours face à ce qui est couramment appelé, en commande optimale, la malédiction de la dimension. Lorsque l’état servant à résumer le système est de trop grande taille, on ne sait pas trouver directement, de manière satisfaisante, des stratégies optimales. Pour une classe de systèmes, dits décomposables, nous adaptons des résultats bien connus dans le cas déterministe, portant sur la décomposition de grands systèmes, au cas stochastique. L’application n’est pas directe et nécessite notamment l’usage d’outils statistiques sophistiqués afin de pouvoir utiliser la variable duale qui, dans le cas qui nous intéresse, est un processus stochastique. Nous proposons un algorithme original appelé Dual Approximate Dynamic Programming (DADP) et étudions sa convergence. Nous ap- pliquons de plus cet algorithme à un problème réaliste de gestion de production électrique sur un horizon pluri-annuel. La troisième contribution de la thèse s’intéresse à une propriété structurelle des pro- blèmes de commande optimale stochastique : la question de la consistance dynamique d’une suite de problèmes de décision au cours du temps. Notre but est d’établir un lien entre la notion de consistance dynamique, que nous définissons de manière informelle dans le dernier chapitre, et le concept de variable d’état, qui est central dans le contexte de la commande optimale. Le travail présenté est original au sens suivant. Nous montrons que, pour une large classe de modèles d’optimisation stochastique n’étant pas a priori consistants dynamiquement, on peut retrouver la consistance dynamique quitte à étendre la structure d’état du système. iiiAbstract This work intends to provide resolution methods for Stochastic Optimal Control (SOC) problems. We consider a dynamical system on a discrete and finite horizon, which is influenced by exogenous noises and actions of a decision maker. The aim is to minimize a given function of the system’s behaviour over the whole time horizon. We suppose that at every instant the decision maker is able to make observations on the system and keep some in memory. Since it is generally profitable to take these observations into account in order to draw further actions, we aim to design decision rules rather than simple decisions. Such rules associate to every instant and every possible observation of the system a decision to make. The present manuscript presents three main contributions. The first concerns the study of scenario-based solving methods for SOC problems. We compare the use of the so-called scenario trees technique to the particle methods. The first one has been widely studied among the Stochastic Programming community and has been somehow popular in applications; however recent developments showed numerically as well as theoretically that this methodology behaves poorly when the number of th problem’s time steps grows. We explain this fact in details and show that this negative feature is not to be attributed to the scenario setting, but rather to the use of the tree structure. Indeed, we show using numerical examples how the particle method – which is a newly developed variational technique also based on scenarios – behaves in a better way even when we deal with a large number of time steps. The second contribution starts from the observation that, even with particle methods, we are still facing somehow the curse of dimensionality. In other words, decision rules intrisically suffer from the dimension of their domain, e.g. observations or state in the Dynamic Programming framework. For a certain class of systems, namely decomposable systems, we adapt results concerning the decomposition of large-scale systems which are well known in the deterministic case to the SOC case. The application is not straight- forward and requires some statistical analysis for the dual variable, which is a stochastic process in our context. We propose an innovating algorithm called Dual Approximate Dynamic Programming (DADP) and study its convergence. We also apply DADP to a real-life power management problem. The third contribution concerns a rather structural property for SOC problems: the question of dynamic consistency for a sequence of decision making problems over time. Ouraimistoestablishalinkbetweenthenotionoftimeconsistency, thatwelooselydefine in the last chapter, and the central concept of state structure within optimal control. This contribution is original in the following sense: many works in the literature aim to find optimization models which somehow preserve the “natural” time consistency property for the sequence of decision making problems. On the contrary, we show for a broad class of SOC problems which are not a priori time-consistent, that it is possible to regain this property by simply extending the state structure of the model. vRemerciements Mes premiers remerciements vont aux personnes qui ont accepté de participer à mon jury de thèse. Les enseignements que j’ai eu la chance de recevoir de Jean-Pierre Quadrat m’ont été utiles tout au long de ces trois ans. Ses travaux en commande optimale et autour de la programmation dynamique m’ont souvent, au cours de cette période de thèse, servi d’inspiration. Je voudrais aussi remercier Nizar Touzi pour sa sympathie et pour l’intérêt qu’il a pu porter à nos recherches lors des séminaires et conférences au cours desquels j’ai eu le plaisir de le rencontrer. Il serait évidemment impensable de ne pas remercier mon collègue et néanmoins ami Kengy Barty, qui a beaucoup fait pour que cette thèse se passe dans les meilleures conditions et avec qui j’ai eu la chance, depuis maintenant cinq ans, de travailler dans une ambiance sereine, studieuse et amicale. J’espère que nous continuerons longtemps cette “collabora- tion”. J’ai eu l’occasion de rencontrer Andrew Philpott en 2008 lors de la conférence ISMP à Chicago. Suite à nos discussions, il s’est rapidement montré intéressé et encourageant à l’égard de nos travaux. J’aimerais ici le remercier chaleureusement, non seulement pour avoir bien voulu faire partie de mon jury de thèse, mais aussi pour me donner l’occasion de travailler avec lui dans l’année et demie qui arrive. Je remercie aussi Felisa Vázquez-Abad, entre autres pour les discussions tant scientifiques qu’amicales que nous avons pu avoir, que ce soit en France ou en Australie, lorsqu’elle m’a accueilli en 2008 à l’Université de Melbourne. Last but not least, toute ma gratitude va à mes directeurs de thèse, Pierre Carpentier et Guy Cohen. J’ai eu le privilège d’être activement suivi par deux scientifiques passionnés et passionnants qui ont su tantôt m’encourager, tantôt me mettre au défi, et ce toujours dans un climat à la fois studieux et sympathique. Aucoursdecestroisannées,j’aipassélaplupartdemontempsauseindudépartement Optimisation, Simulation, Risque et Statistique (OSIRIS) d’EDF R&D. Quand je repense aux débuts, mes premières pensées vont aux trois mousquetaires qui avaient encadré mon stage de césure dans ce département et dont l’exemple m’avait incité à faire le choix de poursuivre en thèse : Kengy Barty que je n’ai pas peur de remercier ainsi deux foi