THÈSE

N° d’ordre : 537MA THÈSE présentée par Victor PICHENY pour obtenir le grade de Docteur de l’École Nationale Supérieure des Mines de Saint-Étienne Spécialité : Mathématiques Appliquées IMPROVING ACCURACY AND COMPENSATING FOR UNCERTAINTY IN SURROGATE MODELING soutenue à Gainesville (USA), le 15 décembre 2009 Membres du jury Président : Bertrand IOOSS Ingénieur-chercheur, Centre à l'Energie Atomique, Cadarache Rapporteurs : Tony SCHMITZ Associate Professor, University of Florida, Gainesville, FL Bertrand IOOSS Examinateur(s) : Grigori PANASENKO Professeur, Université Jean Monnet, St Etienne Nam-Ho KIM Associate Professor, University of Florida, Gainesville, FL Jorg PETERS Professor, University of Florida, Gainesville, FL Olivier ROUSTANT Maitre-assistant, Ecole des Mines de St Etienne, St Etienne Directeurs de Raphael HAFTKA Professor, University of Florida, Gainesville, FL thèse : Alain VAUTRIN Professeur, Ecole des Mines de St Etienne, St Etienne Spécialités doctorales : Responsables : SCIENCES ET GENIE DES MATERIAUX J. DRIVER Directeur de recherche – Centre SMS MECANIQUE ET INGENIERIE A. VAUTRIN Professeur – Centre SMS GENIE DES PROCEDES G. THOMAS Professeur – Centre SPIN SCIENCES DE LA TERRE B. GUY Maître de recherche – Centre SPIN SCIENCES ET GENIE DE L’ENVIRONNEMENT J. BOURGOIS Professeur – Centre SITE MATHEMATIQUES APPLIQUEES E. TOUBOUL Ingénieur – Centre G2I INFORMATIQUE O. BOISSIER Professeur – Centre G2I IMAGE, VISION, SIGNAL JC. PINOLI Professeur – Centre CIS GENIE INDUSTRIEL P. BURLAT Professeur – Centre G2I MICROELECTRONIQUE Ph. COLLOT Professeur – Centre CMP Enseignants-chercheurs et chercheurs autorisés à diriger des thèses de doctorat (titulaires d’un doctorat d’État ou d’une HDR) AVRIL Stéphane MA Mécanique & Ingénierie CIS Mireille MA Sciences & Génie de l'Environnement SITE BATTON-HUBERT BENABEN Patrick PR 2 Sciences & Génie des Matériaux CMP BERNACHE-ASSOLANT Didier PR 0 Génie des Procédés CIS BIGOT Jean-Pierre MR Génie des Procédés SPIN BILAL Essaïd DR Sciences de la Terre SPIN BOISSIER Olivier PR 2 Informatique G2I BOUCHER Xavier MA Génie Industriel G2I BOUDAREL Marie-Reine MA Génie Industriel DF BOURGOIS Jacques PR 0 Sciences & Génie de l'Environnement SITE BRODHAG Christian DR Sciences & Génie de l'Environnement SITE BURLAT Patrick PR 2 Génie industriel G2I COLLOT Philippe PR 1 Microélectronique CMP COURNIL Michel PR 0 Génie des Procédés DF DAUZERE-PERES Stéphane PR 1 Génie industriel CMP DARRIEULAT Michel IGM Sciences & Génie des Matériaux SMS Roland PR 1 Sciences & Génie de l'Environnement SITE DECHOMETS DESRAYAUD Christophe MA Mécanique & Ingénierie SMS DELAFOSSE David PR 1 Sciences & Génie des Matériaux SMS DOLGUI Alexandre PR 1 Génie Industriel G2I DRAPIER Sylvain PR 2 Mécanique & Ingénierie SMS DRIVER Julian DR Sciences & Génie des Matériaux SMS FEILLET Dominique PR 2 Génie Industriel CMP FOREST Bernard PR 1 Sciences & Génie des Matériaux CIS FORMISYN Pascal PR 1 Sciences & Génie de l'Environnement SITE FORTUNIER Roland PR 1 Sciences & Génie des Matériaux SMS FRACZKIEWICZ Anna DR Sciences & Génie des Matériaux SMS GARCIA Daniel CR Génie des Procédés SPIN GIRARDOT Jean-Jacques MR Informatique G2I GOEURIOT Dominique MR Sciences & Génie des Matériaux SMS GOEURIOT Patrice MR Sciences & Génie des Matériaux SMS GRAILLOT Didier DR Sciences & Génie de l'Environnement SITE GROSSEAU Philippe MR Génie des Procédés SPIN GRUY Frédéric MR Génie des Procédés SPIN GUILHOT Bernard DR Génie des Procédés CIS GUY Bernard MR Sciences de la Terre SPIN GUYONNET René DR Génie des Procédés SPIN HERRI Jean-Michel PR 2 Génie des Procédés SPIN INAL Karim MR Microélectronique CMP KLÖCKER Helmut MR Sciences & Génie des Matériaux SMS LAFOREST Valérie CR Sciences & Génie de l'Environnement SITE LERICHE Rodolphe CR Mécanique et Ingénierie SMS LI Jean-Michel EC (CCI MP) Microélectronique CMP LONDICHE Henry MR Sciences & Génie de l'Environnement SITE MOLIMARD Jérôme MA Mécanique et Ingénierie SMS MONTHEILLET Frank DR 1 CNRS Sciences & Génie des Matériaux SMS PERIER-CAMBY Laurent PR1 Génie des Procédés SPIN PIJOLAT Christophe PR 1 Génie des Procédés SPIN PIJOLAT Michèle PR 1 Génie des Procédés SPIN PINOLI Jean-Charles PR 1 Image, Vision, Signal CIS STOLARZ Jacques CR Sciences & Génie des Matériaux SMS SZAFNICKI Konrad CR Sciences & Génie de l'Environnement DF THOMAS Gérard PR 0 Génie des Procédés SPIN VALDIVIESO François MA Sciences & Génie des Matériaux SMS VAUTRIN Alain PR 0 Mécanique & Ingénierie SMS VIRICELLE Jean-Paul MR Génie des procédés SPIN WOLSKI Krzysztof MR Sciences & Génie des Matériaux SMS XIE Xiaolan PR 1 Génie industriel CIS Glossaire : Centres : PR 0 Professeur classe exceptionnelle SMS Sciences des Matériaux et des Structures ère PR 1 Professeur 1 catégorie SPIN Sciences des Processus Industriels et Naturels ème PR 2 Professeur 2 catégorie SITE Sciences Information et Technologies pour l’Environnement MA(MDC) Maître assistant G2I Génie Industriel et Informatique DR (DR1) Directeur de recherche CMP Centre de Microélectronique de Provence Ing. Ingénieur CIS Centre Ingénierie et Santé MR(DR2) Maître de recherche CR Chargé de recherche EC Enseignant-chercheur IGM Ingénieur général des mines Dernière mise à jour le : 22 juin 2009 ACKNOWLEDGMENTS First of all, I would like to thank my advisors Dr. Raphael Haftka, Dr. Nam-Ho Kim and Dr. Olivier Roustant. They taught me how to conduct research, gave me priceless advices and support, and provided me with excellent guidance while giving me the freedom to develop my own ideas. I feel very fortunate to have worked under their guidance. I would also like to thank the members of my advisory committee, Dr. Bertrand Iooss, Dr. Grigori Panasenko, Dr. Jorg Peters, Dr. Alain Vautrin and Dr. Tony Schmitz. I am grateful for their willingness to serve on my committee, for reviewing my dissertation and for providing constructive criticism that helped me to enhance and complete this work. I particularly thank Dr. Iooss and Dr. Schmitz for their work as rapporteurs of my dissertation. I am grateful for many people that contributed scientifically to this dissertation: Dr. Nestor Queipo, who welcomed me for my internship at the University of Zulia (Venezuela) and provided me with thoughtful ideas and advices; Dr. Rodolphe Le Riche, with whom I developed a fruitful collaboration on the study of gear box problems; Dr. Xavier Bay, whose encyclopedic knowledge of mathematics allowed us to find promising results on design optimality; Dr. Felipe Viana, for his efficient contribution to the conservative surrogate problem; and Dr. David Ginsbourger, for his critical input on the targeted designs work...and his contagious motivation. I wish to thank to all my colleagues for their friendship and support, from the Structural and Multidisciplinary Optimization Group of the University of Florida, the Applied Computing Institute of the University of Zulia, and the 3MI department from the Ecole des Mines: Tushar, Amit, Palani, Erdem, Jaco, Ben, Christian, Felipe, Alex, Camila; Eric, Delphine, Celine, Bertrand, David, Nicolas, Olga, Natacha, Khouloud, Ksenia, and many others...I also thank all the staff of the University of Florida and Ecole des Mines 3that made possible my joint PhD program, and in particular Pam and Karen, who helped me many times. Financial supports, provided partly by National Science Fondation (Grant # 0423280) for my time in Florida and by the CETIM foundation for my time in France, are gratefully acknowledged. My final thoughts go to my friends, family, and Natacha. 4TABLE OF CONTENTS page ACKNOWLEDGMENTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 LIST OF TABLES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 LIST OF FIGURES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 LIST OF ABBREVIATIONS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 ABSTRACT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 CHAPTER 1 INTRODUCTION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2 ELEMENTS OF SURROGATE MODELING . . . . . . . . . . . . . . . . . . . 22 2.1 Surrogate Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.1.1 Notation And Concepts . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.1.2 The Linear Regression Model . . . . . . . . . . . . . . . . . . . . . . 23 2.1.3 The Kriging Model . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.1.3.1 Kriging with noise-free observations . . . . . . . . . . . . . 27 2.1.3.2 with nugget effect . . . . . . . . . . . . . . . . . . 29 2.2 Design Of Experiment Strategies . . . . . . . . . . . . . . . . . . . . . . . 30 2.2.1 Classical And Space-Filling Designs . . . . . . . . . . . . . . . . . . 30 2.2.2 Model-Oriented Designs. . . . . . . . . . . . . . . . . . . . . . . . . 32 2.2.3 Adaptive Designs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 3 CONSERVATIVE PREDICTIONS USING SURROGATE MODELING . . . . 36 3.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.2 Design Of Conservative Predictors . . . . . . . . . . . . . . . . . . . . . . . 37 3.2.1 Definition Of Conservative Predictors . . . . . . . . . . . . . . . . . 37 3.2.2 Metrics Forativeness And Accuracy . . . . . . . . . . . . . 38 3.2.3 Constant Safety Margin Using Cross-Validation Techniques . . . . . 40 3.2.4 Pointwise Safety Based On Error Distribution . . . . . . . . 41 3.2.5 Pointwise Safety Margin Using Bootstrap . . . . . . . . . . . . . . . 42 3.2.5.1 The Bootstrap principle . . . . . . . . . . . . . . . . . . . 42 3.2.5.2 Generating confidence intervals for regression . . . . . . . 43 3.2.6 Alternative Methods . . . . . . . . . . . . . . . . . . . . . . . . . . 46 3.3 Case Studies . . . .