Méthodes pour l’estimation de probabilités d’évènements rares … · 2019. 3. 1. · d’incertitudes aléatoires (q,e fixés) Crude Monte Carlo [Silverman, 1986]: Estimation

Méthodes pour l’estimation de probabilités

d’évènements rares en présence d’incertitudes

épistémiques

M. Balesdent

1, L. Brevault

1, J. Morio

1, S. Lacaze

2, S.

Missoum

3

1 Onera – The French Aerospace Lab, France,2 The Mathworks, Cambridge, United-Kingdom,

3 University of Arizona, Tucson, USA

Journée IMdR / AFM sur l’estimation de probabilités d’évènements rares en mâıtrisedes risques et en sûreté de fonctionnement

M. Balesdent, L. Brevault et al. Estimation d’évènements rares 09/06/2016 1 / 35

Plan

1 Introduction

2 Partie 1 : Propagation des incertitudes épistémiques sur la modélisation des lois deprobabilitésDescription du problèmeApproche proposéeApplication à la caractérisation de la retombée d’un étage de lanceur

3 Partie 2 : Propagation des incertitudes a↵ectant la modélisation de l’état limite dedéfaillanceDescription du problèmeApproche proposéeApplication à la caractérisation de la retombée d’un étage de lanceur

4 Conclusion et perspectives


Introduction

Plan

1 Introduction





Introduction

Catégories d’incertitudes

Di↵érents types d’incertitudes [Thunnissen, 2003]:

Incertitudes aléatoires : variabilité intrinsèque du système et/ou de son environnement(formalisme des probabilités), notées U

Incertitudes épistémiques : défaut de connaissance ou hypothèses de modélisation

(formalisme des intervalles)I paramètres de modélisation des distributions des variables aléatoires, notées qI paramètres du code de simulation, notées e

Windgust

Nozzle flowmodeling

Aleatory uncertainty

Epistemicuncertainty

(c)Onera

(c)Cnes


Introduction

Position du problème

U 2 Rdaleatoires,distribuéesselon fq

Y = g(U,e),scalaire etaléatoire

On cherche à calculer une probabilité de défaillance: P(g(U,e)> S)

Hypothèses de l’étude :

g(·, ·) : code de simulation coûteux entemps de calcul

P : probabilité rare, P

Introduction

Approche de simulation classique en présence

d’incertitudes aléatoires (q ,e fixés)

Crude Monte Carlo [Silverman, 1986]:

Estimation de l’état du système pourchaque échantillon CMC (défaillantou non),

PCMC = 1M ÂMi=1 g(u(i), ,e)>S

Limitations :

Coût calculatoire très important,

Faible précision de l’estimation pourprobabilité rare avec un budgetraisonnable.

−5 0 5−4

−2

0

2

4

6

U1

U 2

Failure domain

Safe domain 10 000

Crude Monte Carlo samples


Introduction

Deux exemples de méthodes alternatives

Importance Sampling [Glynn, 1996]:

Modification de la densité de tirage initiale f pour favoriser l’occurence de la défaillance,

PIS = 1MM

Âi=1

1g(ui [f̃ ])>S)f(ui [f̃ ])f̃(ui [f̃ ])

Optimisation des paramètres de la densité de tirage auxiliaire f̃ par Cross-Entropy.

−5 0 5−4

−2

0

2

4

6

U1

U 2

Limit stateInput uncertainty

Safe domain

Failure domain


Introduction

Deux exemples de méthodes alternatives

Subset simulation [Au and Beck, 2001]:

PSS = P(U 2⌦f ) = ’mi=1 Ph

U 2⌦fi |U 2⌦fi�1i

,

Définition d’une séquence de domaines de défaillance imbriqués ⌦f0 ⌘⌦�⌦f1 � · · ·�⌦fm ⌘⌦f ,

Domaine de défaillance intermédiaire : 8i = {1, . . . ,m}⌦fi = {u|g(u)> Si },

Génération de nouveaux échantillons à partir des précédents par algorithme de Metropolis-Hastings.

−5 0 5−4

−2

0

2

4

6Subset simulation − step 1

U(1)

U(2)

−5 0 5−4

−2

0

2

4

6

U(1)

U(2)

Subset simulation − step 2

Intermediate threshold

−5 0 5−3

−2

−1

0

1

2

3

4

5

U(1)

U(2)

Subset simulation − step 3

Intermediatethreshold

U

U

(1)

(2)


Introduction

Approximation de l’état limite de défaillance

Méthodes existantes [Matheron, 1963, Balesdent et al., 2013a, Dubourg et al., 2013]:

Approximation du code de calcul ĝ(·) (Kriging, Support Vector Machine, etc.),Ra�nement du modèle de substitution au voisinage de l’état de défaillance, et dans deszones à fort contenu probabiliste : P [ĝ(U)> S].

U

U

(1)

(2)


Introduction

Analyse de défaillance en présence d’incertitudes

épistémiques

Partie 1 : Incertitudes épistémiquessur la modélisation des lois de proba-bilités

Rare Event Probability Estimation in the Presence of EpistemicUncertainty on Input Probability Distribution Parameters. M.Balesdent, J. Morio, L. Brevault. Methodology and Computingin Applied Probability (2014) Springer.

−5 0 5

−2

−1

0

1

2

3

4

5

U1

U2

φe1(⋅)ΦU () e1 .

−5 0 5

−2

−1

0

1

2

3

4

5

U1

U2

φe2(⋅)ΦU () e2 .

Partie 2 : Incertitudes demodélisation inhérentes au codede calcul

Reliability analysis in the presence of aleatory and epistemic un-certainties, application to the prediction of a launch vehicle falloutzone, L. Brevault, S. Lacaze, M. Balesdent, S. Missoum. Journalof Mechanical Design, à parâıtre, ASME. U1

-5 0 5

U2

-3

-2

-1

0

1

2

3

4

5

Limit state affected by epistemic uncertainty


Incertitudes sur les hyperparamètres de lois

Plan

1 Introduction





Incertitudes sur les hyperparamètres de lois Description du problème

Propagation de l’incertitude épistémique sur les

hyperparamètres de lois

U est distribué selon une pdf jointe fq (·) dont les paramètres sontincertains et connus dans un intervalle :

q 2⇥=n

q 2 RK |8i = 1, . . . ,K , q i 2⇥

q imin,q imax⇤

Caractérisation de l’incertitude sur P par détermination des bornesmin/max :

Pmin = minq2⇥

Pq (g(U)> S)

Pmax = maxq2⇥

Pq (g(U)> S)


Incertitudes sur les hyperparamètres de lois Description du problème

But de l’étude

Proposition d’une méthodologie permettant de propager l’incertitude deshyperparamètres de lois sur la probabilité estimée:

Di�cultés :1 Combinaison algorithme

d’optimisation et estimationde probabilité

2 Probabilité faible à estimer

3 Fonction g(·) non connue(bôıte noire), potentiellementnon linéaire et coûteuse àévaluer

Propositions :1 Couplage CMA-ES et

Importance Sampling (CrossEntropy)

2 Adaptation de la CrossEntropy pour diminuer le coûtcalculatoire d’une estimationde probabilité

3 Création et ra�nement d’unmodèle de substitution de g(·)


Incertitudes sur les hyperparamètres de lois Approche proposée

Approche proposée [Balesdent et al., 2014]



Rappels Importance Sampling et Cross Entropy

Estimation de la probabilité par Cross-Entropy :

P̂ISq0

=1

M

M

Âi=1

1g(Ui [f̃q0 ])>Sfq

0

(Ui [f̃q0 ])f̃q0(Ui [f̃q0 ])

.

Détermination de la densité auxiliaire optimale par annulation de lavariance de l’estimation :

V

1g(U[f̃q0 ])>Sfq

0

(U[f̃q0 ])f̃q0(U[f̃q0 ])

!

= 0

La densité optimale est donnée par :

fopt(U) =1g(U)>Sfq

0

(U)

Pq0(g(U)> S)avec Pq0(g(U)> S) inconnue et objet de l’estimation.

! Paramétrisation de la densité auxiliaire (f̃q0

(·)! f lq0

(·)) et utilisationde l’algorithme de Cross Entropy pour déterminer l opt .M. Balesdent, L. Brevault et al. Estimation d’évènements rares 09/06/2016 15 / 35


Rappels Importance Sampling et Cross Entropy

[Rubinstein and Kroese, 2004]

Estimation de l en minimisant la distance de Kullback-Leibler entrefopt(·) et f lq

0

(·):

D(fopt ,f lq0) =Z

Rdfopt(u) ln

fopt(u)f lq0(u)

!

du

l opt est donné par :

lopt =argmaxl

n

Eh

1g(U[f lq0 ])>Sln⇣

f lq0(U[flq0 ])⌘io

Di�culté de trouver lopt directement !définition d’une famille de seuils S0 < S1 <· · ·< SN = S ”plus faciles à atteindre”, et op-timisation de l de proche en proche.



Couplage Importance Sampling et Krigeage (1/3)



Couplage Importance Sampling et Krigeage

Stratégie adoptée [Balesdent et al., 2013b]:

Proposition d’échantillons par IS,

Utilisation d’un modèle de Krigeage,

Utilisation de l’erreur de prédiction pour déterminer les échantillons pour lesquelsle modèle est incertain et amène à une ambiguité sur le dépassement de seuil,

Ra�nement du modèle dans ces zones.

S

confidence interval

uncertain points

true fonctionsurrogate modelbound of confidence intervalevaluated points Zpredicted point

Z

+-g g g

U

s U



Estimation de Pq (g(U)> S) à partir de l’estimation dePq

0

(g(U)> S) (1/2)



Estimation de Pq (g(U)> S) à partir de l’estimation dePq

0

(g(U)> S) (2/2)On suppose Pq

0

(g(U)> S) estimée par CE pour une valeur de q = q0

Problème:

Comment estimer à coût réduit Pq1

(g(U)> S) pour q = q1

i .e. sans avoir à e↵ectuertout le processus itératif de CE? (i .e. pour tous les seuils intermédiaires)

Remarque:

Indépendance de {U|g(U)> S} par rapport à q : les points tirés selon f l optq0

sont despoints utiles pour l’estimation de Pq (g(U)> S)

Idée:

Utiliser f l optq0

(·) comme densité de tirage initiale pour q = q1

, et e↵ectuer un processusCE classique à partir de cette densité, en utilisant la minimisation de la distance deKullback.! Gain : Evite d’e↵ectuer le processus CE pour les seuils intermédiaires (x3 en vitessede convergence en moyenne).



Détermination des bornes sur la probabilité (1/2)



Détermination des bornes sur la probabilité (2/2)

Détermination de Pmin et Pmax : problèmes d’optimisation non linéaires etmultimodaux, dont la fonction objectif est le résultat d’une estimation deproba (fonction bruitée).

Utilisation de l’algorithme Covariance Matrix Adaptation - EvolutionaryStrategy [Kruisselbrink et al., 2011] possédant un traitement e�cace dubruit.

q (k+1) =m(k)+s (k)N (0,C(k))


Incertitudes sur les hyperparamètres de lois Application

Retombée d’un étage de lanceur (1/2)

Entrées gaussiennes U :Conditions météorologiques (2 variables Mc1 et Mc2 )

Masse de l’étage de lanceur (1 variable : m )

Angle de rentrée (1 variable : g)

Sortie du code Y :

Distance entre position prédite et position estimée

Probabilité d’intérêt: Pq [g(U)> 0.65km]

Paramètres Domaines de variation

E(Mc1) [�1.1,�0.9]

E(Mc2) [0.9,1.1]

E(m) [0.45,0.55]

E(g) [�2.2,�1.8]


Incertitudes sur les hyperparamètres de lois Application

Retombée d’un étage de lanceur (2/2)

Proposed method MC-MC MC-ISNumber of samples required byCE for estimating the probability 2.80⇥104 106 2.80⇥104with reference q0Number of samples evaluated onf3 for estimating the probability 1196 / /with reference q0 using KrigingEstimation of Pq0 (g(U)> S) 1.96⇥10

�5 1.95⇥10�5 1.98⇥10�5

Std deviation of the probability 4.91% 22.6% 4.80%estimate for reference q0Pmax 7.47⇥10�5 6.50⇥10�5 6.22⇥10�5Number of points evaluated on g 7089 108 2.8.106

to find PmaxStd deviation of Pmax 5.00% 12.4% 5.03%

CMC IS (CE)


Incertitudes de modélisation de l’état de défaillance

Plan

1 Introduction





Incertitudes de modélisation de l’état de défaillance Description du problème

Description du problème

Le code de calcul g sou↵re d’incertitudes épistémiques, caratérisées pardes paramètres e qui connus dans un intervalle :

e 2⌥= {e 2 Rw |8i = 1, . . . ,w , e i 2⇥

e

imin,e

imax

⇤

Caractérisation de l’incertitude sur P par détermination des bornesmin/max :

8

<

:

Pmin =mine2⌥

P [g(U,e)> S ]Pmax =max

e2⌥P [g(U,e)> S ]

Calculer les bornes de P [·] requiert:Résolution d’un problème d’optimisation pour caractériser les bornessur la probabilité de défaillance,

Estimation de la probabilité de défaillance.


Incertitudes de modélisation de l’état de défaillance Approche proposée

Approche proposée

Approche séquentielle:

Estimation de la probabilité de défaillance: Subset Sampling [Au and Beck, 2001] permettantde caractériser des états de défaillance non linéaires et présentant plusieurs modes,

Modèle de substitution: Krigeage [Matheron, 1963] dans l’espace joint des variables aléatoireset épistemiques,

Stratégie de ra�nement du Krigeage dans les zones :I Avec fort poids probabiliste,I Sur l’état limite de défaillance approximé,I Autour des valeurs des variables épistémiques menant à Pmax ou Pmin,I Echantillons de ra�nement du Krigeage déterminés par un problème d’optimisation

auxiliaire.

Initial DoE

Kriging model construction

Interval Analysis Kriging adaptiverefinement

Converged ?

Sequential loop

P −5 −4 −3 −2 −1 0 1 2 3 4 5−2

−1

0

1

2

3

4

5

U1

U 2

Adapted refinement strategy

?

??


Incertitudes de modélisation de l’état de défaillance Approche proposée

Stratégie de ra�nement du Krigeage proposée (pour

détermination de Pmax

)

−5 −4 −3 −2 −1 0 1 2 3 4 5−2

−1

0

1

2

3

4

5

U1

U2

maxu,e

[fU

(u)]1d mini=1,...,Ns

h

k u(i)�u k+ k e(i)�e ki

s.t. ĝ(u,e,Y ) = 0

P̂[e]� P̂�maxh

e

⇤(t)i

e

min

e emax

u 2⌦M. Balesdent, L. Brevault et al. Estimation d’évènements rares 09/06/2016 28 / 35

Incertitudes de modélisation de l’état de défaillance Application

Application - retombée d’étage de lanceur

Evaluation de Pmax = maxe2⌥

P [g(U,e)> 20km]

Variables incertaines Types Définitions

Erreur d’altitude de séparation (m) Aléatoire N (0,001)Erreur de vitesse de séparation (km/s) Aléatoire N (0,001)Erreur de pente de séparation (rad) Aléatoire N (0,003)Erreur d’azimuth de séparation (rad) Aléatoire N (0,0.00175)Masse sèche de l’étage (kg) Aléatoire N (0,70)Paramètre de queue de poussée du 1er

étageEpistémique [0,1]

0 20 40 60 800

50

100

150

200

250

300

350

400

Combustion time (s)

Mas

s flo

w ra

te (k

g/s)

1st stage mass flow rate − epistemic uncertainty

u=1

u=0

u*


Incertitudes de modélisation de l’état de défaillance Application

Résultats

xLaunch

Impactpoints

zoom

Second stage impact point PDF

Nominal impact point

x x

Crude Monte Carlo Subset Simulation

Threshold

Méthode proposée FORM - UUA[Du et al., 2005]

Valeur de référence(MC)

Pmax (e⇤) 2.91⇥10�4(5.6%) 6.41⇥10�5 2.93⇥10�4Ng�calls 60+72=132 1114 25.2⇥106


Conclusion et perspectives

Plan

1 Introduction







Conclusion:

Propagation des incertitudes sur les paramètres de modèles(distribution des lois et code de simulation) pour l’estimationd’évènements rares,

Solution proposée : couplage optimisation - Importance Sampling /Subset sampling - krigeage avec méthode de ra�nement adaptée.

Perspectives:

Appliquer cette stratégie dans un processus de reliability-based designoptimization (RBDO),

Étendre l’algorithme à des variables incertaines non décrites par desintervalles (logique floue, etc .).



Merci de votre attention



Références I

Au, S.-K. and Beck, J. L. (2001).

Estimation of small failure probabilities in high dimensions by subset simulation.Probabilistic Engineering Mechanics, 16(4):263–277.doi:10.1016/S0266-8920(01)00019-4.

Balesdent, M., Morio, J., and Brevault, L. (2014).

Rare event probability estimation in the presence of epistemic uncertainty on input probability distribution parameters.Methodology and Computing in Applied Probability, pages 1–20.

Balesdent, M., Morio, J., and Marzat, J. (2013a).

Kriging-based adaptive importance sampling algorithms for rare event estimation.Structural Safety, 44:1–10.

Balesdent, M., Morio, J., and Marzat, J. (2013b).

Kriging-based adaptive importance sampling algorithms for rare event estimation.Structural Safety, 44(0):1 – 10.

Du, X., Sudjianto, A., and Huang, B. (2005).

Reliability-based design with the mixture of random and interval variables.Journal of mechanical design, 127(6):1068–1076.doi:10.1115/1.1992510.

Dubourg, V., Sudret, B., and Deheeger, F. (2013).

Metamodel-based importance sampling for structural reliability analysis.Probabilistic Engineering Mechanics.doi:10.1016/j.probengmech.2013.02.002.



Références II

Glynn, P. W. (1996).

Importance sampling for monte carlo estimation of quantiles.In Mathematical Methods in Stochastic Simulation and Experimental Design: Proceedings of the 2nd St. PetersburgWorkshop on Simulation, pages 180–185.

Kruisselbrink, J. W., Reehuis, E., Deutz, A., Bäck, T., and Emmerich, M. (2011).

Using the uncertainty handling cma-es for finding robust optima.In Proceedings of the 13th annual conference on Genetic and evolutionary computation, GECCO ’11, pages 877–884,New York, NY, USA. ACM.

Matheron, G. (1963).

Principles of geostatistics.Economic geology, 58(8):1246–1266.doi:10.2113/gsecongeo.58.8.1246.

Rubinstein, R. Y. and Kroese, D. P. (2004).

The Cross-Entropy Method : A Unified Approach to Combinatorial Optimization, Monte-Carlo Simulation and MachineLearning (Information Science and Statistics).Springer.

Silverman, B. W. (1986).

Density estimation for statistics and data analysis, volume 26.CRC press.

Thunnissen, D. P. (2003).

Uncertainty classification for the design and development of complex systems.In 3rd annual predictive methods conference, pages 1–16.


IntroductionPartie 1 : Propagation des incertitudes épistémiques sur la modélisation des lois de probabilitésDescription du problèmeApproche proposéeApplication à la caractérisation de la retombée d'un étage de lanceur

Partie 2 : Propagation des incertitudes affectant la modélisation de l'état limite de défaillanceDescription du problèmeApproche proposéeApplication à la caractérisation de la retombée d'un étage de lanceur


Documents

Méthodes pour l’estimation de probabilités d’évènements rares … · 2019. 3. 1. · d’incertitudes aléatoires (q,e fixés) Crude Monte Carlo [Silverman, 1986]: Estimation