48
beamer-logo Mod` ele GAM et mod` ele GAM adaptative pour la pr´ evision de consommation ´ electrique fran¸ caise ` a court terme Yannig Goude EDF R&D, France (EDF R&D, France) 19/11/2010 1 / 44

Présentation EDF consommation par Y. Goude

  • Upload
    cornec

  • View
    1.127

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Modele GAM et modele GAM

adaptative pour la prevision de

consommation electrique francaise a

court terme

Yannig GoudeEDF R&D, France

(EDF R&D, France) 19/11/2010 1 / 44

Page 2: Présentation EDF consommation par Y. Goude

beamer-logoEDF

1 La prevision de consommation electrique

2 Les donnees de consommationCycles et proprietes temporelles du signal de conso. FranceDependance aux variables meteorologiquesDependance aux variables tarifaires/economiquesEvenements atypiques

3 Le modele parametrique utilise par EDF

4 La methodologie GAMcadre theoriqueStatistiques interessantes pour la pratique

5 Application 1: un modele de la consommation electrique Francaise

6 Application2: un modele unique

(EDF R&D, France) 19/11/2010 2 / 44

Page 3: Présentation EDF consommation par Y. Goude

beamer-logoEDF

La prevision de consommation electrique

Une activite essentielle pour EDF:

(presque) pas de stockage: necessited’adequation offre-demande en tempsreel

eviter les black outs

eviter les penalites financieresresultant d’un desequilibreoffre-demande

→ La prevision de conso. est une activite cledu management d’energie:

la consommation est la variabled’entree pour le programme d’appel

le management d’un grand nombre de

moyens de production electrique en

depend:

centrales nucleaire,thermiquesbarrages, heoliennes

(EDF R&D, France) 19/11/2010 3 / 44

Page 4: Présentation EDF consommation par Y. Goude

beamer-logoEDF

La prevision de consommation electrique

La prevision de consommation est donc necessaire a plusieurs horizons:

tres court terme (infra-journalier): de 1h a 24h

court terme: de 1 jour a 2 semaines

programme d’appel, tous les jours a 16h pour le lendemaintrading (marche spot)

moyen terme:de 2 semaines a 5 ans

maintenancepolitique de gestion de risque

long terme: de 5 a 50 ans

strategie d’investissement

(EDF R&D, France) 19/11/2010 4 / 44

Page 5: Présentation EDF consommation par Y. Goude

beamer-logoEDF

La prevision de consommation electrique

La prevision de consommation est donc necessaire a plusieurs horizons:

tres court terme (infra-journalier): de 1h a 24h

court terme: de 1 jour a 2 semaines

programme d’appel, tous les jours a 16h pour le lendemaintrading (marche spot)

moyen terme:de 2 semaines a 5 ans

maintenancepolitique de gestion de risque

long terme: de 5 a 50 ans

strategie d’investissement

(EDF R&D, France) 19/11/2010 4 / 44

Page 6: Présentation EDF consommation par Y. Goude

beamer-logoEDF

La prevision de consommation electrique

La prevision de consommation est donc necessaire a plusieurs horizons:

tres court terme (infra-journalier): de 1h a 24h

court terme: de 1 jour a 2 semaines

programme d’appel, tous les jours a 16h pour le lendemaintrading (marche spot)

moyen terme:de 2 semaines a 5 ans

maintenancepolitique de gestion de risque

long terme: de 5 a 50 ans

strategie d’investissement

(EDF R&D, France) 19/11/2010 4 / 44

Page 7: Présentation EDF consommation par Y. Goude

beamer-logoEDF

La prevision de consommation electrique

La prevision de consommation est donc necessaire a plusieurs horizons:

tres court terme (infra-journalier): de 1h a 24h

court terme: de 1 jour a 2 semaines

programme d’appel, tous les jours a 16h pour le lendemaintrading (marche spot)

moyen terme:de 2 semaines a 5 ans

maintenancepolitique de gestion de risque

long terme: de 5 a 50 ans

strategie d’investissement

(EDF R&D, France) 19/11/2010 4 / 44

Page 8: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Les donnees de consommation Cycles et proprietes temporelles du signal de conso. France

Une tendance:

(EDF R&D, France) 19/11/2010 5 / 44

Page 9: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Les donnees de consommation Cycles et proprietes temporelles du signal de conso. France

Un cycle annuel:

(EDF R&D, France) 19/11/2010 6 / 44

Page 10: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Les donnees de consommation Cycles et proprietes temporelles du signal de conso. France

Un cycle hebdomadaire:

(EDF R&D, France) 19/11/2010 7 / 44

Page 11: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Les donnees de consommation Cycles et proprietes temporelles du signal de conso. France

Un cycle journalier:

(EDF R&D, France) 19/11/2010 8 / 44

Page 12: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Les donnees de consommation Dependance aux variables meteorologiques

La temperature:

(EDF R&D, France) 19/11/2010 9 / 44

Page 13: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Les donnees de consommation Dependance aux variables meteorologiques

La nebulosite:

(EDF R&D, France) 19/11/2010 10 / 44

Page 14: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Les donnees de consommation Dependance aux variables tarifaires/economiques

Jours Effacements Jour de Pointe:

(EDF R&D, France) 19/11/2010 11 / 44

Page 15: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Les donnees de consommation Dependance aux variables tarifaires/economiques

Activite Economique (IPI...)

(EDF R&D, France) 19/11/2010 12 / 44

Page 16: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Les donnees de consommation Evenements atypiques

Coupe du monde de foot:

(EDF R&D, France) 19/11/2010 13 / 44

Page 17: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Les donnees de consommation Evenements atypiques

Un exemple de l’effet greve:

(EDF R&D, France) 19/11/2010 14 / 44

Page 18: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Le modele parametrique utilise par EDF

(EDF R&D, France) 19/11/2010 15 / 44

Page 19: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Le modele parametrique utilise par EDF

(EDF R&D, France) 19/11/2010 16 / 44

Page 20: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Le modele parametrique utilise par EDF

(EDF R&D, France) 19/11/2010 17 / 44

Page 21: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Le modele parametrique utilise par EDF

(EDF R&D, France) 19/11/2010 18 / 44

Page 22: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Le modele parametrique utilise par EDF

(EDF R&D, France) 19/11/2010 19 / 44

Page 23: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Le modele parametrique utilise par EDF

(EDF R&D, France) 19/11/2010 20 / 44

Page 24: Présentation EDF consommation par Y. Goude

beamer-logoEDF

La methodologie GAM cadre theorique

Cadre theorique:

soit y une v.a.r

les variables explicatives associees: x1, ..., xp, et X ∗ = x∗1 , ..., x∗k

Un modele GAM correspond au type de modele suivant:

yi = X ∗i β

∗ + f1(x1,i ) + f2(x2,i ) + f3(x3,i , x4,i ) + ...+ εi

Ou (εi )i=1,...,n:

iid

E(εi ) = 0,V (εi ) = σ2

les fonctions fj sont supposees suffisemment ”lisses” (estimable par regressionspline penalisee...)

(EDF R&D, France) 19/11/2010 21 / 44

Page 25: Présentation EDF consommation par Y. Goude

beamer-logoEDF

La methodologie GAM cadre theorique

Plus precisement:

yi = X ∗i β

∗ + f1(x1,i ) + f2(x2,i ) + f3(x3,i , x4,i ) + ...+ εi

on suppose que∫

f′′

(x)2dx est faible (cubic splines)

cette notion de regularite etant parametrable: parametre λ= (λ1, λ2, ...)

# cela conduit au probleme d’optimisation suivant:

minβ∗,fj

n∑i=1

(yi − X ∗i β

∗ − f1(x1,i )− f2(x2,i ) + ...)2

︸ ︷︷ ︸MSE

+λ1

∫f′′

1 (x)2dx + λ2

∫f′′

2 (x)2dx︸ ︷︷ ︸penalite

+...

(EDF R&D, France) 19/11/2010 22 / 44

Page 26: Présentation EDF consommation par Y. Goude

beamer-logoEDF

La methodologie GAM cadre theorique

(EDF R&D, France) 19/11/2010 23 / 44

Page 27: Présentation EDF consommation par Y. Goude

beamer-logoEDF

La methodologie GAM cadre theorique

Projection lineaire dans une base de fonction:

fj(x) =

k1∑q=1

a1,q(x)β1,q

le probleme devient:

minf ,g

n∑i=1

(yi−X ∗i β

∗−k1∑

q=1

a1,q(xi )β1,q−k2∑

q=1

a2,q(xi )β2,q...)2+λ1β

t1S1β1+λ2β

t2S2β2+...

Ou: Sj est une matrice connue, dependant de la base choisie

connaissant λ le probleme se ramene a un probleme de ridge regression

les solutions: on note F := [X ∗, a1(X1), a2(X2), ..., ap(Xp)]

β = (FTF + λ1S1 + λ2S2 + ...)−1FT yA = F (FTF + λ1S1 + λ2S2 + ..)−1FT , µ = Ay

(EDF R&D, France) 19/11/2010 24 / 44

Page 28: Présentation EDF consommation par Y. Goude

beamer-logoEDF

La methodologie GAM cadre theorique

Choix de λ

Validation croisee: OCV

enlever une observationestimer le modele sur le nouveau jeu de donneeprevoir l’observation en question, mesurer l’erreur quadratiqueiterer le processus sur toutes les observationschoisir le λ qui minimise l’erreur moyenne (OCV score)

# Pb: temps de calcul

Validation croisee generalisee: GCV

V = n‖y − Ay |2/(n − tr(A))2

Avantage du GCV:

temps de calcul: formule explicite, permet d’appliquer un algo d’optim numerique(package mgcv de R: Newton multidimension)

resultats theoriques (voir [Wahba (1990)]): asymptotique (minimise l’erreur quad.de prevision), stabilite au choix de la base de splines

(EDF R&D, France) 19/11/2010 25 / 44

Page 29: Présentation EDF consommation par Y. Goude

beamer-logoEDF

La methodologie GAM Statistiques interessantes pour la pratique

degres de liberte estime: tr(A)

R2 = 1−∑

(yi − µi )2/

∑(yi − y)2, ajusted-R2 = 1− 1

n−p

∑(yi − µi )

2/∑

(yi − y)2

GCV scoreV = n‖y − Ay |2/(n − tr(A))2

tests (Fisher, Student) (hyp. de normalite)

Outil informatique: R, package mgcv (Simon Wood, voir [Wood (2001)] et[Wood (2006)])

(EDF R&D, France) 19/11/2010 26 / 44

Page 30: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application 1: un modele de la consommation electrique Francaise

Pourquoi un modele GAM a EDF:

deformation de la courbe de charge (modification des usages)

modele parametrique couteux en donnee, hypothese rigides

prevision d’un intervalle de confiance...

(EDF R&D, France) 19/11/2010 27 / 44

Page 31: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application 1: un modele de la consommation electrique Francaise

Les donnees:

la consommation electrique (donnees consolidees horaires): P en MW

la temperature T en ◦C

la temperature ressentie Tl , provenant de la modelisation parametriqueoperationnelle

T23 (resp. T23), la temperature maximale (resp. minimale) des dernieres 24 heures

la nebulosite N en Octet (0 pas de nuage, 1 1/8 du ciel couvert...,1 ciel totalementcouvert)

la vitesse du vent V (en m/s)

le calendrier

posant : quantieme du jour de l’observation t dans l’annee (1/365.25pour le 01/01, 2/365.25 le 02/01...)tdjt : variable qualitative, dans 1, ..., kswe:variable qualitative, dans 0, 1, pour weekend/ semaine

Les variables meteo. sont des moyennes ponderees (prise en compte de la population,l’industrialisation...) de 26 stations du territoire. La periode d’estimation s’etend du 1erseptembre 2000 au 31 aout 2005. Pour prendre en compte le cycle journalier de la

conso., ainsi que pour des raisons de temps de calcul, nous considerons un modeledifferent par instant de la journee (ici l’heure), soit 24 modeles

(EDF R&D, France) 19/11/2010 28 / 44

Page 32: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application 1: un modele de la consommation electrique Francaise

Modeles testes

Modele R2 GCV Effets pris en compte

mod1 0.904 6.63 ∗ 106 f (Tl ), f (Pt−24), f (Pt−168), f (posant ), f (Nt )

mod2 0.911 5.69 ∗ 106 f (Tt ), f (Tt−1), f (Tt−24), f (Pt−24),f (Pt−168),f (posant )

mod3 0.911 5.69 ∗ 106 f (Tt ), f (Tt−24), f (Tt−48), f (Tt−24+Tt−48

2), f (Pt−24), f (Pt−168),f (posant )

mod4 0.978 1.43 ∗ 106 mod1 +swet

mod5 0.979 1.41 ∗ 106 mod2 +swet

mod6 0.979 1.38 ∗ 106 mod3 +swet

mod7 0.987 8.83 ∗ 106 mod6 +trend

mod8 0.994 3.94 ∗ 105 mod7 -swet + tdjtmod9 0.994 3.22 ∗ 105 mod8 +gestion lag/jours feries

mod10 0.994 3.19 ∗ 105 mod9 +f (Pt−24, by = tdjt )

mod11 0.994 2.9 ∗ 105 mod10 -f (Pt−168)+f (Pt−168, posan)

mod12 0.994 2.67 ∗ 105 mod11 -f (Tt )+f (Tt , Vt )

mod13 0.996 2.66 ∗ 105 mod12 + invalid. outliers

mod14 0.996 2.74 ∗ 105 mod13+ rupture d’ete

mod15 0.997 2.52 ∗ 105 mod14-f (posant )+f (posant , by = swe)

mod16 0.997 2.44 ∗ 105 mod15-f (Pt−168, posan)

mod17 0.997 2.35 ∗ 105 mod16-f (Tt−24+Tt−48

2)+f (T23)+f (T23) rupture d’ete

Possibilite d’inclure la rupture d’ete, mais pas la rupture d’hiver dans le modele (pas assez de donnees)

(EDF R&D, France) 19/11/2010 29 / 44

Page 33: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application 1: un modele de la consommation electrique Francaise

Le modele retenu: modele 17 (93 degres de liberte par heure)

(EDF R&D, France) 19/11/2010 30 / 44

Page 34: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application 1: un modele de la consommation electrique Francaise

Qualite du modele retenu sur la periode d’estimation:

(EDF R&D, France) 19/11/2010 31 / 44

Page 35: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application 1: un modele de la consommation electrique Francaise

(EDF R&D, France) 19/11/2010 32 / 44

Page 36: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application 1: un modele de la consommation electrique Francaise

40000 50000 60000 70000 80000

−10

000

010

000

2000

030

000

lag load

lag

load

effe

ct, f

riday

40000 50000 60000 70000 80000

−10

000

010

000

2000

030

000

lag load

lag

load

effe

ct, s

unda

y

0 5 10 15 20 25 30

−10

000

010

000

2000

030

000

Temperature

tem

pera

ture

effe

ct

0.0 0.2 0.4 0.6 0.8 1.0

−10

000

010

000

2000

030

000

Day j, year n

year

ly s

easo

nnal

ity, d

ays

of w

eek

(EDF R&D, France) 19/11/2010 33 / 44

Page 37: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application 1: un modele de la consommation electrique Francaise

(EDF R&D, France) 19/11/2010 34 / 44

Page 38: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application 1: un modele de la consommation electrique Francaise

Performance en prevision: sur la periode du 01/09/2005 au 31/08/2006

(EDF R&D, France) 19/11/2010 35 / 44

Page 39: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application 1: un modele de la consommation electrique Francaise

comparaison avec le modele operationnel:

(EDF R&D, France) 19/11/2010 36 / 44

Page 40: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application2: un modele unique

Plusieurs points sont non resolus par le precedent modele:

24 modeles independants: perte d’information, besoin d’un grand nombre dedonnees

jours feries

rupture d’hiver

effets ”fixes” au cours de l’annee de prevision

⇒ une modification du package R mgcv a ete realise pour pouvoir prendre en compteun plus grand nombre de donnees, cela permet:

l’estimation d’un modele unique pour les 48 demi-heures

la re-estimation du modele en ligne, chaque jour

prise en compte d’une correlation demi-horaire

(EDF R&D, France) 19/11/2010 37 / 44

Page 41: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application2: un modele unique

Le modele:

Pt = tdjt + g1(tdjt , Pt−48)I1 + ...+ g4(tdjt , Pt−48)I4 + f1(t) + f2(posant ) + f3(Nt ) + f4(Tt , instt ) + f5(Tt−48,Tt−96) + εt

Ou:

instt est l’heure de la journee (pas demi-heure)

εt est un processus AR(1)

(Ij )j=1,..,4 correspond a une classe de type de jour modelisant le transition vacances-jour ouvrables (hh,hw,wh,ww)

Le modele est estime sur 2002-2007, la prevision se fait ensuite sur l’annee 2007.Ce travail s’est effectue en 2 etapes:

selection de modele sans prendre en compte la dependance temporelle de εt

estimation de l’AR(1) optimal (grille sur ρ)

Temps de calcul:

estimation du modele (incluant ρ): 10 heures

re-estimation en ligne: 10 min

Degres de liberte:

48 modeles demi-horaire: 93 ∗ 48 = 4464

modele unique: 775

(EDF R&D, France) 19/11/2010 38 / 44

Page 42: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application2: un modele unique

(EDF R&D, France) 19/11/2010 39 / 44

Page 43: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application2: un modele unique

(EDF R&D, France) 19/11/2010 40 / 44

Page 44: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application2: un modele unique

Performance en prevision sur 2007: RMSE de 1004-886MW en estimation,1077-852MW en prevision

(EDF R&D, France) 19/11/2010 41 / 44

Page 45: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application2: un modele unique

(EDF R&D, France) 19/11/2010 42 / 44

Page 46: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application2: un modele unique

(EDF R&D, France) 19/11/2010 43 / 44

Page 47: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application2: un modele unique

Ameliorations possibles:

les ponts (nouveau type de jour: hwh)

les changements d’heure

periode du 24/12 au 01/01 (idem ponts?)

modelisation de la dependance temporelle (MA?)

(EDF R&D, France) 19/11/2010 44 / 44

Page 48: Présentation EDF consommation par Y. Goude

beamer-logoEDF

Application2: un modele unique

Green and Silverman (1994) ”Nonparametric Regression and Generalized Linear Models”. Chapman and Hall.

Hastie and Tibshirani (1990) ” Generalized Additive Models”. Chapman and Hall.

Wahba (1990) ”Spline Models of Observational Data”. SIAM

Wood (2001) mgcv:GAMs and Generalized Ridge Regression for R. R News 1(2):20-25

Wood and Augustin (2002) ”GAMs with integrated model selection using penalized regression splines and applications to

environmental modelling”. Ecological Modelling 157:157-177

Wood (2006)Generalized Additive Models, An Introduction with R (Chapman and Hall, 2006)

(EDF R&D, France) 19/11/2010 44 / 44