Upload
kendall-lucas
View
36
Download
1
Embed Size (px)
DESCRIPTION
NHV - dinsdag 6 maart 2012 drs. Paul K. Baggelaar Icastat ir. Eit C.J. van der Meulen AMO. Trendanalyse op maat voor een meetnet waterkwaliteit. Hoofddoelstellingen milieumeetnetten. Beschrijven en beoordelen van: de toestand objectiveren met behulp van normen - PowerPoint PPT Presentation
Citation preview
1© Icastat - AMOIcastat - AMO
NHV - dinsdag 6 maart 2012NHV - dinsdag 6 maart 2012
drs. Paul K. Baggelaardrs. Paul K. Baggelaar Icastat Icastat
ir. Eit C.J. van der Meulenir. Eit C.J. van der MeulenAMOAMO
Trendanalyse op maat voorTrendanalyse op maat voor een meetnet een meetnet waterkwaliteitwaterkwaliteit
2© Icastat - AMOIcastat - AMO
Hoofddoelstellingen Hoofddoelstellingen milieumeetnettenmilieumeetnetten
Beschrijven en beoordelen van:Beschrijven en beoordelen van:
1.1. de de toestandtoestandobjectiveren met behulp van normenobjectiveren met behulp van normen
2.2. de de veranderingverandering van de toestand van de toestandobjectiveren met behulp van statistische objectiveren met behulp van statistische methodenmethoden vergt veel inspanning bij grootschalig vergt veel inspanning bij grootschalig meetnet (duizenden reeksen)meetnet (duizenden reeksen)
3© Icastat - AMOIcastat - AMO
TrendTrend
Vorm van niet-stationariteitVorm van niet-stationariteit
Verandering in het Verandering in het centrum centrum van de van de kansverdeling van meetwaarden over kansverdeling van meetwaarden over tenminste enkele jarentenminste enkele jaren
We richten ons op de We richten ons op de monotonemonotone trend trend
4© Icastat - AMOIcastat - AMO
Onderdelen van trendanalyseOnderdelen van trendanalyse
1.1. Trend Trenddetectiedetectie: objectieve uitspraak : objectieve uitspraak over wél of géén trendover wél of géén trend
2.2. Trend Trendkwantificeringkwantificering: schatting van de : schatting van de grootte van de trendgrootte van de trend
5© Icastat - AMOIcastat - AMO
Toetsen op monotone trendToetsen op monotone trend
Bekendste: toets op lineaire Bekendste: toets op lineaire regressiehellingregressiehelling
YYtt = b = b00 + b + b11XXtt + e + ett
onderzoeksvariabele
tijdsindex
intercept
helling tijd
modelresidu
6© Icastat - AMOIcastat - AMO
Trendtoetsen met lineaire regressieTrendtoetsen met lineaire regressie
Toetshypothesen:Toetshypothesen:0:en 0: 110 aHH
][ 1
1bsbT
Verwerp H0 als T > t(0,975;n-2)
Toetsingsgrootheid:
Student-t-waarde
7© Icastat - AMOIcastat - AMO
Voorwaarden trendtoetsen met Voorwaarden trendtoetsen met lineaire regressielineaire regressie
1.1. ModelresiduënModelresiduën zijn afkomstig uit zijn afkomstig uit (dezelfde) normale kansverdeling(dezelfde) normale kansverdeling
2.2. ModelresiduënModelresiduën vertonen geen vertonen geen autocorrelatieautocorrelatie
8© Icastat - AMOIcastat - AMO
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20105
10
15
20
jaar
mg/
l
Trendplot M_10J _NA_0% (Testreeks)
meetwaardentijdreekswaardenLowesstrendlijn
Voorbeeld lineaire regressieVoorbeeld lineaire regressie
9© Icastat - AMOIcastat - AMO
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-5
0
5
jaar
mg/
l
Tijdreeksplot modelresiduen M_10J_NA_0% (Testreeks)
-3 -2 -1 0 1 2 3-5
0
5
normaalscore
mg/
l
PP-plot
-3 -2 -1 0 1 2 3 40
10
20
30
aant
al
waarde mg/l
Histogram
Modelresiduën normaal verdeeld?Modelresiduën normaal verdeeld?
10© Icastat - AMOIcastat - AMO
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-4
-2
0
2
4
jaar
mg/
l
Tijdreeks modelresiduen en voortschrijdend gemiddelde (365) M_10J _NA_0% (Testreeks)
5 10 15 20 25
-0.2
0
0.2
0.4
0.6
aantal tijdsintervallen
Modelresiduen autocorrelatie?
95% betrouwbaarheidsinterval
Modelresiduën geen autocorrelatie?Modelresiduën geen autocorrelatie?
11© Icastat - AMOIcastat - AMO
e + N = N
N + Xb + b = Z
t-tt
ttt
11
10
Uitgebreide lineaire regressieUitgebreide lineaire regressiemodelruis
autoregressieve modelparameter modelresidu
12© Icastat - AMOIcastat - AMO
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 20105
10
15
20
jaar
mg/
l
Trendplot M_10J _NA_0% (Testreeks)
meetwaardentijdreekswaardenLowesstrendlijn
Voorbeeld uitgebreide lineaire Voorbeeld uitgebreide lineaire regressieregressie
13© Icastat - AMOIcastat - AMO
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010-3
-2
-1
0
1
2
jaar
mg/
l
Tijdreeks modelresiduen en voortschrijdend gemiddelde (365) M_10J _NA_0% (Testreeks)
5 10 15 20 25
-0.2
-0.1
0
0.1
0.2
0.3
aantal tijdsintervallen
Modelresiduen autocorrelatie?
95% betrouwbaarheidsinterval
Modelresiduën geen autocorrelatie?Modelresiduën geen autocorrelatie?
14© Icastat - AMOIcastat - AMO
Mogelijke kenmerken Mogelijke kenmerken milieugegevensmilieugegevens
Ondergrens van nulOndergrens van nul Gecensureerde meetwaarden Gecensureerde meetwaarden (bv. < 1 (bv. < 1
g/l)g/l) Uitschieters, meestal naar bovenUitschieters, meestal naar boven Scheve kansverdeling Scheve kansverdeling (naar rechts)(naar rechts) SeizoenspatroonSeizoenspatroon Correlatie in tijd of ruimteCorrelatie in tijd of ruimte
Rekening mee houden bij statistische analyse
15© Icastat - AMOIcastat - AMO
e + N = N
N + )I( + Xb + b = Z
t-tt
tii
s
=itt
11
210
Nóg uitgebreidere lineaire regressieNóg uitgebreidere lineaire regressie
aantal seizoenen
seizoensindex
seizoenseffect
modelruis
autoregressieve modelparameter
seizoensindicator
modelresidu
16© Icastat - AMOIcastat - AMO
Voorbeeld verdelingsvrije toets:Voorbeeld verdelingsvrije toets:Mann-Kendall-toetsMann-Kendall-toets
Z-Z = S tk
n
+t=k
-n
=tsgn
1
1
1
0als1sgn
0 als 0sgn0 als1sgn
< = = = > =
18
521Varen 0E nnn = S = S
0als
Var1
0 als 0
0 alsVar
1
< S S
ST
= S =T
> S S
ST
toetseng tweezijdibij:als trendtesignificanh Statistisc
21 UT )/(
17© Icastat - AMOIcastat - AMO
Uitbreidingen Mann-Kendall-toetsUitbreidingen Mann-Kendall-toets
][sgn1
1
1Z-Z = S igkg
ng
=i+k
gn
=ig
S = S g
s
=g
* 1
0 = S = S g
s
=g][E][E
1
*
][Cov][Var][Var11
* S,S + S = S hg
s
gh
s
=gg
s
=g
Toetsingsgrootheid per seizoen
18© Icastat - AMOIcastat - AMO
Toetsen op monotone trendToetsen op monotone trendParametrischParametrischLineaire regressie | +s | +a | +sa |Lineaire regressie | +s | +a | +sa |
VerdelingsvrijVerdelingsvrijMann-Kendall | +s | +a | +sa |Mann-Kendall | +s | +a | +sa |Spearman | +s |Spearman | +s |Lettenmaier | +a | +sa |Lettenmaier | +a | +sa |Farrell | +s |Farrell | +s |
Wanneer welke toets gebruiken?Wanneer welke toets gebruiken?
19© Icastat - AMOIcastat - AMO
Criteria bij keuze trendtoetsCriteria bij keuze trendtoets1.1. Empirisch significantieniveau niet hoger Empirisch significantieniveau niet hoger
dan gehanteerd significantieniveau (dan gehanteerd significantieniveau () ) verleent objectiviteit en zeggingskracht aan verleent objectiviteit en zeggingskracht aan signaleringsfunctie van het meetnetsignaleringsfunctie van het meetnet
2.2. Hoogste onderscheidend vermogen ( Hoogste onderscheidend vermogen (1-1-) ) van alle trendtoetsen die aan van alle trendtoetsen die aan 1.1. voldoen voldoen er wordt dan zo efficiënt mogelijk informatie er wordt dan zo efficiënt mogelijk informatie gefilterd uit de duur betaalde meetgegevensgefilterd uit de duur betaalde meetgegevens
20© Icastat - AMOIcastat - AMO
Voorbeeld keuze trendtoetsVoorbeeld keuze trendtoets
Onderscheidend vermogen trendtoetsen
0%
20%
40%
60%
80%
100%
Trendgrootte ->0
1
2
3
=5%
21© Icastat - AMOIcastat - AMO
Percentage trenddetectie bij normale kansverdeling
0%
20%
40%
60%
80%
100%
0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14 0.16
Trend [standafw/ jaar]
LRMK
n = 120
22© Icastat - AMOIcastat - AMO
Percentage trenddetectie bij lognormale kansverdeling
0%
20%
40%
60%
80%
100%
0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14 0.16
Trend [standafw/ jaar]
LR
MK
n = 120
23© Icastat - AMOIcastat - AMO
Kenmerken verdelingsvrij toetsenKenmerken verdelingsvrij toetsen
1.1. Doet bij normale kansverdeling niet Doet bij normale kansverdeling niet veel onder voor parametrisch toetsen veel onder voor parametrisch toetsen
2.2. Is bij niet-normale kansverdeling Is bij niet-normale kansverdeling krachtiger dan parametrisch toetsen krachtiger dan parametrisch toetsen
3.3. Geen last van uitschieters !Geen last van uitschieters !
24© Icastat - AMOIcastat - AMO
En transformeren?En transformeren?
Lukt zelden volledig en toepassen van Lukt zelden volledig en toepassen van een parametrische toets/schatter is dan een parametrische toets/schatter is dan niet optimaalniet optimaal
Geeft ‘kromme’ trends in de meetschaalGeeft ‘kromme’ trends in de meetschaal
Bij niet-normaliteit geven wij de voorkeur Bij niet-normaliteit geven wij de voorkeur aan verdelingsvrije methodenaan verdelingsvrije methoden
25© Icastat - AMOIcastat - AMO
Toetsen geselecteerdToetsen geselecteerdvoor de procedurevoor de procedure
ParametrischParametrischLineaire regressieLineaire regressie en uitbreidingen en uitbreidingen
VerdelingsvrijVerdelingsvrijMann-KendallMann-Kendall en uitbreidingen en uitbreidingen
26© Icastat - AMOIcastat - AMO
Preferentieprocessen van de toetsenPreferentieprocessen van de toetsen
Toets S A S+A S A S+ALRLRsLRaLRsaMKMKsMKsa
Normale kansverdeling Geen normale kansverdelingStatistische kenmerken van proces
27© Icastat - AMOIcastat - AMO
28© Icastat - AMOIcastat - AMO
TrendkwantificeringTrendkwantificering
Trendtoets Trendschatter(Uitgebreide) lineaire regressie Lineaire regressiehellingMann-Kendall TheilhellingSeizoenale Mann-KendallSeizoenale Mann-Kendall met verdiscontering autocorrelatie
Kendall-seizoenshelling
Theilhelling en Kendall-seizoenshelling zijn beideTheilhelling en Kendall-seizoenshelling zijn beide zuiverezuivere en en robuusterobuuste schatters, met schatters, met
grotere nauwkeurigheidgrotere nauwkeurigheid dan lineaire regressie- dan lineaire regressie-helling bij scheve kansverdelingenhelling bij scheve kansverdelingen
29© Icastat - AMOIcastat - AMO
Principe TheilhellingPrincipe TheilhellingTijd 1 2 3 4 5 6 7
Tijd Meetwaarde 1.2 1.6 3.4 3.7 5.2 16.0 5.81 1.22 1.6 0.403 3.4 1.10 1.804 3.7 0.83 1.05 0.305 5.2 1.00 1.20 0.90 1.506 16.0 2.96 3.60 4.20 6.15 10.807 5.8 0.77 0.84 0.60 0.70 0.30 -10.20
Theilhelling is mediaan van de hellingen = 1.00
30© Icastat - AMOIcastat - AMO
Robuustheid TheilhellingRobuustheid Theilhelling
02468
1012141618
1 2 3 4 5 6 7
Lineaire regressielij n
Theillij n
Uitschieter
31© Icastat - AMOIcastat - AMO
Nauwkeurigheid TheilhellingNauwkeurigheid Theilhelling
RMSE Ratio = (RMSE Theilhelling) / (RMSE lin reghelling)
[Hirsch et al., 1991]
32© Icastat - AMOIcastat - AMO
Toepassingen procedureToepassingen procedureGrootschalige meetnetten waterkwaliteitGrootschalige meetnetten waterkwaliteit RIWARIWA RWSRWS 10 waterschappen10 waterschappen drinkwaterbedrijfdrinkwaterbedrijf ProvincieProvincie VMMVMM
Structureren presentatie uitvoer is Structureren presentatie uitvoer is uitdaging !uitdaging !
33© Icastat - AMOIcastat - AMO
ConclusiesConclusies1.1. Maatwerk bij trendanalyse loont: meer Maatwerk bij trendanalyse loont: meer
onderscheidend vermogen bij trendtoetsen en onderscheidend vermogen bij trendtoetsen en grotere nauwkeurigheid bij trendschattengrotere nauwkeurigheid bij trendschatten
2.2. Selectie toets/schatter obv soort kansverdeling Selectie toets/schatter obv soort kansverdeling en al of geen seizoenseffecten en/of en al of geen seizoenseffecten en/of autocorrelatieautocorrelatie
3.3. Bij niet-normaliteit verdelingsvrije methodenBij niet-normaliteit verdelingsvrije methoden
4.4. Selectieprocedure en trendanalyse zijn zodanig Selectieprocedure en trendanalyse zijn zodanig geobjectiveerd dat ze automatisch uitgevoerd geobjectiveerd dat ze automatisch uitgevoerd kunnen wordenkunnen worden
34© Icastat - AMOIcastat - AMO
Vragen?Vragen?