Vollständig funktionales Modellduerre/Vortrag10.pdf · 2 Vollständig funktionales Modell 3...

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Vollständig funktionales Modell

Ekaterina Lorenz

5. Januar 2015

1 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Inhalt

1 Beispiel

2 Vollständig funktionales Modell

3 Lösungsmöglichkeiten

4 Zusammenfassung

5 Aufgabe

6 Literatur

2 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Beispiel

1 Beispiel

2 Vollständig funktionales Modell

3 Lösungsmöglichkeiten

4 Zusammenfassung

5 Aufgabe

6 Literatur

3 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Beispiel

Tagestemperatur und Sticksto�dioxidkonzentration in der Luft

Messort: Dortmund Steinstraÿe

Quelle: Umweltbundesamt(http://www.umweltbundesamt.de/daten/luftbelastung/aktuelle-luftdaten)

Messanzahl: stündliche Werte (18.9.2014-5.12.2014)

Messfehler: 89 fehlende Werte (mit Mittelwert ersetzt)

Datensätze: N = 79 Tage mit jeweils T = 24 Stundenwerten

4 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Beispiel

Stündliche Temperaturmessungen an 79 Tagen,

Regressionsglättung mit B-Splines-Basisfunktionen

5 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Beispiel

Sticksto�verlaufskurven an 79 Tagen,

Regressionsglättung mit B-Splines-Basisfunktionen

6 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Beispiel

Ziel

Vorhersage der Sticksto�verlaufskurve eines Tages in Abhängigkeitvom Temperaturverlauf an einem anderen Zeitpunk .Im Vortrag: in Abhängigkeit vom Temperaturverlauf vom vorherigenTag.

7 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Vollständig funktionales Modell

1 Beispiel

2 Vollständig funktionales Modell

Rechenvereinfachungen

3 Lösungsmöglichkeiten

4 Zusammenfassung

5 Aufgabe

6 Literatur

8 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Vollständig funktionales Modell

De�nition

y(t) =

∫z(s)β(s, t) ds + ε(t)

y (t) ∈ LN2

z (s) ∈ LN2

β(s, t) =K1∑k=1

K2∑l=1

bklθk(s)ηl(t) = θT (s)Bη(t),

wobeiθ1 (s) , . . . , θK1

(s)η1 (t) , . . . , ηK2

(t)B ist K1 × K2 - Matrix

ε(t) ∼ N (0, IN) stoch. unabhängig

9 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Rechenvereinfachungen

De�niere:

Z∗ =

∫z1 (s) θ1 (s) ds · · ·

∫z1 (s) θK1

(s) ds∫z2 (s) θ1 (s) ds · · ·

∫z2 (s) θK1

(s) ds...

. . ....∫

zN (s) θ1 (s) ds · · ·∫zN (s) θK1

(s) ds

β∗ (t) = Bη (t)

Funktionales lineares Modell mit multivariaten Regressoren

y (t) = Z ∗β∗ (t) + ε (t)

Kriterium

β̂∗ = argmin

∫[y (t)− Z ∗β∗ (t)]2 dt

10 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Glättung durch Beschränkung der BasisentwicklungRegularisierung durch Strafterme

Lösungsmöglichkeiten

1 Beispiel

2 Vollständig funktionales Modell

3 Lösungsmöglichkeiten

Glättung durch Beschränkung der Basisentwicklung

Regularisierung durch Strafterme

4 Zusammenfassung

5 Aufgabe

6 Literatur

11 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Glättung durch Beschränkung der BasisentwicklungRegularisierung durch Strafterme

Lösungsmöglichkeiten

Glättung durch Beschränkung der BasisentwicklungBeschränkung der Basisentwicklung von η

Vermeidung von Over�tting

Beschränkung der Basisentwicklung von θSicherstellung der Glattheit der Vorhersage

Beschränkung der Basisentwicklungen von η und θ

Regularisierung durch Strafterme

in Bezug auf sin Bezug auf t

12 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Glättung durch Beschränkung der BasisentwicklungRegularisierung durch Strafterme

Glättung durch Beschränkung der Basisentwicklung

Normalgleichung

Z ∗TZ ∗BJηη = Z ∗Z ∗TCJφη

mit

Jηη =∫η(t)ηT (t) dt

y = Cφ

Jφη =∫φ(t)ηT (t) dt

Lösung

vec (B) =[Jηη ⊗

(Z ∗TZ ∗

)]−1(Jφη ⊗ Z ∗T

)vec (C )

13 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Glättung durch Beschränkung der BasisentwicklungRegularisierung durch Strafterme

Glättung durch Beschränkung der Basisentwicklung

Bestimmung von K1 = K2 durch eine

Leave-one-out-Kreuzvalidierung

14 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Glättung durch Beschränkung der BasisentwicklungRegularisierung durch Strafterme

Glättung durch Beschränkung der Basisentwicklung

Basisentwicklung von η und θ:Schätzung der β (s, t) mit K1 = K2 = 6

15 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Glättung durch Beschränkung der BasisentwicklungRegularisierung durch Strafterme

Glättung durch Beschränkung der Basisentwicklung

Basisentwicklung von η und θ:Schätzung der β (s, t) mit K1 = K2 = 6

16 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Glättung durch Beschränkung der BasisentwicklungRegularisierung durch Strafterme

Glättung durch Beschränkung der Basisentwicklung

Vorhersage mit K1 = K2 = 6

17 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Glättung durch Beschränkung der BasisentwicklungRegularisierung durch Strafterme

Glättung durch Beschränkung der Basisentwicklung

Bestimmtheitsmaÿ für die Vorhersage mit K1 = K2 = 6

18 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Glättung durch Beschränkung der BasisentwicklungRegularisierung durch Strafterme

Regularisierung durch Strafterme

Kriterium mit Straftermen

β̂∗ = argmin

∫[y (t)− Z ∗β∗ (t)]2 dt

+ λs

∫ ∫[Lsβ (s, t)]

2 ds dt︸ ︷︷ ︸PENs(β)

+λt

∫ ∫[Ltβ (s, t)]

2 ds dt︸ ︷︷ ︸PENt(β)

wobei Ls und Lt Di�erentialoperator, z.B. Ls = D2 und Lt = D2

19 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Glättung durch Beschränkung der BasisentwicklungRegularisierung durch Strafterme

Regularisierung durch Strafterme

PENs (β)

PENs (β) =∫ ∫

[Lsβ (s, t)]2 ds dt

=∫ ∫ [

LsθT (s)Bη (t)

] [Lsθ

T (s)Bη (t)]T

ds dt=∫ ∫ [

LsθT (s)

]Bη (t) ηT (t)BT [Lsθ (s)] ds dt

=∫tr[Bη (t) ηT (t)BTR

]dt

= tr[BTRBJηη

],

woJηη =

∫η(t)ηT (t) dt,

R =∫[Lsθ (s)]

[Lsθ

T (s)]ds

20 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Glättung durch Beschränkung der BasisentwicklungRegularisierung durch Strafterme

Regularisierung durch Strafterme

PENt (β)

PENt (β) =∫ ∫

[Lsβ (s, t)]2 ds dt

= tr[BT JθθSB

],

woJθθ =

∫θ(t)θT (t) dt,

S =∫[Ltη (t)]

[Ltη

T (t)]dt

21 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Glättung durch Beschränkung der BasisentwicklungRegularisierung durch Strafterme

Regularisierung durch Strafterme

Lösung des Minimierungsproblems:

Normalgleichung

Z ∗TZ ∗BJηη + λsRBJηη + λtJθθBS = Z ∗TCJφη

⇓

geschätzte Lösung

vec(B̂)=[

Jηη ⊗(Z ∗TZ ∗)+ λsJηη ⊗ R + λtS ⊗ Jθθ

]−1 (Jφη ⊗ Z ∗T ) vec (C )

22 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Glättung durch Beschränkung der BasisentwicklungRegularisierung durch Strafterme

Regularisierung durch Strafterme

Bestimmung von λs und λt durch eine

Leave-one-out-Kreuzvalidierung

23 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Glättung durch Beschränkung der BasisentwicklungRegularisierung durch Strafterme

Regularisierung durch Strafterme

β (s, t) mit λs = λt = 106,K1 = K2 = 24

24 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Glättung durch Beschränkung der BasisentwicklungRegularisierung durch Strafterme

Regularisierung durch Strafterme

β (s, t) mit λs = λt = 106,K1 = K2 = 24

25 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Glättung durch Beschränkung der BasisentwicklungRegularisierung durch Strafterme

Regularisierung durch Strafterme

Vorhersage mit λs = λt = 106,K1 = K2 = 24

26 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Glättung durch Beschränkung der BasisentwicklungRegularisierung durch Strafterme

Regularisierung durch Strafterme

Vorhersage mit λs = λt = 106,K1 = K2 = 24

27 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Zusammenfassung

1 Beispiel

2 Vollständig funktionales Modell

3 Lösungsmöglichkeiten

4 Zusammenfassung

5 Aufgabe

6 Literatur

28 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Zusammenfassung

Vorteile:

Allgemeines ModelÜbertragbarkeit auf funktionales lineares Modell mitmultivariaten Regressoren

Nachteile:

Probleme bei der Bestimmung λ sowie bei der Anzahl derBasisfunktionenInterpretation schwierigKeine explizite Implementierung in R

29 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Aufgabe

1 Beispiel

2 Vollständig funktionales Modell

3 Lösungsmöglichkeiten

4 Zusammenfassung

5 Aufgabe

6 Literatur

30 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Installieren und laden Sie das Paket fda. Betrachten Sie den DatensatzCanadianWeather aus diesem Paket.

Stellen Sie vollständig funktionales lineares Regressionsmodell auf,welches das Ziel hat, der Tagesniederschlag vorherzusagen. Dabeiwird die gesamte Temperaturverlauf verwendet. Benutzen Sie dafürdie Funktion linmod. Die Schätzung der Gewichtsfunktion β (s, t)soll durch der Regularisierung der Strafterme erfolgen. Nutzen Sie 7Fourier-Basisfunktionen sowohl für s als auch für t.

Bestimmen Sie auch mit Hilfe der Kreuzvalidierung den optimalenGlättungsparameter λ

Plotten Sie die Prognosen yi (t), sowie die geschätzteGewichtsfunktion β̂ (s, t)

Anmerkung : R-Code für das Beispiel aus dem Vortrag wird auf derInternetseite zur Verfügung gestellt.

31 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Literatur

1 Beispiel

2 Vollständig funktionales Modell

3 Lösungsmöglichkeiten

4 Zusammenfassung

5 Aufgabe

6 Literatur

32 (33)

BeispielVollständig funktionales Modell

LösungsmöglichkeitenZusammenfassung

AufgabeLiteratur

Literatur

Ramsay, J.O.; Silverman, B.W.: �Functional data analysis �.2. Au�age, Springer Verlag, New York, 2005.

Ramsay, J.O., Hooker, G. und Graves, S.: �Functional dataanalysis with R and Matlab �. Springer Verlag, New York, 2009.

Ramsay, J.O., Wickham H., Graves, S. und Hooker, G.: �fda:Functional Data Analysis �.R package version 2.4.3.http://CRAN.R-project.org/package=fda.

Vorträge der Studenten aus dem Seminar �FunktionaleDatenanalyse�.

33 (33)