Seminar Extrapolationsmethoden für zufällige Felder Vortragsthema Spline-Extrapolation und Kriging

Seminar „Extrapolationsmethoden für zufällige Felder“

Vortragsthema

„Spline-Extrapolation und Kriging“

Rasa Zurumskas Januar 2003

Universität Ulm Seminar Stochastik

2

Inhalt

1. Notation

2. Wiederholung des Universal Kriging

3. Universal => Intrinsic Kriging

4. Duales Kriging

5. Spline-Interpolation

6. Vergleich: Spline-Interpolation & Kriging



3

1.1 Notation _

Ein Zufallsfeld ist eine zufällige Funktion

{Z(x,) : xd, }, dabei bezeichnet

• Z(x,·) Zufallsvariable, kurz Z(x)

• Z(·, ) regionalisierte Variable

(Realisierung der zufälligen Funktion), kurz z(x)

Sei D d das Beobachtungsfenster, dann bezeichnen

x1,...,xn die Messstellen mit xi D, i=1,...,n, und

z(x1),...,z(xn) die Messwerte an den Messstellen.



4

1.2 Notation _

• Sei ein Maß, (wi Gewichte)

• Wk = {w: l=0,..,L}

= { w: , w0 = -1, l=0,..,L }

• k ist die höchste Ordnung der Funktionen fl mit l=0,..,L

• Und sei eine Linearkombination

der gewichteten Zufallsvariablen Z(xi) an den Messstellen

xiD minus Z(x0).

iww

n

iii xZwwZ

0)()(

ix

n

ilili xfxfw

10)()(

n

iili xfw

00)(



5

1.3 Notation _

IRF-k: intrinsisches Zufallsfeld k-ter Ordnung

Definition:

Ein nicht stationäres Zufallsfeld Z(x) wird intrinsisches

Zufallsfeld k-ter Ordnung genannt, wenn

für jedes w Wk die Linearkombination mit hd

stationär 2-ter Ordnung ist und E[ ]=0.

n

iii hxZw

0)(

n

iii hxZw

0)(



6

1.4 Notation _

Eine symmetrische Funktion K(h)=K(-h) ist eine

verallgemeinerte Kovarianzfunktion eines IRF-k Z(x),

wenn für jedes wWk folgendes gilt:

Eigenschaften von K(h):

• bedingt positiv definite Funktion k-ter Ordnung:

Var(Z(w)) >= 0 für w mit , l=0,..,L

• K(h) = - (h) für k=0 (äquivalent zu IRF-0 )

n

i

n

jjiji

n

iiio

xxKww

xwxEwZVar

0 0

1

)(

]))²(Z)(Z[())((

n

iili xfw

00)(



7

Verallgemeinerte K-Funktion _

Beispiele für K(h):

1) K(h) = (-/2)|h| mit 0< <2k+2 (k=Ordnung von Z)

2) Kpol (h) = mit bu>0

Später werden wir K(h) mit k=1 und =3 benutzen:

=> K(h) = c|h|³ mit c (-3/2) = (-4)/3

12

0

1 ||)1(

uk

u

uu hb



8

2.1 Wiederholung: Universal Kriging _

Annahmen:Die Zufallsvariable Z(x) lässt sich wie folgt zerlegen:

Z(x) = Y(x) + m(x) , mit m(x) = E[Z(x)] : deterministische Komponente = Driftund Y(x) = Z(x) – m(x) : stochastische Komponente =

FluktuationZusätzlich soll folgendes gelten:

m(x) = , fl(x) bekannte Funktionen (f0(x) = 1)

al unbekannte Koeffizienten, mit al0 für l=0,..,L.

Außerdem soll Y(x) stationär 2.Ordnung mit E[Y(x)] = 0 undKovarianzfunktion C(h) sein.

L

lxfa ll

0)(



9


Kriging Schätzer (erwartungstreu):

Universelle Bedingungen:

, für l=0,..,L

Sind diese erfüllt, so gilt:

Var(Z*(x0)-Z(x0)) = E[(Z*(x0)-Z(x0)) ²]

=

n

ilili xfxfw

10)()(

n

iii xZwxZ

10 )()(*

n

i

n

j

n

iiijiji CxxCwxxCww

1 1 10 )0()(2)(



10


Kriging System:

für i=1,..,n

für

l=0,..,L

In Matrix-Notation:

n

jljlj

n

j

L

liilljij

xfxfw

xxCxfµxxCw

10

1 00

)()(

)()()(

f

c

µ

w

F

FCT *

0



11

3.1 Universal => Intrinsic Kriging _

Teufelskreis:

Um ein Variogramm schätzen zu können,braucht

man die Drift, und für die Schätzung der Drift wird

wiederum ein Variogramm benötigt!

Schätzung der Drifts

Schätzung des Variogramms



12


1.) Die Klasse der Basis-Funktionen fl wird auf die Funktionen beschränkt, die gegenüber beliebigen Translationen invariant und paarweise zueinander orthogonal sind (z.Bsp. Klasse der Monome, oder der Exponential-Polynomen, auch trigonometrische Funktionen (cosx,sinx) sind möglich).

2.) Ein spezieller Tool der strukturellen Analysis ist die verallgemeinerte Kovarianzfunktion K(h), die die oben aufgeführten Funktionen hieraus filtert. (=> Man führt eine Datentransformation durch, mit dem Ziel die Drift auf Null zu bringen.)



13


Beim Universal Kriging hatten wir Gewichte wi, die die

Basisfunktionen interpoliert haben,

, für l=0,..,L.

(Setze w0= -1) => Nebenbedingungen:

, für l=0,...,L

Zusätzlich soll gelten: hd

n

ilili xfxfw

10)()(

n

iili xfw

00)(

n

iili xfw

00)(

n

iili hxfw

00)(



14

Basisfunktionen _

Beispiel:

Im 2-dim. Raum mit dem Koordinaten-Vektor X=(x1,x2)T

und k = 2 werden oft die folgenden Monome alsBasisfunktionen benutzt:

f0=1, f1=x1, f2=x2, f3=(x1)², f4=x1x2, f5 =(x2)²Sie bilden einen translationsinvarianten Vektorraum.Die aktuelle Anzahl der Basisfunktionen der Drifthängen von dem Grad k der Drift wie folgt ab:

k=0 => 1 Basisfunktion (=> L=0),k=1 => 3 Basisfunktionen (=> L=2), k=2 => 6 Basisfunktionen (=> L=5), ...



15

3.4 Intrinsic Kriging _

Intrinsic-Kriging Schätzer:

Nebenbedingungen:

, für l=0,...,L

Sind diese erfüllt, so

n

iii xZwxZ

10 )()(*

n

iili xfw

00)(

n

i

n

i

n

jjijiii

n

iii

xxKwwxxKwK

xZxZwxZxZ

1 1 10

1000

)()(2)0(

)²])()([(E))()(*(Var



16

3.5 Intrinsic Kriging _

Intrinsic-Kriging System:

, für i=1,..,n, für l=0,..,L

Beachte:Die Systeme von universal und intrinsic Kriging sind identisch, nur anstelle von C(h) haben wir nun die verallgemeinerte Kovarianzfunktion K(h) des IRF-k stehen.

n

j

L

liilljij xxKxfµxxKw

1 00)()()(

n

jljlj xfxfw

10)()(



17

4.1 Duales Kriging _

Der Interpolator in Matrix-Form :

z*(x) = zTwx.Der Gewichte-Vektor ist die Lösung des folgenden Kriging-Systems:

Problem:Da die mit x gekennzeichneten Terme von dem Schätzungsortabhängen, muss dieses Gleichungssystem für jedes neue

x D\{x1,...,xn} neu berechnet werden.

x

x

x

x

T f

k

µ

w

F

FK

*

0



18


Ausweg: Orts-unabhängige Gewichte herleiten.

Man berechne die Inverse (unter Existenz-Voraussetzung):

Das Kriging-System lautet nun:

VU

UTT

x

x

Tx

x

f

k

VU

UT

µ

w*



19


Der Interpolant kann dann wie folgt geschrieben werden:

z*(x) = bTkx + dTfx , mit bT = zTV und dT = zTU.

Kriging-System:

, für i = 1,...,n0)(

)()()()(*

)()()(*

0

01

01

ilL

li

iilL

ll

n

jjiii

lL

ll

n

iii

xfb

xzxfdxxKbxz

xfdxxKbxz



20

5.1 Spline-Interpolation _

Geschichte:Das englische Wort „Spline“ stammt aus der Verwendungeines Holzstabs als Kurvenlineal: Der Stab wird anvorhandene Fixpunkte durch Biegen angepasst, der Stab kanndann als Kurvenlineal für die Interpolation der Kurve in denIntervallen zwischen den Fixpunkten verwendet werden.

w(x): C²-Funktion

(xi,wi)-Fixpunkte

j Punktkraft, die auf den Spline ausgeübt wird.



21


Problem:

Es soll eine Funktion Z(x) mit Z(xi)=zi durch eine andere

(glatte) Funktion f(x) approximiert werden, so dass

• f(xi)=zi , Stützstellen xi ,1 i n

• f(x0)=z0 mit x0 D\{x1,...,xn}.

f wird als Interpolant bezeichnet (hier die --- Linie)



22


Unsere Definition:

Sei x1<x2<...<xn und m. Dann heißt s: D=[x1,xn ]Spline Funktion vom Grad m, wenn:

• s Cm-1 [x1,xn ] • m-te Ableitung von s(x) stückweise stetig differenzierbar. • s(x) = pi(x) = amixm + ... +a0i für xi x xi+1 , mit Polynom pi für i=1,...,n.

Menge aller solchen Splines ist Sm(x1,...,xn).

Für m=0 hat man Treppenfunktion, für m=1 Polygone, fürm=2 quadratische Splines und für m=3 kubische Splines.



23


Krümmungsflächen (diese verhalten sich parallel zu der

Biegeenergie)

im 1-dim. Fall:

im 2-dim. Fall:

dxxffJ )]²(''[)(

dxdyy

f

yx

f

x

ffJ )²]

²

²()²

²(2)²

²

²[()(



24


Da wir einen glatten Interpolanten berechnen wollen, ist

der kubische Spline s S3(x1,...,xn) vorzuziehen.

Diesen Spline bekommen wir, indem wir das folgende

(Variatons-)Problem lösen:

s(xi) = z(xi) , i=1,...,n

J(s) min

Mit Hilfe der Euler-Lagrange-Gleichung folgt:

d 4 /dx 4 s(x) = 0 , für x D\{x1,...,xn}.



25


Integriert man dies: s(x) = c3x³ + c2x² + c1x + c0

s(xi) = zi , i=1,..,n s(x) ist ein kubischer Spline für jedes Intervall-Segment [xi,

xi+1] und x[xi, xi+1] (i=1,..,n), das den folgenden Forderungen genügt:

s(xi) = zi , s(xi+1) = zi+1 , s‘(xi) = bi , s‘(xi +1) = bi+1 ,

mit Steigungen bi als noch unbekannten Koeffizienten.(Diese Werden mit Hilfe von Randbedingungen berechnet siehe S.31-34)

Die Menge aller Kurvensegmente s(x) bilden den kubischen

Interpolations-Spline s(x) für den ganzen Intervall [x1,xn].



26

6.1 Vergleich: Spline & Kriging-Schätzer _

Betrachte nun die 1-dimensionale verallgemeinerte

Kovarianzfunktion K(h) = |h|³ und untersuche das Verhalten

des Kriging-Interpolators z*(x).

Sei x1<...<xn:

,i=1,..,n

0,0

)(*

³||)(*

11

110

n

iiii

n

i

ii

n

iii

xbb

zxz

xccxxbxz



27

6.2 Vergleich: Spline & Kriging-Schätzer _

Aus dem Kriging-System folgt:

• z*(x) 2mal stetig differenzierbar in D

• die 2.Ableitung an den Grenzpunkten x1, xn gleich Null

• z*(x) ist außerhalb des Intervalls [x1, xn] linear

(folgt aus den Nebenbedingungen für bi )

z*(x) stimmt mit dem kubischen Spline-Interpolator s(x), der die Funktion an den Punkte z1,...,zn interpoliert, überein (innerhalb jeden Intervalls [xi,xi+1]).



28

6.3 Vergleich im 2-dimensionalen Raum _

Analoges Problem in 2D:

f(xi,yi) = zi , i=1,..,nJ(f)min

Lösung : ( Duchon (1975) )

mit K( r) = r²log r und ri² = (x-xi)²+(y-yi)²

i

ii

i

ii

i

i

i

ii

ybxbb

ycxccrKbyxf

0,0,0

)(),( 210



29

6.4 Vergleich im 2-dimensionalen Raum _

Die Spline –Interpolationsfunktion f (x,y) hat genau die

gleiche Form, wie der Interpolator z*(x) des Universal

Krigings mit k=1 und der verallgemeinerten

Kovarianzfunktion K(h) mit K(h) = |h|²log|h| .

Dieses Modell heißt „thin-plate“ -Spline-Model.



30

6.5 Gemeinsamkeiten _

Trotz unterschiedlichen Ansätze führen C²-Splines sowie Kriging zum gleichen Ergebnis.- Bei der Spline-Interpolation geht man von einer

deterministischen Funktion aus.- Und beim Kriging konzentriert man sich auf die

Modellierung einer zufälligen Funktion.

Ist ein Operator gegeben, der den Spline definiert, so ist es einfach einäquivalentes Kriging-System zu finden.Wohingegen es sehr schwer sein kann, ein Minimierungsproblem zuerkennen, das mit einer gegebenen Lösung eines Kriging-Systems imZusammenhang steht.



31

1. Berechne die Koeffizienten bi _

Mit klassischen Hermit-Polynomen als Basisfunktionen

i (t) für t = (xi-x)/hi mit der Schrittweite hi := xi+1 –xi :

1 (t) = 1 - 3t² + 2t³ , 2 (t) = 3t² - 2t³ ,

3 (t) = t – 2t² + t³ , 2 (t) = - t² + t³ erhält man folgende Darstellung

si (x) = zi 1(t) + bihi 3(t) + zi+1 2(t) + bi+1hi 4(t) ,sowie die Ableitungen

si‘(x) = ri(6t - 6t²) + bi(1 - 4t + 3t²) + bi+1(-2t +3t² )

si‘‘(x) = (ri(6 - 12t) + bi(-4 +6t) + bi+1(-2 +6t )) / hi ,

Dabei sei ri = (zi – zi+1) / hi . s (x) C1(D).



32


Die Forderung s (x) C2(D) legt die noch freien Parameter

bi, bi+1 wie folgt fest:

In der Messstelle xi soll s‘‘(xi) existieren, d.h.

0 = s‘‘(xi + 0) - s‘‘(xi - 0)

= (6ri – 4bi –2bi+1)/hi – (-6ri-1 + 2bi-1 + 4bi)/hi

Die unbekannten Steigungen bi genügen also den Bedingungen:

bi-1/hi-1 + (2/hi-1 + 2/hi ) bi + bi+1/hi = 3(ri-1/hi-1 + ri/hi ) für i=2,..,n-1.

Insgesamt liegen n-2 lineare Gleichungen für n Unbekannten vor.



33


Die verbleibenden 2 Unbekannten werden durch die Wahl derRandbedingungen geliefert: Natürliche RB: s‘‘(x1) = s‘‘(xn) = 0 Vollständige RB: s‘(x1) = z1‘(x1), s‘(xn) = zn‘(xn)

Das liefert explizit

b1 = z1‘ , bn = zn‘ ,und somit n-2 Gleichungen für n-2 Unbekannten.

Periodische RB: s‘(x1) = s‘(xn)

Am einfachsten ist der Fall der vollständigen RB (=>tridiagonales Gleichungssystem ).



34


Löse dafür Ax = b mit unbekanntem Vektor x =(b2,...,b n-1)T,

und 122

2233

3322

221

221000

122100

0.........0

001221

000122

nnn

nnnn

hhh

hhhh

hhhh

hhh

A

11122

2233

3322

112211

)(3

)(3

:

)(3

)(3

nnnnnn

nnnn

hbhrhr

hrhr

hrhr

hbhrhr

b

Documents

Seminar Extrapolationsmethoden für zufällige Felder Vortragsthema Spline-Extrapolation und Kriging