Robuste Schätzung

Ausgleichungsrechnung IIGerhard Navratil

Robuste Schätzung

• Einführung

• Schätztheorie

• Ansätze für robuste Schätzer– Herleitung einer Schätzfunktion– Klassen von Schätzfunktionen


Methode der kleinsten Quadrate

Eigenschaften– Größte Wahrscheinlichkeit für ausgeglichene

Werte– Erwartungstreue

Beliebt weil Schätzer linear einfach zu handhaben

Nachteil: Anfällig für grobe Fehler


Annahme bei der Methode der kleinsten Quadrate

Fehler der Beobachtungen normalverteilt

Annahme getroffen aufgrund des zentralen Grenzwertsatzes

Gilt nur wenn (idealerweise)– Frei von groben Fehlern– Keine systematischen Einflüsse

Meist nicht in vollem Umfang gegeben!


Beispiel (1)

5 Festpunkte, jeweils Strecke zu Neupunkt gemessen

1 2 3 4 5

X

100m

200

m

von nach s

1 X 282,844

2 X 223,603

3 X 199,998

4 X 223,608

5 X 282,842Pkt y X

X -0,0006 199,9989


Beispiel (2)

Einführen eines groben Fehlers

Strecke 1 – X statt 282,844m neu 292,844m (10m-Fehler)

Pkt y X

X 5,0502 201,9631

von nach v [mm]

1 X -5042

2 X 4018

3 X 1965

4 X -503

5 X 2182

Pkt y X

X -0,0006 199,9989

Vorher:


Beispiel: Was fällt auf?

Grober Fehler (10m) verursacht Fehler in ausgeglichenen Koordinaten von 5m (y) und 2m (x)

Generell große Verbesserungen (nicht nur bei Seite 1-X)

Dieses Beispiel: Nur ein grober Fehler – Elimination der Beobachtung aufgrund Verbesserungen möglich


Ursache für Versagen?

Voraussetzung für Funktionieren von Methode der kleinsten Quadrate war Normalverteilung der Beobachtungen

Grobe Fehler nicht normalverteilt


Wünschenswert wäre

Klare Abtrennung grober Fehler

Notwendig: Verbesserung bei groben Fehlern korrigiert diesen Fehler ganz/fast

Also: Ergebnis nur von ‚korrekten‘ Beobachtungen beeinflusst!

Methoden, bei denen das passiert: Robuste Schätzer

z.B. Median


Eigenschaften für robuste Schätzer

• Verteilungsrobust: Fehler im stochastischen Modell sollen wenig stören

• Datenrobust: Gute Ergebnisse bei groben Fehlern in Datenmaterial

• Modellrobust: Ergebnis hauptsächlich von ‚guten‘ Daten beeinflusst

• Hohe Trennfähigkeit: Grobe Fehler sollen an Verbesserungen erkennbar sein

• Optimale Ergebnisse: Ergebnisse sollen der Methode der kleinsten Quadrate entsprechen


Fortsetzung Beispiel (1)

Lösung des Beispiels mit Least Median Square (LMS): Alle eindeutigen Lösungen bestimmt, Median der Verbesserungs-quadrate, Minimum gibt Lösung

10 Lösungen, Lösung mit minimalem Median ist Pkt y X

X -0,0056 199,9985

Pkt y X

X -0,0006 199,9989

Vorher:



Ergebnis unterscheidet sich kaum von Lösung ohne groben Fehler

Falsche Beobachtung (1 von 5 = 20%) hat keinen Einfluss

Verbesserungen:

Fehler leicht zufinden!

von nach v [mm]

1 X -10006,3

2 X 0,0

3 X 0,5

4 X 0,0

5 X 3,6



Weitere Methode (siehe Kraus Photo-grammetrie Bd. 2): Iterative Ausgleichung mit Kehrwerten der Verbesserungen als Gewichtenvon nach p v [mm]

1 X 1 -5042

2 X 1 4018

3 X 1 1965

4 X 1 -503

5 X 1 -2182

von nach p v [mm]

1 X 0,198 -6307

2 X 0,249 3081

3 X 0,509 1658

4 X 1,985 -117

5 X 0,458 -1352

1. 2.



Einfluss der grob falschen Beobachtung wird immer geringer Verbesserung wird größer

Nach der 17. Iteration: Lösung ändert sich nicht mehr

Pkt y X

X 0,0043 200,0035

von nach v [mm]

1 X -9995,8

2 X 8,8

3 X 5,5

4 X 0,0

5 X 0,2


Schätztheorie

Schätzfunktion + Eigenschaften

Einflussfunktion: Misst Einfluss einer Änderung im Parametervektor auf die Schätzfunktion

Verlustfunktion: Abweichung der Schätz-funktion vom optimalen Ergebnis


Schätzfunktion

Funktion, die den gesuchten Parameter aus den Beobachtungen ableitet Beobachtungsgleichungen

Schätzwert für unbekannten Parameter Tn

Anhand dieses Schätzwertes Untersuchung der Eigenschaften der Schätzfunktion

nn XXXtT ,,, 21


Einflussfunktion (1)

Überlegung: Gegeben (n-1) Zufalls-variablen Xi mit empirischer Verteilung Fn-1 und Schätzfunktion

Hinzufügen einer weiteren Zufallsvariable:

121111 ,,, nnnn XXXtFTT

nnnn XXXtFTT ,,, 21

xnn nF

n

nF 11

1



Differenz der Schätzfunktionen Tn-1 und Tn multipliziert mit Anzahl der Zufallsvariablen Sensibilitätskurve SC

Beschreibt den Effekt des Hinzufügens einer Beobachtung auf die Schätzfunktion

n ∞, also 1/n=: Einflussfunktion IF

n

FTn

Fn

nT

TTnSCnxn

nnn 1

1111

11

FTFT

FTxIF x

1;;



Misst Effekt einer infinitesimalen Änderung in den Daten auf den Schätzer

Theoretisch strenges aber abstraktes MaßGrobe Fehler: Nur Schätzfunktion mit

beschränktem Einfluss kann robust seinTypen von Schätzfunktionen:

– Monoton, unbeschränkt: arithmetisches Mittel– Monoton, beschränkt: Median– Beschränkt mit Sprung auf 0: Arithmetisches Mittel

mit Verwerfungsregel– Beschränkt mit stetigem Übergang auf 0: Hampel-

Schätzer



Aus: Wicki (1999) Robuste Schätzverfahren für die Parameterschätzung in geodätischen Netzen, S. 36


Verlustfunktion

Verbesserungen: erfüllen funktionales Modell

Schätzfunktion für Verbesserungen notwendig

Verlustfunktion (v): Abweichung der Schätzfunktion vom optimalen Ergebnis

Gauß‘sche VerlustfunktionMethode der kleinsten Quadrate

Ls-Norm-Schätzer:

vll ˆ

2ii vv

s

ii vv


Konsistenz

Schätzfunktion Tn für Parameter ist konsistent, wenn Tn bei wachsendem n gegen konvergiert

Also: Je größer die Stichprobe desto sicherer die Schätzung


Erwartungstreue

Erwartungstreu: Erwartungswert ist gleich dem zu schätzenden Parameter, also

Muss unabhängig von der Anzahl der Realisierungen gelten

Bias:

Bias bei erwartungstreuen Schätzern gleich Null

nn XXXtETE ,,, 21

nTEB


Bruchpunkt

Grenzwert für den Prozentsatz grob falscher Beobachtungen vor Verlust der Erwartungstreue

Bruchpunkt 10%: bis zu 10% der Beobachtungen dürfen falsch sein und das Ergebnis ist noch korrekt

Arithmetisches Mittel, Methode der kleinsten Quadrate: Bruchpunkt 0%

Maximal möglicher Wert: 50% (Median, LMS)Voraussetzung: Keine HebelbeobachtungenAngabe in Geodäsie nicht möglich (außer 0%)


Effizienz (1)

Schätzvarianz

Maß für die Streuung der Schätzfunktion um den Erwartungswert möglichst klein!

Effizienz: Verhältnis zwischen kleinst-möglicher Schätzvarianz und Schätz-varianz der verwendeten Schätzfunktion

2 nn TETV

n

nn TV

TVTe min


Effizienz (2)

Praktische Anwendungen: Möglichst hohe asymptotische Effizienz, also

Oft nur relative Effizienz erreichbar – relativ effizient, wenn Schätzvarianz kleiner als die anderer Schätzfunktionen

1lim n

nTe


Suffizienz

Suffizient, wenn alle relevanten Informatio-nen der Stichprobe verwendet werden

Nicht gegeben, wenn bestimmte Informa-tionen nicht einfließen

z.B. Punkt durch 3 Strecken bestimmt, Lösung nur aus 2 Strecken berechnet


Hebelbeobachtung (1)

Daten, die geometrisch weit entfernt von der Masse der übrigen Daten liegen

Bsp: Ausgleichende Gerade



Beobachtungsgleichungen bei Qll=I: v=Ax-l

L2-Norm liefert

Projektionsmatrix (Hatmatrix) H

Kofaktoren der Verbesserungen: Qvv=I-H



Für die Spur von Qvv gilt:

Spur gleich Rang idempotente Matrix

Für die Redundanzanteile gilt

Also Bezug Redundanzanteil – Geometrie



Wert von hii groß (nahe bei 1) Hebelbeobachtung

Beobachtung mit kleiner Redundanz (nur schwach kontrolliert) Hebelbeobachtung

„Gute“ Hebelbeobachtungen haben einen starken positiven Einfluss auf das Ergebnis der Schätzung

Aber: Fehler nur schwer lokalisierbar


Behandlung von Hebelbeobachtungen

• Optimierung der Beobachtungspläne

• „Entgeometrisierung“ des Modells

• Hampel-Krasker-Schätzer

(nach Caspary (1996), Anmerkungen zum robusten Schätzen)


Problem bei Hebelbeobachtungen

Maskierung bei Gruppe von Beobachtungen

Beispiel: nicht unabhängige Wieder-holung einer Messung


Maskierte Hebelbeobachtung

Distanz c istunvollständigkontrolliert!

rc = 0%, grober Fehler fällt nicht auf

Strecke c 2x gemessen rc1 = 50%, rc2 = 50% grober Fehler in einer Messung fällt auf

Grober Fehler in beiden Beobachtungen (nicht unabhängig) fällt nicht auf!


Ansätze für robuste Schätzer (1)

Messfehler x: Wahrscheinlichkeit P, dass x Werte aus einem Bereich X beschrieben über Verteilungsfunktion

Geodäsie: Annahme Normalverteilung, also

Systematische Einflüsse meist vorhanden Störung!

xXPxF

,0NxF


Ansätze für robuste Schätzer (2)

Robuste Schätzer: Messfehler gehören Stammverteilung oder Störverteilung an

Wahrscheinlichkeit , dass Messfehler auftreten

Für Stammverteilung G meist Normalverteilung

Schätzer robust, wenn gute Schätzwerte auch bei nicht streng normalverteilten Daten

xSxGxF 1


Herleitung der Schätzfunktion (1)

Beispiel: Methode der kleinsten Quadrate

Eindimensionale Schätzfunktion

Gauß‘sche Verlustfunktion

Extremwertaufgabe ist

nXXXtX ,,, 21

22

iiii vXXXXv

min1

2

1

2

n

ii

n

iii vXXv



Lösung: 1. Ableitung gleich Null setzen

Eindimensionaler Fall: Arithmetisches Mittel

Mehrdimensionaler Fall: Annahme unkorrelierte, gleichgenaue Messungen, also Qll=P=I:

02211

n

ii

n

ii vXX

n

iiX

nX

1

1

lAxv



Verlustfunktion soll minimal werden

Erste Ableitung der Verlustfunktion

Da variable Größen in x und nicht in v: Kettenregel

i

iii v

vvv

'

ujx

vv

x

v

v

v

x

v

j

in

i

n

ii

j

i

i

in

i j

i ,,2,1mit1 11



Wegen v=Ax-l muss gelten

Einführung von(Zeilenvektor der A-Matrix) führt zu

Matrizenschreibweise

Liefert das Normalgleichungssystem

ujavn

iiji ,,2,1mit0

1

iuiii aaa 21a

01

n

iiiv a

nvvv 21

0TA



Modifizierte Gauß‘sche Verlustfunktion,

Erste Ableitung:

Und somit

Einsetzen von v=Ax-l gibt

2

2i

i

vv

ii vv

0vAT

lAAxA

lAxATT

T

0Ergibt keine robusteSchätzfunktion !


M-Schätzer (1)

Verallgemeinerung der Maximum Likelihood-Schätzer: M- oder Huber-Schätzer

Eng verwandt mit Methode der kleinsten Quadrate

Verlustfunktion so gewählt, dass Schätzer robust, dann bekannte Bedingung

min iii vLL


M-Schätzer (2)

Eindimensionaler Fall:Verlustfunktionliefert arithmetisches Mittel

Nicht robust!

Beurteilung der Eigenschaften: Einfluss-funktion bestimmen, nach Hampel und Borutta:

2iiii LLLL

n

ii

n

ii

Ln

L

LL

1

1

1

0

n

Ti

Tii

vEvEvE

vGIF

'''diag

mit,ˆ,ˆ,

21

11

1

Y

YAASaSxlA


M-Schätzer (3)

Zeile ai: Einfluss der i-ten Beobachtung auf den Unbekanntenvektor

Funktion (vi) ist bei M-Schätzern proportional zur Einflussfunktion

Wenn Einflussfunktion beschränkt: robust Für Diskussion der Eigenschaften der

Verlustfunktion reicht Diskussion von Oft Einflussfunktion nicht explizit

bestimmt


M-Schätzer (4)

Annahme: Stammverteilung G, Störver-teilung S, geringe Anzahl von Ausreißern

Stetige, konvexe Verlustfunktion mit robusten Eigenschaften:

cv

cv

cvc

vv

i

i

i

i

ic für

für

2

12

1

2

2

cv

cv

cv

vv

i

i

i

iic für

für

sign


M-Schätzer (5)


L-Schätzer (1)

Linearkombination von Ordnungsstatistiken

Einfachster Fall: Direkt beobachtete Größen, n Beobachtungen, nach Größe sortiert

L(i) …i-te Ordnungsstatistik der Stichprobe

Schätzfunktion

)()2()1( nLLL

1mit,,2,11

1

n

ii

n

iiin aLaLLLgL


L-Schätzer (2)

• Gleiche Gewichte (1/n): arithmetisches Mittel

• a1=an=1/2, sonst 0: Schätzung nach Tschebyscheff

Beide Lösungen nicht robust!

21 nLL

L


L-Schätzer (3)

• Abschneiden des größten und kleinsten Wertes

• Alle Werte außer mittlerem Wert abschneiden: Median

Beide Lösungen robust!


Ls-Norm-Schätzer (1)

Verlustfunktion als Potenz der Verbes-serungsabsolutbeträge

Erste Ableitung wird

Normalgleichungen:

svvs

ii 1mit

svvsv

s

iii 1mit2

ujavvn

iij

s

ii ,,1mit01

2


Ls-Norm-Schätzer (2)

Es zeigt sich, dass -Funktion beschränkt für

in diesem Bereich robust

21 s


L2-Norm-Schätzer

Bei s=2: L2-Norm mit

Normalgleichungen

bzw.

Parameterschätzung nach L2-Norm ent-spricht der Methode der kleinsten Quadrate

iiii vvvv 2,2

01

n

iijiav

lAAxA0xA TTT ,


L1-Norm-Schätzung

s=1:

Beschränkte -Funktion robust

Leider keine optimale Lösung bei fehlerfreien Daten

Gut geeignet für Aufdecken grober Fehler

Berechnung z.B. Simplex-Algorithmus

Bestimmung auch mit L2-Norm möglich (siehe Übung)

iiii vvvv sign, min1

n

iiv


Weitere Schätztypen

L-, M-, Ls-Norm-Schätzer sind die Haupttypen

Dazu viele Untertypen (z.B. R-, modifizierte M-, BIBER-Schätzer)

Wichtig: LMS

RANSAC


Least Median Square (LMS)

– Bruchpunkt nahezu 50%– Minimiert Median der Verbesserungsquadrate– Alle eindeutigen Lösungen bestimmt, Median

ermitteln, Minimum ist gesuchte Lösung– Maximal Gleichungssysteme

u

n


Random Sample Consensus (RANSAC)

Dient dem Erkennen grober FehlerErgebnis: Beobachtungen ohne grobe Fehler

(‚consensus set‘)Vorgangsweise

– Zufällige Auswahl von Beobachtung– Berechnung der Lösung– Berechnung der Wahrscheinlichkeit

• Verbesserungen ALLER Beobachtungen• Wahrsch. = [Anz. (Verb. < Schwelle)]/[Anz. Beob.]

Mehrmals wiederholt, Lösung mit max. Wahrscheinlichkeit = Ergebnis


Problem bei RANSAC

Lösung nicht bei jeder Auswahl möglich

Nicht alle Lösungen berechnet

Schwellenwert kritischGeodäsie z.B. 3

Faustformel für Durchläufe mit s … Anzahl für die Bestimmung notwendiger

Beobachtungenp … Wahrscheinlichkeit für Stichprobe ohne grobe Fehler … relativer Anteil grober Fehler

s

p

11log

1log

Documents

Robuste Schätzung