M. Przybycień Rachunek prawdopodobieństwa i statystyka Wykład 10-2

Funkcja wiarogodnościDefinicja: Niech będzie dana próba losowa prosta o liczebności n z rozkładu f (x; θ).Funkcją wiarogodności dla próby xi nazywamy wielkość:

( ) ( ); ;n ii

x f x=

θ = θ∏L �1

Twierdzenie (Cramera-Rao): Minimalna wartość wariancji Vmin dowolnego nieobciążonego estymatora parametru θ dana jest przez:

[ ] [ ] ( )( )minˆ ˆ ln ,L x − ∂ θ ≥ θ = θ ∂θ 12

V V E�

Uwaga: Funkcja wiarogodności to nie to samo co łączna gęstość p-twa ( );L x θ�

( )ln ,L x− ∂= − θ ∂θ 12

2E�

Ponieważ:

( ) ( ) ( ) ( )ln ; ln ;; ;L x L xL x dx L x dx2• • 2

2-• -•

∂ θ ∂ θθ = − θ ∂θ ∂θ∫ ∫� �

� � � �

( ) ( ) ( ) ( )ln ; ln ;; ;L x L xL x dx L x dx• •

-• -•

∂ θ ∂ θθ = ⇒ = θ = ∂θ ∂θ ∫ ∫� �

� � � �

E1 0

M. Przybycień Rachunek prawdopodobieństwa i statystyka Wykład 10-3

Twierdzenie Cramera-RaoEstymator o minimalnej wariancji nazywamy efektywnym (najefektywiejszym)Efektywnością estymatora nazywamy stosunek jego wariancji do Vmin.W przypadku n parametrów rozkładu nierówność Cramera-Rao ma charakter macierzowy, a minimalna wariancja wynosi:

( , ..., )nθ = θ θ�

1

( ) ( ) ( )min ln ,ˆV ln , ln ,i j i j

L xL x L x

-1-1 ∂ θ ∂ ∂ θ = θ θ = − ∂θ ∂θ ∂θ ∂θ

�

�

� � �

� �

2E E

Twierdzenie Cramera-Rao stwierdza, że V – Vmin gdzie jest macierzą dodatnio półokreśloną, w szczególności

( )ˆ ˆV cov ,ij i j= θ θ[ ]minˆ Vi ii θ ≥ V

Uwaga: Często wykorzystujemy Vmin jako przybliżenie macierzy kowariancji wstawiając w drugich pochodnych zamiast parametru jego estymatę.

M. Przybycień Rachunek prawdopodobieństwa i statystyka Wykład 10-4

Metoda największej wiarogodnościZasada największej wiarogodności: za estymatę nieznanego parametru θ powinniśmy wybrać taką liczbę dla której funkcja wiarogodności osiąga maksimum:

ˆ( ; ) maxx θ =�L

θ̂

Często stosujemy następujące równanie do znalezienia estymaty MNW:przy warunku

ˆ

ln ( ; ) ln ( ; ) ln ( ; )n n

i ii i

x f x f x= = θ=θ

∂ ∂ ∂θ = θ = θ

M. Przybycień Rachunek prawdopodobieństwa i statystyka Wykład 10-5

Metoda największej wiarogodnościJeśli oszacowana wartość parametru jest bliska wartości prawdziwej, to oczekujemydużego p-twa otrzymania z eksperymentu danych takich jakie rzeczywiście uzyskaliśmy.

Wygenerowanych 50 przypadków z rozkładu normalnego o µ = 0.2 i σ = 0.1Wyniki otrzymane z maksymalizacji funkcji wiarogodności orazˆ ˆ0.204 0.106µ = σ =

W przypadku estymat parametrów bardzo odbiegających od wartości prawdziwychotrzymujemy znacznie mniejsze wartości funkcji wiarogodności.

Odstępstwa od wartości prawdziwych są miarą błędów statystycznych.

M. Przybycień Rachunek prawdopodobieństwa i statystyka Wykład 10-6

Własności estymatorów MNWPrzykład: Wyznaczenie estymatora parametrów τ i λ rozkładu wykładniczego.

ln ˆtˆ tt

n n

i i ni i

ii

n n nt= =

=

∂ = − ⇒ − = ⇒ λ = =∂λ λ λ∑ ∑ ∑L

1 1

1

10

( ; ) exp ln lnn n

ii

i i

tt n t

= =

λ = − ⇒ = − τ − τ τ τ ∏ ∑1 11 1

L L

ln ˆt t tˆ ˆ

n n n

i i ii i i

n ntn2 2

= = =

∂ = − + ⇒ − + = ⇒ τ = =∂τ τ ττ τ∑ ∑ ∑1 1 11 1 10L

( )( ; ) exp ln lnn ni ii i

t t n t= =

λ = λ −λ ⇒ = λ − λ∏ ∑L L1 1

Podobnie wyznaczamy estymator parametru λ:

Widać, że estymator jest niezmienniczy względem transformacji α(ξ) = 1/ξ

∂ ∂ ∂α ∂= = ⇒ =∂θ ∂α ∂θ ∂α0 0L L L

Jest to ogólna cecha estymatorów MNW, tzn. jeśli znamy estymator parametru θa interesuje nas funkcja tego parametru α(θ) to przy założeniu, że ∂α/∂θ≠0 mamy

M. Przybycień Rachunek prawdopodobieństwa i statystyka Wykład 10-7

Szacowanie błędów estymatorów MNW

[ ] ( )( ) ( )ˆ ˆ ˆ ;x L x dxθ = θ − θ θ∫ 2V � � �Wariancja estymatora największej wiarogodności:

Przykład: nieobciążony estymator parametru τi tylko asymptotycznie nieobciążony estymator parametru λ: [ ]ˆ n

nλ λ−= 1E

[ ]τ̂ = τE

Ponieważ w ogólności (z wyjątkiem przekształcenia liniowego), wiec oczekujemy, że estymatory MNW są z reguły obciążone.

( ) [ ]( )ˆ ˆ α θ ≠ α θ E E

W przypadku k parametrów musimy znaleźć macierz kowariancji:( )( ) ( )( ) ( )ˆ ˆ ˆ ˆ ˆ ˆ, ;i j i i j jx x L x dx θ θ = θ − θ θ − θ θ ∫V �� � � �

W ten sposób można wyznaczyć wariancję estymatora tylko w prostych przypadkach. Najczęściej powyższe całki są trudne/niemożliwe do rozwiązania analitycznie i musimy stosować bądź przybliżenia, bądź metodę Monte Carlo.

Wariancja przyjmuje postać funkcji ocenianego parametru. Aby uzyskać wartość liczbową musimy wstawić jego estymatę ( a więc jest to przybliżenie).

M. Przybycień Rachunek prawdopodobieństwa i statystyka Wykład 10-8

Szacowanie błędów estymatorów MNWPrzykład: Wariancja estymatora parametru rozkładu wykładniczego:[ ]

( )

ˆ exp

exp exp exp

n nj

ii j

n n n n nj j j

i ini j i j j

nn

tt dt

n

t t tt dt t dt dt

n n

n n nn n

= =

= = = = =

−

τ = − τ − = τ τ = − − τ − + τ − = τ τ τ τ

= τ τ + − τ τ ττ

∑ ∏∫∑ ∏ ∑ ∏ ∏∫ ∫ ∫

2•

1 10

2• • •2

1 1 1 1 10 0 0

3 1 2 22 2

1 1

1 1 12

1 1 12 1

V��

� � �

n n nnn n

− −τ τ − τ τ + τ τ = 2

2 2 1 22

W przypadku dużej próbki danych możemy znaleźć estymator wariancji estymatora parametru MNW korzystając z warunku nierówności Cramera-Rao:

[ ]ˆ

lnˆ ˆ−

θ=θ

∂θ = − ∂θ 1

2

2L

V

lub w przypadku większej liczby parametrów:

ˆ

lnˆ ˆ ˆ,i ji j

−

θ=θ

∂ θ θ = − ∂θ ∂θ

12

LV

� �

M. Przybycień Rachunek prawdopodobieństwa i statystyka Wykład 10-9

Zachowanie asymptotyczne �(θ)

Funkcja wiarogodności jako funkcja parametru θ ma w okolicach maksimum w przybliżeniu kształt rozkładu Gaussa.

[ ]ˆ

ˆlnˆ ˆn

−

λ=λ

∂ λλ = − = ∂λ 1

2 2

2L

V�

Uwaga: Estymatory metody największej wiarogodności są zgodne.Zachowanie funkcji wiarogodności jako funkcji parametru θ w okolicach wartości tego parametru określone jego estymatą MNW:

( ) ( ) ( ) ( ) ( )( )ˆ ˆ

ln lnˆ ˆ ˆ ˆln lnθ=θ θ=θ

∂ ∂θ = θ + θ− θ + θ− θ + θ− θ∂θ ∂θ2 2 3

212

L LL L O

lnmax

L

���

0=�����

Przykład: Estymator wariancji estymatora parametru rozkładu wykładniczego.[ ]

ˆ

ˆlnˆ ˆn

−

τ=τ

∂ ττ = − = ∂τ 1

2 2

2L

V�

( ) ( )[ ] ( )( )

[ ]max maxˆ ˆ

ln ln expˆ ˆ ˆ ˆ

2 2

2 2

θ − θ θ− θ θ ≈ − ⇒ θ ≈ − θ θ L L L L

V V

M. Przybycień Rachunek prawdopodobieństwa i statystyka Wykład 10-10

Szacowanie błędów estymatorów MNW

Odstępstwo od paraboli ze względu na małą statystykę (n=50)

ˆ

ˆ .ˆ .

ˆ .

ˆ ˆ ˆ .

−

+

τ − +

τ =∆τ =∆τ =σ ≈ ∆τ ≈ ∆τ ≈

1 0620 1370 165

0 15

Metoda graficzna szacowania błędów statystycznych estymatorów MNW.

Przykład: Estymator wariancji estymatora parametru rozkładu wykładniczego.( ) ( ) ( )ˆmax max

ˆ

ˆ ˆ ˆln ln ln lnˆ θθ

θ− θθ ≈ − ⇒ θ± σ ≈ −σ

2

22L L �L L

12

M. Przybycień Rachunek prawdopodobieństwa i statystyka Wykład 10-11

Metoda największej wiarogodnościPrzykład: Wyznaczenie parametrów µ oraz σ rozkładu normalnego.

( )( )

(x; , ) exp exp

n

n ini i

i

xx

=

=

− µ −µ µ σ = = σ σ πσ πσ ∑

∏2

21

2 21

1 1- -2 22 2

L

ln ln( ) ln ( )n

ii

n n x=

= − π − σ − −µσ ∑2 22 1122 2 2

L

Obliczamy pochodne funkcji wiarogodności po parametrach µ oraz σ:

2x

ln ˆ ˆ( ) ( )ˆ

ln ˆ ˆ ˆ( ) ( ) ( ) Sˆ ˆ

n n n

i i ii i i

n n n

i i ii i i

x x xn

n nx x xn

= = =

= = =

∂ = −µ −µ = ⇒ µ = ∂µ σ σ ⇒ ∂ = − + −µ − + −µ = ⇒ σ = −µ ≡ ∂σ σ σ σ σ

∑ ∑ ∑∑ ∑ ∑

2 21 1 1

2 2 2 22 2 4 2 4

1 1 1

1 1 10

1 1 102 2 2 2

L

L

ˆˆˆˆ

ˆlnˆ ˆ[ ] nn

− −

µ=µµ=µσ=σσ=σ

∂ σ µ = − = − − = ∂µ σ

1 12 2

2 2L

V

Estymatory wariancji estymatorów parametrów µ oraz σ:

ˆ

ˆlnˆ ˆ[ ]( ) n

−

σ =σ

∂ σσ = − = ∂ σ 2 21

2 42

2 22L

V

M. Przybycień Rachunek prawdopodobieństwa i statystyka Wykład 10-12

Metoda największej wiarogodnościPrzykład: Opór każdego z n różnych oporników zmierzono niezależnie 2 razy. Dokładnośćkażdego z pomiarów jest taka sama, a prawdziwe wartości oporu nie są znane. Przyjmując, że każdy z pomiarów opisany jest rozkładem Gaussa o tej samej dyspersji σ, ale różnych wartościach oczekiwanych µi (i = 1, …, n), odpowiadających różnym oporom, znajdź estymatory wielkości µi i σ.

( ) ( )

( )( )( , ; , ) exp exp

exp ( ) exp ( )

n nj ji i

i j

n n

i i j jn ni j

yxx y

x y

= =

= =

− µ − µµ σ = − − = σ σπσ πσ = − −µ − −µ σ σ πσ πσ

∏ ∏

∑ ∑

22

2 21 1

2 22 2

1 1

1 12 22 2

1 1 1 12 22 2

L�

ln ln ln ( ) ln ln ( )n n

i i i ii i

n x n y= =

= − π − σ − −µ − π − σ − −µσ σ∑ ∑2 2 2 22 21 1

1 1 1 1 1 12 22 2 2 22 2L

ˆ ˆx yln ˆ (x y )ˆ ˆ

i i i i i i i ii i i

i

x y−µ −µ −µ −µ∂ = + ⇒ + = ⇒ µ = +∂µ σ σ σ σ2 2 2 210 2

L

ln ( ) ( )n n

i i i ii i

n x n y= =

∂ = − + −µ − + −µ∂σ σ σ σ σ∑ ∑2 22 2 4 2 41 11 1 1 1 1 12 22 2

L

ˆ ˆ ˆ(x ) (y ) (x y )ˆ ˆ

n n

i i i i i ii i

nn

= =

− + − µ + −µ = ⇒ σ = − σ σ ∑ ∑2 2 2 22 4 1 11 10 42

M. Przybycień Rachunek prawdopodobieństwa i statystyka Wykład 10-13

Metoda największej wiarogodnościPrzykład: Wyznaczenie estymatora parametru rozkładu Poissona.

( ; ) e ln ln ln ln !! !

i ik kn n n n

i ii ii i i i

nk k kk k

−µ

= = = =

µ µµ = ⇒ = −µ = µ − − µ ∏ ∑ ∑ ∑L L1 1 1 1ln ˆk k

ˆ

n n n

i i ii i i

k n nn

= = =

∂ = − ⇒ − = ⇒ µ =∂µ µ µ∑ ∑ ∑L 1 1 11 1 10

Wartość oczekiwana i wariancja: ˆ[ ] k k

n n

i ii i

nn n n= =

µ = = = µ = µ∑ ∑E1 1

1 1 1

( )ˆ ˆ[ ] ( ; ) k e (k ) e! !

(k ) (k )(k ) e!

(

i i

i

k kn n n n

i il lk k i l k i l

kn n n

i i jlk i i j l

i

L kn k n k

kn

kn

∞ ∞ ∞−µ −µ

= = = = = = =

∞−µ

= = ≠ = =

µ µ µ = µ −µ µ = −µ = −µ = µ= − µ + −µ −µ =

= −µ

∑ ∑ ∑ ∏ ∑ ∑ ∏

∑ ∑ ∑ ∏

V

2 22

0 0 1 1 0 1 1

22

0 1 1 1

2

1 1

1

1 ) e [k]!

ikn n

lk i l

nk nn

∞−µ

= = =

µ µ= = ∑ ∑ ∏ V2

20 1 1

1

M. Przybycień Rachunek prawdopodobieństwa i statystyka Wykład 10-14

Średnia ważona

( )( ; , ) exp

ni

ii ii

xx

=

−µµ σ = − σπσ ∏�

L

2

21

122

( ) ( )lnln ln lnn n n

i ii

i i ii i

x xn

= = =

−µ −µ∂= − π − σ − ⇒ =∂µσ σ∑ ∑ ∑2

22 2

1 1 1

1 122 2 2L

L

ˆ( )ˆ ˆ /

n n n n ni i i

i i i i ii i i i i

x x x

= = = = =

−µ = ⇔ = µ ⇒ µ =σ σ σ σ σ∑ ∑ ∑ ∑ ∑2 2 2 2 21 1 1 1 1

1 10

Średnia ważona: gdzieˆn

ii i i n

i

j j

w x w=

=

σµ = =

σ

∑∑

2

12

1

1

1

Dana jest próbka prosta złożona z n elementów xi (i=1,…,n), każdy z rozkładu normal-nego o różnej i znanej dyspersji σi, ale nieznanej i identycznej wartości oczekiwanej µ. (np. pomiary danej wielkości za pomocą różnych przyrządów).

M. Przybycień Rachunek prawdopodobieństwa i statystyka Wykład 10-15

Średnia ważonaWartość oczekiwana i wariancja:

( )ˆ ˆ[ ] ( ) ( ; , ) exp

( )( ) exp

( ) ( )( ) exp

n nj

i iji j j

n nj

i iji j j

n n

i i i k i ki i k j

xL x dx w x dx

xw x dx

w x w w x x

= =

= =

= ≠ =

∞ ∞

−∞ −∞

∞

−∞

− µ µ = µ −µ µ σ = −µ − σπσ − µ = −µ − = σπσ

= −µ + −µ −µ − πσ

=∑ ∏

∑ ∏

∑ ∑

∫ ∫∫

V� �

2 22

21 1

2 2

21 1

2 2

1 1

122

122

12

( )n jjj

in n n ni

i i j i i n ni j i ij

j ij jj j

xdx

w w

=

= = = =≠

= =

∞

−∞

− µ = σ σ σ = σ πσ = σ = = πσ σ σ

∏

∑ ∏ ∑ ∑∑ ∑

∫ 221

2

22 2 2 2

1 1 1 12 2

1 1

2

11 122 1 1

ˆ[ ]n n

i i ii i

w x w= =

µ = = µ = µ∑ ∑1 1

� ( )exp da a ax x x∞

−∞

π− =∫ 2 2 12

( )exp da ax x∞

−∞

π− =∫ 2

M. Przybycień Rachunek prawdopodobieństwa i statystyka Wykład 10-16

Metoda największej wiarogodnościPrzykład: Prędkość dźwięku mierzona w powietrzu dwiema różnymi metodami wynosi: v1=340 ± 9 [m/s] oraz v2=350 ± 18 [m/s]. Znajdź najlepszą estymatęprędkości dźwięku.

[m/s]ww v w v

vw w+

= =+

1 1 2 2

1 2342

. .w w= = = =1 22 21 10 013 0 0039 18

( ) [m/s]w w w −σ = + =11 2 8

Obliczamy wagi:

Średnia ważona prędkość dźwięku oraz jej błąd: