A matematikai statisztika alapjaidigitus.itk.ppke.hu/~csercsik/VSZ/Stat/ea_stat.pdf1 Statisztikai alapfogalmak 2 A becsléselmélet alapfogalmai 3 Maximum likelihood 4 Konfidencia

A matematikai statisztika alapjai

Csercsik David

ITK PPKE

Csercsik David (ITK PPKE) A matematikai statisztika alapjai 2018. december 11. 1 / 37

1 Statisztikai alapfogalmak

2 A becsleselmelet alapfogalmai

3 Maximum likelihood

4 Konfidencia intervallum


Statisztikai alapfogalmak

Alapfogalmak

Statisztikai fuggveny (vagy statisztika)

ξ1, ξ2, ... , ξn mintaveteli valtozok tetszoleges fuggvenye

Pl.

A minta kozeperteke (mintaatlag)

ξ =ξ1 + ξ2 + ...+ ξn

n

A minta szorasa (empirikus szoras)

σn =

√

(ξ1 − ξ)2 + (ξ2 − ξ)2 + ...+ (ξn − ξ)2

n



Alapfogalmak 2

Ha ξ∗i a minta nagysag szerint novekvo sorrendbe rendezett elemei kozulaz i-ik (ξ∗i ≤ ξ∗i+1), akkor

A minta kozeppontja

ξ =ξ∗1 + ξ∗n

2

A minta medianja (empirikus median):

ξ∗m ha n = 2m − 1 (paratlan mintaelemszamra)

ξ∗m+ξ∗m+1

2 ha n = 2m (paros mintaelemszamra)

A minta terjedelme: ξ∗n − ξ∗1



A minta eloszlasfuggvenye (empirikus eloszlas fv.)

Fn(x) =

0, ha x ≤ ξ∗1 ,kn, ha ξ∗k < x ≤ ξ∗k+1 k=1...n-1

1, ha ξ∗n < x

Lepcsos fv ξ∗i helyeken 1nnagysagu ugrasokkal.



Gilvenko tetel

Ha ugyanazon eloszlasbol veszunk mintakat

Gilvenko tetel

P

(

limn→∞

(

sup−∞<x<∞

|Fn(x)− F (x)|)

= 0

)

= 1

Fn(x) 1 valoszınuseggel konvergal F (x)-hez.



Hisztogramm (empirikus suruseg fv.)

Legyen az alapsokasagbol (veletlen tomegjelenseg) vett n-elemu minta egyrealizacioja x1, x2, ..., xn

k(x): Azon mintaelemek szama melyek erteke kisebb mint x

k(a+ h)− k(a)

n: Az (a ≤ ξ ≤ a+ h) esemeny mintabeli gyakorisaga

k(a+ h)− k(a)

nh: A vizsgalt eloszlas sgfv-enek kozelıto helyettesıtesi erteke a-ban

(ha h eleg kicsi → = 0)

Lepcsos fv-el kozelıtem a surusegfv-t


A becsleselmelet alapfogalmai

Becsles: Mirol is van szo?

Ami van:

Egy minta

A sokasag eloszlasanak

tıpusa (esetleg)egyes parameterei (esetleg)

Ami nincs:

A sokasag pontos eloszlasa, parameterekkel egyutt.

Cel: A hianyzo parameterek meghatarozasa. Ha rendelkezesre all a teljes sokasag:

kiszamoljuk. Ha csak egy minta: becsuljuk.



Becslofuggveny es becsles tulajdonsagai

ξ: megfigyelt valvaltozo (leırja a sokasagot)

θ: ξ eloszlasanak ismeretlen parametere.

ξ1, ξ2, ..., ξn: ξ-bol vett n elemu minta.

→ keszıtsunk statisztikat, amibol kovetkeztetni lehet θ-ra (=Becsles)

θ = f (ξ1, ξ2, ..., ξn)

Mikor jo?

Torzıtatlansag

A becsles torzıtatlan, ha E (θ) = θ

A becslo fv. varhato erteke megegyezik a sokasag jellemzo ertekevel

(parameterevel)



A becsles tulajdonsagai 2

Hatasossag

θ1 hatasosabb mint θ2 ha σ(θ1) < σ(θ2)

Becsles ami minden mas becslesnel hatasosabb: Hatasos becsles (ha ∃)

Aszimptotikus torzıtatlansag

A minta elemszamanak novekedesevel a becslofuggveny varhato ertekemegegyezik a sokasag jellemzo ertekevel:θ1, θ2, ...θn becslessorozat aszimptotikusan torzıtatlan ha

limn→∞

E (θn) = θ

Minden torzıtatlan becsles aszimptotikusan torzıtatlan.



A becsles tulajdonsagai 3

Elegsegesseg

Az θ = f (ξ1, ξ2, ..., ξn) statisztika elegseges becslese a θ parameternek, ha amintaveteli valtozok egyuttes felteteles eloszlasa, barmely modon megvalosuloθ = y feltetel eseten nem tartalmazza a becsult θ parametert.

Konzisztencia

1 A becsles torzıtatlan es

2 A mintaelemszam novelesevel a parameter es becslese kozti elteres ε alacsokken

E (θ) = θ es limn→∞

P(∣∣∣θ − θ

∣∣∣ < ε

)

= 1



A mintaatlag mint becslofuggveny tulajdonsagai

Tetel

A mintaatlag torzıtatlan becslese E (ξ)− nek

Tetel

A mintaatlag szorasa → 0 ha n → ∞

σ2(ξ) = σ2

(ξ1 + ξ2 + ...+ ξn

n

)

=1

n2

n∑

i=1

σ2(ξ1) =1

n2nσ2(ξ1) σ(ξ) =

σ(ξ1)√n

Tetel

A mintaatlag az elmeleti varhato ertek (E (ξ)) linearis becslesei kozul aleghatasosabb.

megj: Ha az elmeleti eloszlas normalis, akkor minden becsles kozul aleghatasosabb.



Az empirikus szorasnegyzet mint becslofuggvenytulajdonsagai

Tetel

Az empirikus szorasnegyzet (σ2n) nem torzıtatlan becslese σ2(ξ)-nek.

Megjegyzes: aszimptotikusan torzıtatlan.

Definıcio

Korrigalt empirikus szorasnegyzet:

s2n =n

n − 1σ2n

A korrigalt empirikus szorasnegyzet torzıtatlan becslese σ2(ξ)-nek.



Pelda

Feladat

Mutassuk meg hogy a Poisson eloszlasu alapsokasag λ parameterenek amintakozep elegseges becslese!

→ Elo kell allıtani a ξ1, ξ2, ..., ξn mintaveteli valtozok

ξ =ξ1 + ξ2 + ...+ ξn

n

feltetelhez tartozo egyuttes valoszınusegeloszlasat, vagyis a

P

(

ξ1 = k1, ξ2 = k2, ..., ξn = kn|ξ =N

n

)

ertekeket, ahol

n∑

i=1

ki = N



Pelda/2

→ Felteteles valoszınuseg + a mintavaltozok fuggetlensege:

P

(

ξ1 = k1, ξ2 = k2, ..., ξn = kn∣∣ξ =

N

n

)

=P(ξ1 = k1)P(ξ2 = k2)...P(ξn = kn)

P(nξ = N)

Minden ξi az alapsokasaggal megeggyezo λ parameteru Poisson-eloszlasu valvalt

P(ξi = ki) =λki

ki !e−λ

Belathato tovabba hogy nξ eloszlasa (nλ) parameteru Poisson eo:

P(nξ = N) =(nλ)N

N!e−nλ



Pelda/3

P

(

ξ1 = k1, ξ2 = k2, ..., ξn = kn|ξ =N

n

)

=

=λk1

k1!e−λ λk2

k2!e−λ ...λ

kn

kn!e−λ

(nλ)N

N! e−nλ=

=λk1+k2+...+knN!

nNλNk1!k2!...kn!=

=N!

nNk1!k2!...kn!

fuggetlen λ-tol, tehat a becsles elegseges!


Maximum likelihood

Maximum likelihood

Egy gep altal eloallıtott sorozatgyartott termek (=sokasag) p selejtaranyatszeretnenk mintavetel utjan megbecsulni. Kivalasztunk n elemet egymasutan,visszatevessel (ıgy a selejtarany valtozatlan marad), k szamu selejtest talalunk.

Tudjuk hogy ha p a selejtarany akkor annak a valsege hogy n-bol pontosan k

selejt: f (p) = pk(1 − p)n−k (fuggetlen kıserleteket feltetelezve)

Keressuk azon p-t, melyre a megvalosult minta letrejottenek eselye (f (p))maximalis

→ df (p)dp

= kpk−1(1− p)n−k + pk(n − k)(1− p)n−k−1(−1)

df (p)dp

= 0 ⇔ pk−1(1− p)n−k−1(k(1− p)− p(n − k)) = 0

p 6= 0, p 6= 1 k-kp-np+kp=0 p = kn p = k

na becsles.


Maximum likelihood

Maximum likelihood 2

Altalanossagban: Az MLE (maximum likelihood estimation) soran az L(θ)likelihood fuggvenyt kell maximalizalnunk a θ ismeretlen parameter tekinteteben.n fuggetlen minta eseten

L(θ) = f (x1, x2, ..., xn∣∣θ) = f (x1

∣∣θ)f (x2

∣∣θ)...f (xn

∣∣θ)

szorzatot nehez maximalizalni log likelihood:

l(θ) = log L(θ) = log

n∏

i=1

f (xi |θ) =n∑

i=1

log f (xi |θ)


Maximum likelihood

Maximum likelihood 1. pelda

Tegyuk fel hogy ξ egy diszkret valvaltozo, a kovetkezo eloszlassal:

ξ 0 1 2 3

P(ξ = k) 2θ3

θ3

2(1−θ)3

(1−θ)3

Egy 10 elemu mintavetel a kovetkezo eredmenyt adja: (3,0,2,1,3,2,1,0,2,1). Milesz θ ML becslese?

L(θ) = P(ξ = 3)P(ξ = 0)P(ξ = 2)P(ξ = 1) ... P(ξ = 1)

L(θ) =

(2θ

3

)2(θ

3

)3(2(1− θ)

3

)3((1− θ)

3

)2


Maximum likelihood

Maximum likelihood 1. pelda/2

l(θ) = logL(θ) =

n∑

i=1

logP(xi |θ)

= 2

(

log2

3+ logθ

)

+ 3

(

log1

3+ logθ

)

+ 3

(

log2

3+ log(1− θ)

)

+2

(

log1

3+ log(1− θ)

)

= C + 5log θ + 5log (1− θ)

ahol C nem fugg θ-tol.

dl(θ)

dθ=

5

θ− 5

1− θ θ = 0.5


Maximum likelihood

Maximum likelihood 2. pelda

Folytonos esetben a surusegfuggvennyel dolgozunk. Pl:

f (x , θ) =1

2θe−

|x|θ

es legyen n fuggetlen mintank: x1,...,xn

l(θ) =

n∑

i=1

[

−log 2− log θ − |xi |θ

]

dl

dθ=

n∑

i=1

[

−1

θ+

|xi |θ2

]

= −n

θ+

∑n

i=1 |xi |θ2

= 0

θ =

∑n

i=1 |xi |n


Maximum likelihood

Maximum likelihood HF

Hazi feladat

Mutassuk meg hogy normalis eloszlas es n minta eseten

f (x ,m, σ) =1

σ√2π

e− (x−m)2

2σ2

a likelihood fv. m szerinti derivaltjanak =0 feltetelebol az

m =

∑n

i=1 xi

n

◦

= x

a σ szerinti derivalt =0 feltetelebol pedig a

σ2 =1

n

∑

(xi −m)2 =1

n

∑

(xi − x)2

ML becsles adodik!


Konfidencia intervallum

Hozzam csak az johet vizsgazni, aki tudja hogy a hisztogram nem

lazcsillapıto, a momentum nem muemlek es a konfidencia intervallum

nem bermalasi idoszak!

Ismeretlen oktato



Intervallumbecslesek I

A pontbecsles tokeletesen (szinte) sohasem pontos.





Mennyire pontatlan?





Mennyire pontatlan?

Milyen hatarok kozott lehet a pontos ertek?





Mennyire pontatlan?

Milyen hatarok kozott lehet a pontos ertek?

Nem jo kerdes! Milyen hatarok kozott lehet a pontos ertek nagyvaloszınuseggel?



Normalis eloszlas, szoras ismert

Pl: Becsuljuk E (ξ) = m-et a mintaatlaggal (ξ)! Kell: m− ξ eloszlasa

Normalis eloszlas → a mintaatlag (ξ) es a minta elemei is normaliseloszlasuak, a sokasag szorasa (σ) ismert



Normalis eloszlas, szoras ismert

Pl: Becsuljuk E (ξ) = m-et a mintaatlaggal (ξ)! Kell: m− ξ eloszlasa

Normalis eloszlas → a mintaatlag (ξ) es a minta elemei is normaliseloszlasuak, a sokasag szorasa (σ) ismert

Uj valoszınusegi valtozot definialunk:

µ =ξ −m

σ√n

miert?

ξ ∼ N(m, σ)

ξ ∼ N(m,σ√n) lasd a mintaatlag mint becslo fv tul.

ξ −m ∼ N(0,σ√n)

ξ −mσ√n

= µ ∼ N(0, 1)



Normalis eloszlas, szoras ismert /2

Legyen a hiba = α. Ekkor kell: P(−z < µ < z) = 1− α z =?

Mivel µ ∼ N(0, 1)

1− α = P(−z < µ < z) = Φ(z)− Φ(−z) = 2Φ(z)− 1



Normalis eloszlas, szoras ismert /3

1− α = (−z < µ < z) = Φ(z)− Φ(−z) = 2Φ(z)− 1 Φ(z) = 1− α

2

z meghatarozhato (Φ tablazatbol).Tehat:

−z < ξ−mσ√n

< z

ξ − zσ√n< m < ξ + z

σ√n

A konfidencia intervallum:]

ξ − zσ√n

, ξ + zσ√n

[

konkret mintara:

]

x − zσ√n

, x + zσ√n

[

∆ = z σ√n: A hibahatar.




Altalanossagban:

Definıcio

A θ becsleshez tartozo ]θ − z , θ + z[ konfidencia intervallumrol azt mondjuk hogy100(1− α)%-os megbızhatosagi szinthez tartozik, ha az esetek 100(1− α)%-ban(illetve 100(1− α)% valoszınuseggel) a tenylegesen meghatarozott intervallumlefedi a becsult parameter (θ) valodi erteket.



Ha az eloszlas nem normalis, szoras ismert

Ismet E (ξ) = m-et becsuljuk a mintaatlaggal (ξ). σ = σ(ξ1) ismert.

A CHT miatt ξ eleg nagy n-re megkozelıtoleg N(

m, σ√n

)

eloszlasu.

A CHT-bol tudjuk hogy

P

(∑n

j=1 ξj − nE (ξ1)√nσ(ξ1)

< z

)

∼= P(η < z) ahol η N(0, 1)

P

ξ︷︸︸︷∑n

j=1 ξj

n−

m︷︸︸︷

E (ξ1)

σ(ξ1)√n

︸︷︷︸

α

< z

∼= P(η < z) = Φ(z)



Ha az eloszlas nem normalis, szoras ismert/2

P(α < z) = Φ(z)

P(α < −z) = Φ(−z) = 1− Φ(z)

P(|α| < z) = P(α < z)− P(α < −z) = 2Φ(z)− 1

tehat

P

(

|ξ −m|σ√n

< z

)

∼= 2Φ(z)− 1

Adott α eseten Φ tablazatabol meghatarozhato azon z melyre2Φ(z)− 1 = 1− α vagyis amelyre |ξ −m| < z σ√

n

A 100(1− α)%-os megbızhatosagi szinthez tartozo konfidencia intervallum tehat:

]

ξ − zσ√n, ξ + z

σ√n

[



Konfidencia intervallum - 1. pelda

Egy hitelesıto hosszmertek a gyar altal megadott szorasa 0.003 mm. Hany meresszukseges ahhoz, hogy a meresek atlaganak hibaja 90%-os valseggel 0.001mm-nel kevesebb legyen?

MO:

Tudjuk hogy

P

(

|ξ −m|σ√n

< z

)

∼= 2Φ(z)− 1

kell:

P

(

|ξ −m| < zσ√n

)

∼= 0.9

Milyen z-re igaz hogy 2Φ(z)− 1 = 0.9 Φ(z) = 1.92 z = 1.65

Kell:

1.650.003√

n< 0.001 n meghatarozhato



Normalis eloszlas, ismeretlen szoras

W.S. Gossett angol statisztikus volt, aki egy sorgyarban dolgozott, ahol kiselemszamu mintakat vizsgalt. 1908-ban ırt egy cikket ”A. Student” alneven,amelyben a kis mintak tulajdonsagait vizsgalta.

Mivel σ ismeretlen, becsuljuk: µ = ξ−mσ√n

helyett τ = ξ−msn√n

(ahol sn a korrigalt

tapasztalati szoras)

τ Student-fele t eloszlasu dof=n-1 szabadsagfokkal (mert a mintaatlag egylinearis osszegugges) - z helyet most t veszi at.

Szimmetrikus

Asszimptotikusan normalis eloszlasu: Minel nagyobb a szabadsagfok, annaljobban hasonlıt a t-eloszlas gorbeje a normalis eloszlas gorbejere.

A t-eloszlasokat a kulonbozo szabadsagfokok szerinti tablazatokbanmegtalalhatjuk. t erteke z-hez hasonloan meghatarozhato. Akonfidenciaintervallum:

]

ξ − tdofsn√n, ξ + tdof

sn√n

[



Student eloszlas



Konfidencia intervallum - 2. pelda

Egy ceg 16 ml-es uvegekben arul egy gyogyszert. Az uvegeket egy automata tolti.Ha nem tolt pontosan, akkor a gepet ujra be kell allıtani. A ceg csak akkor allıtjale a folyamatot, ha nagyon biztosak abban hogy az automata rosszul tolt. Tegyukfel hogy a kovetkezo mintat kapjuk:

[15.68, 16.00, 15.61, 15.93, 15.86, 15.72]

ξ =15.68 + 16.00 + 15.61 + 15.93 + 15.86 + 15.72

6= 15.8

σ2(ξ) =

(15.68 − ξ)2 + (16 − ξ)2 + (15.61 − ξ)2 + (15.93 − ξ)2 + (15.86 − ξ)2 + (15.72 − ξ)2

6= 0.0196

s2n =n

n − 1σ2 =

6

5σ2 = 0.0235

ξ = 15.8, sn = 0.153



Konfidencia intervallum - 2. pelda/2

A 95 %-os konfidencia intervallum szamıtasahoz a 0.05 valoszınuseghez esn=6-1=5 szabadsagfokhoz tartozo tablazatbeli t-ertekre van szuksegunk. Ez=2.57.A 95 %-os konfidencia intervallum:

]15.8− 2.570.153√

6, 15.8 + 2.57

0.153√6

[ = ]15.63, 15.96[

Ha nagyobb biztonsaggal szeretnenk megallapıtani a parameter valodi erteket,az intervallum hossza nagyobb lesz.



Konfidencia intervallum - 2. pelda/3

A 99 %-os konfidencia intervallum szamıtasahoz a 0.01 valoszınuseghez esn=6-1=5 szabadsagfokhoz tartozo tablazatbeli t-ertekre van szuksegunk. Ez=4.032.A 99 %-os konfidencia intervallum:

]15.8− 4.0320.153√

6, 15.8 + 4.032

0.153√6

[ = ]15.55, 16.05[



Mintaelemszam meghatarozasa

Hany minta kell ha a mintaatlag (1-a)100% biztonsaggal d egyseggel terhet almaximalisan a valodi ertektol.

zσ√n= d n =

(zσ

d

)2

Tartalmazza a szorasnegyzetet. Ha egy elozo np elemu mintabol aztmegbecsultuk, es np legalabb 30 volt, akkor a fenti keplet hasznalhato. Ha nemakkor

n =

(tdof sn

d

)2


Documents

A matematikai statisztika alapjaidigitus.itk.ppke.hu/~csercsik/VSZ/Stat/ea_stat.pdf1 Statisztikai alapfogalmak 2 A becsléselmélet alapfogalmai 3 Maximum likelihood 4 Konfidencia