Uvod v Bayesovsko Statistiko

Uvod v Bayesovsko statistiko, Ljubljana (IBMI - stat. klub), februar 2006 - p. 1/30

Uvod v Bayesovsko statistiko

Gregor Gorjancgregor.gorjanc@bfro.uni-lj.si

http://www.bfro.uni-lj.si/MR/ggorjan/

UL, Biotehniška fakulteta, Oddelek za zootehniko

Literatura■ uvod

Bolstad W.M. 2004. Introduction to Bayesian statistics.John Wiley & Sons, Hoboken, New Jersey

■ prakticen pristopGelman A., Carlin J.B., Stern H.S., Rubin D.B. 2004.Bayesian data analysis. Texts in statistical science.Chapman & Hall / CRC, 2nd edition

■ nazoren primer uporabe apriorne porazdelitveGelman A. 2002. Prior distribution. V: Encyclopedia ofEnvironmetrics, John Wiley & Sons, Vol. 3, 1634–1637

■ uporaba MCMCGilks W.R., Richardson S., Spiegelhalter D.J. (ur.) 1998.Markov Chain Monte Carlo in practice. Chapman & Hall /CRC

Pregled■ Prednosti in nekaj slabosti, razvoj

■ Thomas Bayes

■ Uporaba Bayesovega izreka na primeru

■ Bayesovska statistika

■ Apriorna porazdelitev

■ MCMC

■ Programska oprema

Prednosti in nekaj slabosti■ le eno “orodje” - Bayesov izrek■ verjetnost in intervali zaupanja■ Bayesovski pristop pogosto “prekosi” frekvencisticnega■ moteci parametri■ napovedovanje

■ predhodno znanje in objektivnost

■ uporaba v praksi otežena zaradi težav pri izracunih -veckratni integrali

Razvoj■ 18. stol. Bayes

■ 19. stol. Laplace in sodobniki

■ zacetek 20. stol. uporaba/ideja zamre

■ sredina 20. stol. De Finetti, Jeffreys, Savage, Lindley, . . .

■ razcvet v zadnjih ∼25 letih

Thomas Bayes 1702-1761

Bayesov izrek■ pogojna verjetnost

P (A|B) =P (A ∩ B)

■ skupna verjetnost

P (A ∩ B) = P (A|B)P (B)

= P (B|A)P (A)

■ Bayesov izrek

P (A|B) =P (B|A)P (A)

■ velja tudi za vec izidov (k) za dogodek

P (Aj |Bi) =P (Bi|Aj)P (Aj)

∑kj=1 P (Bi|Aj)P (Aj)

Primer■ Pogostost bolezni v populaciji znaša 0.008. Za to bolezen

imamo na voljo test. Kolikšna je verjetnost, da imanakljucno izbran posameznik bolezen, ce je test pozitiven?

■ Dogodki (zapis)◆ T - rezultat testa (-, +)◆ B - prisotnost bolezni (ne, da)

■ Možni scenariji◆ T = −, B = ne OK◆ T = +, B = ne lažno pozitiven rezultat◆ T = −, B = da lažno negativen rezultat◆ T = +, B = da OK

Primer - popoln test■ test je popoln - brez napak/nezaupanja■ “veljavnost” testa:

◆ P (T = −|B = ne) = 1.00◆ P (T = +|B = ne) = 0.00◆ P (T = −|B = da) = 0.00◆ P (T = +|B = da) = 1.00

■ Bayesov izrek

P (B|T ) =P (T |B)P (B)

P (T )

P (B = da|T = +) =

=P (T = +|B = da)P (B = da)

P (T = +|B = da)P (B = da) + P (T = +|B = ne)P (B = ne)

Primer - popoln test, rezultat

P (B = da|T = +) =

=P (T = +|B = da)P (B = da)

■ rabimo še P (B = da) - verjetnost za bolezen, kar jepravzaprav pogostost bolezni v populaciji 0.008

P (B = da|T = +) =1.00 × 0.008

1.00 × 0.008 + 0.00 × 0.992= 1.00

■ nic novega :( popoln test ⇒ popolni rezultati

Primer - nepopoln test■ realnost: test ni popoln - z napakami/nezaupanjem

◆ lažno pozitivni rezultat v 10 % in◆ lažno negativni rezultat v 5 %.

■ “veljavnost” testa:◆ P (T = −|B = ne) = 0.9◆ P (T = +|B = ne) = 0.05◆ P (T = −|B = da) = 0.1◆ P (T = +|B = da) = 0.95

■ verjetnost za bolezen predhodno (brez testa) znaša

P (B = da) = 0.008

Primer - nepopoln test, rezultat■ Bayesov izrek združi predhodno znanje in rezultate testa -

Bayesovsko ucenje:

P (B = da|T = +) =

=P (T = +|B = da)P (B = da)

=0.95 × 0.008

0.95 × 0.008 + 0.1 × 0.992= 0.0712

■ ali bi zaupali takšnemu testu?

■ ce imamo še en test

P (B = da|T2 = +) = 0.4212 P (B = da|T2 = −) = 0.0084

Primer - nepopoln test, 1000 testov■ zakaj?

Table 1: Rezultati za 1000 testov

Rezultat testaStanje Pozitiven (+) Negativen (−) Skupaj

Zdrav (ne) 99 893 992

Bolan (da) 7 1 8

Skupaj 106 894 1000

■ napaka/nezaupanje v test se preko Bayesovega izrekaprenese v rezultat

Primer - nepopoln test, P (B = da) = 0.2

■ ampak, ce poznam P (B = da), potem vem, kdo je in kdo nibolan!

■ vpliv P (B = da)◆ P (B = da) = 0.008 ⇒ P (B = da|T = +) = 0.0712◆ P (B = da) = 0.2 ⇒ P (B = da|T = +) = 0.7037

Table 2: Rezultati za 1000 testov pri P (B = da) = 0.2

Rezultat testaStanje Pozitiven (+) Negativen (−) Skupaj

Zdrav (ne) 80 720 800

Bolan (da) 180 20 200

Skupaj 260 740 1000

Primer - nepopoln test, vpliv P (B = da)

0.0 0.2 0.4 0.6 0.8 1.0

0.00.2

0.40.6

0.81.0

P(B=da)

Prehod . . .■ Bayesov izrek

P (B|T ) =P (T |B)P (B)

P (T )

■ parametri in podatki?◆ podatki (yi, i = 1, . . . , n): rezultati testa◆ parametri (θj): prisotnost bolezni

f(θj |yi) =f(yi|θj) × f(θj)

∑nj=1 f(yi|θj) × f(θj)

=f(yi|θj) × f(θj)

■ f(θj |yi) - posteriorna verjetnost■ f(yi|θj) - verjetje L(θj |yi)

■ f(θj) - apriorna verjetnost■ f(yi) - robna verjetnost podatkov (konst. za normalizacijo)

Bayesovska statistika■ podatki (y): rezultati testa■ parametri (θ): prisotnost bolezni

f(θ|y) =f(y|θ) × f(θ)

f(y) = konst.

f(θ|y) ∝ f(y|θ) × f(θ)

∝ L(θ|y) × f(θ)

“posterior ∝ likelihood × prior”

Primer■ Naredimo n testov na nakljucno izbranih posameznikih iz

populacije. Kolikšen je delež obolelih v populaciji?■ število pozitivnih: Y ∼ Bin(n, θ)

■ delež obolelih: θ

■ gostota verjetnosti f(y|θ) in verjetje L(θ|y)

f(y|θ) =

θy (1 − θ)n−y, L(θ|y) =

θy (1 − θ)n−y

■ apriorna verjetnost/porazdelitev: f(θ) =???

■ Bayesov izrek

f(θ|y) ∝ L(θ|y) × f(θ)

f(θ|y) =L(θ|y) × f(θ)

L(θ|y) × f(θ)∫ 10 f(y|θ) × f(θ)dθ

Primer - enakomerna apriorna p.■ apriorna porazdelitev: f(θ) = konst.

f(θ|y) =L(θ|y) × konst.

∫ 10 f(y|θ) × konst.dθ

∝ L(θ|y)

f(θ|y) ∝

θy (1 − θ)n−y

∝ θy (1 − θ)n−y

■ “after the inspection beta distribution can be recognized”

X ∼ Be(a, b), fx(x) =1

B(a, b)xa−1(1 − x)b−1, 0 ≤ x ≤ 1

θ|y ∼ Be(y + 1, n − y + 1)

Primer - f (θ|y = 30, n = 50)

0.0 0.2 0.4 0.6 0.8 1.0

Primer - f (θ|y = 30, n = 50) povzetek■ Bayesovski pristopa

◆ E(θ) = 0.596◆ Me(θ) = 0.597◆ Mo(θ) = 0.600◆ SE(θ) = 0.067◆ θ(2.5 %, 97.5 %) = (0.461, 0.724)

■ frekvencisticen pristopa

◆ θ = 0.600◆ SE(θ) = 0.069

aglej v izvorno kodo za enacbe/izracun

Primer - konjugirana apriorna p.■ konjugirana apriorna porazdelitev ima enako obliko kot

posteriorna porazdelitev

θ ∼ Be(a, b), fθ(θ) =1

B(a, b)θa−1(1 − θ)b−1, 0 ≤ θ ≤ 1

f(θ|y) ∝ θy (1 − θ)n−y × θa−1(1 − θ)b−1

∝ θa+y−1 (1 − θ)b+n−y−1

θ|y ∼ Be(a + y + 1, b + n − y − 1)

a, b =???

■ parametra a in b dolocata obliko apriorne porazdelitve in jupotrebujemo!

■ !?*+-#% . . .

Primer - Be(a = 1 : 3, b = 1 : 3)

Be(0.5, 0.5)

0.0 0.4 0.8

Be(0.5, 1)

0.0 0.4 0.8

Be(0.5, 2)

0.0 0.4 0.8

Be(0.5, 3)

0.0 0.4 0.8

Be(1, 0.5)

0.0 0.4 0.8

Be(1, 1)

0.0 0.4 0.8

Be(1, 2)

0.0 0.4 0.8

Be(1, 3)

0.0 0.4 0.8

Be(2, 0.5)

0.0 0.4 0.8

Be(2, 1)

0.0 0.4 0.8

Be(2, 2)

0.0 0.4 0.8

Be(2, 3)

0.0 0.4 0.8

Be(3, 0.5)

0.0 0.4 0.8

Be(3, 1)

0.0 0.4 0.8

Be(3, 2)

0.0 0.4 0.8

Be(3, 3)

0.0 0.4 0.8

Primer - f (θ|y = 30, n = 50, a, b = (1, 3))

Be(1, 1)

0.0 0.2 0.4 0.6 0.8 1.0

verjetjeapriorna p.posteriorna p.

Be(1, 3)

0.0 0.2 0.4 0.6 0.8 1.0

Be(3, 1)

0.0 0.2 0.4 0.6 0.8 1.0

Be(3, 3)

0.0 0.2 0.4 0.6 0.8 1.0

Apriorna porazdelitev

“Tisti, ki uporablja Bayesovsko statistiko, na podlaginejasnega/meglenega pricakovanja konja in bežnegapogleda na osla, trdno sklepa, da je videl mulo.” Senn

(1997).

Neinformativna apriorna p. ne obstaja. Celo enakomernaapriorna porazdelitev pravi, da so vse vrednosti enako

verjetne.

Apriorna porazdelitev■ ni vse tako “crno”■ obstajajo pristopi za izpeljavo t.i. neinformativnih apriornih

porazdelitev◆ Jefrreys-ove apriorne porazdelitve◆ referencne apriorne porazdelitve (Bernardo)◆ . . .

■ analiza obcutljivosti

MCMC■ pred ∼25 leti je bil Bayesovski pristop v primeru vecjega

števila parametrov prakticno “neuporaben”

f(θ|y) ∝ L(θ|y) × f(θ)

f(θi|θi−y) =

θi−

L(θ|y) × f(θ)dθi−

■ reinkarnacija z metodami MCMC(Monte Carlo z Markovskimi verigami)

◆ Metropolis in Metropolis-Hastings◆ Gibbs◆ . . .

Programska oprema■ BUGS

◆ BUGS 1990-1996◆ WinBUGS 1996-2003http://www.mrc-bsu.cam.ac.uk/bugs/welcome.shtml■ DoodleBUGS■ GeoBUGS■ PKBUGS

◆ OpenBUGS 2003-. . .http://mathstat.helsinki.fi/openbugs/

Programska oprema - BUGS primer■ en primer kode za BUGS – podobno prog. jeziku S# Podatki

list(y = c(rep(1, 30), rep(0, 20)), N = 50)

# Model

for (i in 1:N) {

y[i] ~ dbern(p)

p ~ dunif(0, 1)

# Zacetne vrednosti

list(p = 0.2)

Programska oprema - splošno II.■ R paketihttp://www.r-project.org/◆ bayesm, bayesmix , bayesSurv , bim, BMA, boa, BRugs,

bqtl , coda, EbayesThresh, eco, mcgibbsit , mcmc,MCMCpack , MNP, R2WinBUGS, rbugs, rv , UMACS,. . .

■ JAGS

http://www-fis.iarc.fr/~martyn/software/jags/

■ Hydra

http://research.warnes.net/projects/mcmc/hydra/

■ FBM

http://www.cs.utoronto.ca/~radford/fbm.software.html

Uvod v Bayesovsko Statistiko

Documents

Uvod v informacijske sisteme

Uvod v terminološko vedo

Uvod v pedogeografijo

Uvod v mednarodne organizacije

Uvod v biogeografijo

glosar za statistiko transportaGlosar za statistiko transporta 9 UVOD Glosar statistike transporta je bil prvič objavljen leta 1994 z namenom pomagati državam članicam pri zbiranju

Uvod v mikrobiologijo

Uvod v e-poslovanje

Uvod v Pravoznanstvo

Uvod v strojništvo

Skripta Za Statistiko[1]

STATISTIKO LEXIKO

Uvod v romansko jezikoslovje

UVOD V PRAVOZNANSTVO - studentski.net · UVOD V PRAVOZNANSTVO UVOD V TEORIJO DRŽAVE IN PRAVA (JURISPRUDENCA) I. DRŽAVA..\sociologija1\odgovori.doc - država pojem, ki se v sociologiji

Uvod v GSP

uvod v narečni slovar

POSLOVNA INFORMATIKA S STATISTIKO - Zavod IRC · 2010-03-12 · Poslovna informatika s statistiko 5 1 UVOD V STATISTIKO V uvodnem poglavju učbenika bomo spoznali današnji pomen

Uvod v mineralogijo

Uvod v primerjalno pedagogiko

Uvod v modul 2a