Algoritmos MCMC para inferência bayesiana (Parte 2)cnaber/aula_MCMC_P2_IB_2S_2013.pdf · Algoritmos MCMC para infer^encia bayesiana (Parte 2) Prof. Caio Azevedo Prof. Caio Azevedo

Algoritmos MCMC para inferencia bayesiana

(Parte 2)

Prof. Caio Azevedo

Prof. Caio Azevedo

Algoritmos MCMC para inferencia bayesiana (Parte 2)

Exemplo: mortalidade de besouros

Dados relativos ao percentual de besouros mortos quando expostos a

diferentes doses de disulfeto de carbono gasoso (CS2).

Dose: log10CS2 no Besouros expostos no Besouros mortos

1,6907 59 6

1,7242 60 13

1,7552 62 18

1,7842 56 28

1,8113 63 52

1,8369 59 53

1,8610 62 61

1,8839 60 60

Prof. Caio Azevedo



Modelo1

Yi |(β0, β1) ∼ Binomial(mi , pi )

ln

(pi

1− pi

)= β0 + β1xi , i = 1, 2, ..., 8

mi : numero de besouros expostos a dose i de CS2.

Yi : numero de besouros expostos a dose i de CS2 que morreram.

xi : dose (log da concentracao de CS2) a que os besouros do grupo i

foram expostos.

Prof. Caio Azevedo


Cont. do modelo 1

Assim, pi =eβ0+β1xi

1 + eβ0+β1xi

β0 e o logito[ln(

pi1−pi

)]da proporcao de besouros mortos

submetidos a uma concentracao de 1 unidade de CS2. Ou seja, se

xi = log10(concent) = log10(1) = 0 entao pi =eβ0

1 + eβ0.

Prof. Caio Azevedo


Cont. do modelo 1

Sejam: pi =eβ0+β1xi

1 + eβ0+β1xie pi+1 =

eβ0+β1(xi+1)

1 + eβ0+β1(xi+1).

Assim: ln(

pi1−pi

)= β0 + β1xi e ln

(pi+1

1−pi+1

)= β0 + β1(xi + 1).

Logo: ln(

pi+1

1−pi+1

)− ln

(pi

1−pi

)= ln

(pi+1/(1−pi+1)pi/(1−pi )

)= β1.

Portanto,pi+1/(1− pi+1)

pi/(1− pi )= eβ1 (conhecida como razao de

chances).

Prof. Caio Azevedo



Modelo 2

Yi |(β0, β1) ∼ Binomial(mi , pi )

ln

(pi

1− pi

)= β0 + β1(xi − x), x =

1

8

8∑i=1

xi , i = 1, 2, ..., 8

Neste caso, β0 e o logito[ln(

pi1−pi

)]da proporcao de besouros

mortos submetidos a uma concentracao igual a x unidades de CS2.

Ou seja, se xi = log10(concent) = 18

∑8i=1 log10(concenti ) entao

pi =eβ0

1 + eβ0.

As outras quantidades, incluindo o parametro β1, possuem as

mesmas interpretacoes que no modelo 1, (substituindo-se xi por

xi − x).Prof. Caio Azevedo


Comandos

Algoritmo WinBUGS para o ajuste do modelo.

ComBesprobitmod<-function(){ for( i in 1 : N ) { r[i] ~ dbin(p[i],n[i]) logit(p[i]) <- beta0 + beta1 * (x[i]-1.793425)

# logit(p[i]) <- beta0 + beta1 * (x[i]) auxp[i] <- beta0+beta1*(x[i]-1.793425) auxp1[i] <-exp(auxp[i])/(1+exp(auxp[i])) rpredaux[i] ~ dbin(auxp1[i],n[i]) rpred[i] <- rpredaux[i]/n[i]

} beta0 ~ dnorm(0.0,0.001) beta1 ~ dnorm(0.0,0.001) }

Página 1

Prof. Caio Azevedo


Traceplots para os tres conjuntos de cadeias geradas:

modelo 1

Prof. Caio Azevedo


Autocorrelacoes para um dos conjuntos de cadeias: modelo

1

0 20 40 60 80 100

−1

.00

.01

.0

Lag

Au

toco

rre

latio

n

beta0

0 20 40 60 80 100

−1

.00

.01

.0

Lag

Au

toco

rre

latio

n

beta1

Prof. Caio Azevedo


Grafico das medianas acumuladas para um dos conjuntos

de cadeias: modelo 1

0 50000 100000 150000 200000

−6

0−

40

−2

00

Iterations

beta0

0 50000 100000 150000 200000

01

02

03

0

Iterations

beta1

Prof. Caio Azevedo


Grafico da estatıstica de Geweke para um dos conjuntos de

cadeias: modelo 1

0e+00 2e+04 4e+04 6e+04 8e+04 1e+05

−2

−1

01

2

First iteration in segment

Z−

sco

re

beta0

0e+00 2e+04 4e+04 6e+04 8e+04 1e+05

−2

−1

01

2


Z−

sco

re

beta1

Prof. Caio Azevedo


Grafico da estatıstica de Gelman-Rubin utilizando os tres

conjuntos de cadeias: modelo 1

0 50000 100000 150000 200000

12

34

56

7

last iteration in chain

shri

nk

fact

or

median

97.5%

beta0

0 50000 100000 150000 200000

12

34

56

7


shri

nk

fact

or

median

97.5%

beta1

Prof. Caio Azevedo


Traceplots para os tres conjuntos de cadeias geradas:

modelo 2

0 1000 2000 3000 4000 5000 6000 7000

0.2

0.6

1.0

1.4

Iterations

Trace of beta0

0 1000 2000 3000 4000 5000 6000 7000

25

35

45

Iterations

Trace of beta1

Prof. Caio Azevedo


Autocorrelacoes para um dos conjuntos de cadeias: modelo

2

0 20 40 60 80 100

−1

.00

.01

.0

Lag

Au

toco

rre

latio

n

beta0

0 20 40 60 80 100

−1

.00

.01

.0

Lag

Au

toco

rre

latio

n

beta1

Prof. Caio Azevedo


Grafico das medianas acumuladas para um dos conjuntos

de cadeias: modelo 2

0 1000 2000 3000 4000 5000 6000 7000

0.4

50

.60

0.7

5

Iterations

beta0

0 1000 2000 3000 4000 5000 6000 7000

34

.53

5.5

Iterations

beta1

Prof. Caio Azevedo



cadeias: modelo 2

0 500 1000 1500 2000 2500 3000 3500

−2

−1

01

2


Z−

sco

re

beta0

0 500 1000 1500 2000 2500 3000 3500

−2

−1

01

2


Z−

sco

re

beta1

Prof. Caio Azevedo



conjuntos de cadeias: modelo 2

0 1000 2000 3000 4000 5000 6000 7000

1.0

01

.05

1.1

01

.15


shri

nk

fact

or

median

97.5%

beta0

0 1000 2000 3000 4000 5000 6000 7000

1.0

1.1

1.2

1.3

1.4

1.5


shri

nk

fact

or

median

97.5%

beta1

Prof. Caio Azevedo


Histograma da amostra valida para um dos conjuntos de

cadeias: modelo 2Posteriori − β0

valores

de

nsi

da

de

0.4 0.6 0.8 1.0

0.0

1.0

2.0

3.0

Posteriori − β1

valores

de

nsi

da

de

30 35 40

0.0

00

.05

0.1

00

.15

Prof. Caio Azevedo


Estimativas bayesianas para um dos conjuntos de cadeias

Resumo

Parametro EAP DPAP ICB(95%) HPD(95%)

β0 0,74 0,13 [ 0,49 ; 1,00 ] [0,49 ; 1,00]

β1 34,19 2,78 [ 28,66 ; 39,68] [29,14 ; 40,08]

Modelo completo : Deviance = 39,4, pD = 2, 0;DIC = 41, 5.

Modelo so com o intercepto (β0): Deviance = 311,5,

pD = 1, 1;DIC = 312, 5.

Prof. Caio Azevedo


Proporcoes de insetos mortos observadas e preditas pelo

modelo 2 para cada valor da dose

●

●

●

●

●

●

●●

1.70 1.75 1.80 1.85

0.0

0.2

0.4

0.6

0.8

1.0

log da dose de CS2

pro

po

rçã

o d

e in

seto

s m

ort

os

● observada

predita (média à posteriori) e HPD de 95%

Prof. Caio Azevedo


Voltando ao exemplo da potencia de turbinas de avioes

Vamos considerar os 5 tipos de turbinas analisados no experimento,

doravante tipos 1, 2, 3, 4 e 5.

ni = 10,∀i (tamanho amostral por grupo).

yij : tempo de vida (em milhoes de ciclos) da j-esima turbina do

i-esimo tipo.

Suposicao: Yij |β, φind.∼ gama(µi , φ), i = 1, 2, 3, 4, 5ej = 1, 2, ..., ni ,

em que E(Yij |θ) = µi , V(Yij |θ) =µ2i

φ , e θ = (β, φ)′, φ e chamado

de parametro de precisao.

Prof. Caio Azevedo


Analise descritiva

●

●

1 2 3 4 5

51

01

52

02

5

tipo de turbina

tem

po

de

vid

a (

em

milh

õe

s d

e c

iclo

s)

Prof. Caio Azevedo


Analise descritiva

Tipo de turbina Media DP Var. CV (%) Mınimo Maximo

1 10,69 4,82 23,23 45,07 3,03 16,84

2 6,05 2,92 8,50 48,18 3,19 12,75

3 8,64 3,29 10,83 38,10 3,46 13,41

4 9,80 5,81 33,71 59,26 5,88 25,46

5 14,71 4,86 23,65 33,07 6,43 21,51

Prof. Caio Azevedo


Modelo 1

Media: lnµi = α + βi , β1 = 0 (casela de referencia). Logo

µi = eα+βi e β = (α, β2, β3, β4, β5)′

p(yij |β, φ) =1

Γ(φ)

(φyijµi

)φe(−φyij/µi )11(0,∞)(yij).

Resumindo:

Yij |β, φind.∼ gama(µi , φ)

lnµi = α + βi , β1 = 0

E(Yij |θ) = µi ; V(Yij |θ) =µ2i

φ

Prioris: β: βi ∼ N(0, 100), φ ∼ gama(0, 01, 0, 01) (vaga)

(parametrizacao do curso), mutuamente independentes entre si.

Prof. Caio Azevedo


Traceplots para os tres conjuntos de cadeias geradas

Prof. Caio Azevedo


Autocorrelacoes para um dos conjuntos de cadeias

0 10 20 30 40

−1

.0−

0.5

0.0

0.5

1.0

Lag

Au

toco

rre

latio

n

alpha

0 10 20 30 40

−1

.0−

0.5

0.0

0.5

1.0

Lag

Au

toco

rre

latio

n

beta2

0 10 20 30 40

−1

.0−

0.5

0.0

0.5

1.0

Lag

Au

toco

rre

latio

n

beta3

0 10 20 30 40

−1

.0−

0.5

0.0

0.5

1.0

Lag

Au

toco

rre

latio

n

beta4

0 10 20 30 40

−1

.0−

0.5

0.0

0.5

1.0

Lag

Au

toco

rre

latio

n

beta5

0 10 20 30 40−

1.0

−0

.50

.00

.51

.0

Lag

Au

toco

rre

latio

n

phi

Prof. Caio Azevedo



cadeias

0 50000 100000 150000 200000

−4

−2

02

4


Z−

sco

re

alpha

0 50000 100000 150000 200000

−3

−1

13


Z−

sco

re

beta2

0 50000 100000 150000 200000

−2

01

2


Z−

sco

re

beta3

0 50000 100000 150000 200000−

3−

11

3


Z−

sco

re

beta4

0 50000 100000 150000 200000

−3

−1

12

3


Z−

sco

re

beta5

0 50000 100000 150000 200000

−2

01

2


Z−

sco

re

phi

Prof. Caio Azevedo



conjuntos de cadeias

0e+00 1e+05 2e+05 3e+05 4e+05

1.0

01

.10

1.2

0


shri

nk

fact

or

alpha

0e+00 1e+05 2e+05 3e+05 4e+05

1.0

01

.10

1.2

0


shri

nk

fact

or

beta2

0e+00 1e+05 2e+05 3e+05 4e+05

1.0

01

.10

1.2

0


shri

nk

fact

or

beta3

0e+00 1e+05 2e+05 3e+05 4e+051

.00

1.1

01

.20


shri

nk

fact

or

beta4

0e+00 1e+05 2e+05 3e+05 4e+05

1.0

01

.10

1.2

0


shri

nk

fact

or

beta5

0e+00 1e+05 2e+05 3e+05 4e+05

1.0

01

.10

1.2

0


shri

nk

fact

or

phi

Prof. Caio Azevedo


Histograma da amostra valida para um dos conjuntos de

cadeias

Posteriori − α

valores

de

nsi

da

de

2.0 2.2 2.4 2.6 2.8

0.0

1.0

2.0

Posteriori − β2

valores

de

nsi

da

de

−1.0 −0.8 −0.6 −0.4 −0.2

0.0

1.0

2.0

Posteriori − β3

valores

de

nsi

da

de

−0.8 −0.6 −0.4 −0.2 0.0 0.2 0.4

0.0

0.5

1.0

1.5

Posteriori − β4

valores

de

nsi

da

de

−0.6 −0.4 −0.2 0.0 0.2 0.40

.00

.51

.01

.5

Posteriori − β5

valores

de

nsi

da

de

−0.4 −0.2 0.0 0.2 0.4 0.6 0.8

0.0

0.5

1.0

1.5

Posteriori − φ

valores

de

nsi

da

de

3 4 5 6 7 8 9

0.0

0.1

0.2

0.3

0.4

Prof. Caio Azevedo


EAP e HPD(95%) para todas as cadeias

1 2 3

2.1

2.2

2.3

2.4

2.5

2.6

Estimativas bayesianas para cada cadeia α

cadeia

est

ima

tiva

●

● ●

1 2 3−

1.0

−0

.8−

0.6

−0

.4−

0.2

Estimativas bayesianas para cada cadeia β2

cadeia

est

ima

tiva

●

●●

1 2 3

−0

.6−

0.4

−0

.20

.00

.2


cadeia

est

ima

tiva

●● ●

1 2 3

−0

.4−

0.2

0.0

0.2


cadeia

est

ima

tiva

●

● ●

1 2 3

0.0

0.2

0.4

0.6


cadeia

est

ima

tiva

● ●●

1 2 3

34

56

7

Estimativas bayesianas para cada cadeia φ

cadeiae

stim

ativ

a

● ● ●

Prof. Caio Azevedo


Estimativas bayesianas para um dos conjuntos de cadeias

Resumo


α 2,42 0,14 [2,17 ; 2,68] [2,16 ; 2,67]

β2 -0,62 0,17 [-0,96 ;-0,28] [-0,98 ; -0,30]

β3 -0,25 0,21 [-0,64 ; 0,14 ] [ -0,65 ; 0,12]

β4 -0,14 0,21 [-0,53 ; 0,27 ] [-0,54 ; 0,24]

β5 0,29 0,20 [-0,12 ; 0,65] [-0,09 ; 0,67 ]

φ 5,26 1,05 [3,38 ; 7,64] [3,09 ; 7,25]

Prof. Caio Azevedo


EAP e HPD(95%) para um dos conjuntos de cadeias para

os parametros (β2, β2, β4, β5)

●

●

●

●

tipo de turbina

tem

po

de

vid

a (

milh

õe

s d

e c

iclo

s)

−1

.0−

0.5

0.0

0.5

1.0

2 3 4 5

●

●

●

●

Prof. Caio Azevedo


Comparacao de modelos

Vamos comparar os seguintes modelos:

Modelo 1: modelo completo.

Modelo 2: modelo 1 com β4 = 0.

Modelo 3: modelo 1 com β4 = β3 = 0.

Modelo 4: modelo 1 com β5 = β4 = β3 = 0.

Prof. Caio Azevedo


Comparacao de modelos

Resultados

Modelo

Estatıstica 1 2 3 4

Deviance 280,1 279,4 279,1 285,5

pD 5,9 5,1 3,8 3,0

DIC 286,1 284,5 282,9 288,6

O modelo 3 (β4 = β3 = 0) foi selecionado .

Prof. Caio Azevedo


Estimativas Bayesianas para um dos conjuntos de cadeias:

modelo 3

Resumo


α 2,27 0,08 [2,10 ; 2,43 ] [2,12 ; 2,44]

β2 -0,46 0,17 [-0,77 ; -0,10] [-0,78 ; -0,13]

β5 0,43 0,17 [0,14 ; 0,77] [ 0,13 ;0,75]

φ 5,28 1,07 [3,44 ; 7,84 ] [3,35 ; 7,36]

µ134 9,74 0,82 [8,19 ; 11,40 ] [8,31 ; 11,45]

µ2 6,16 0,91 [4,72 ; 8,12 ] [4,66 ; 7,92 ]

µ5 15,14 2,27 [11,40 ; 19,99] [11,18 ; 19,60]

Prof. Caio Azevedo


Boxplots dos tempos de vidas observados e preditos pelo

modelo 3

●

●

1 2 3 4 5

01

02

03

04

0

tipo de turbina

tem

po

de

vid

a (

em

milh

õe

s d

e c

iclo

s)

●

●

●

●●●

●●

●

●

●

●

●

●

●●●

●

●

1 2 3 4 5

01

02

03

04

0

tipo de turbina

tem

po

de

vid

a (

em

milh

õe

s d

e c

iclo

s)

observado

predito

Prof. Caio Azevedo


Tempos medios de vida ajustados pelo modelo 3

●

●

● ●

●

tipo de turbina

tem

po

de

vid

a (

milh

õe

s d

e c

iclo

s)

24

68

10

12

14

16

18

20

1 2 3 4 5

●

●

● ●

●

Prof. Caio Azevedo


Documents

Algoritmos MCMC para inferência bayesiana (Parte 2)cnaber/aula_MCMC_P2_IB_2S_2013.pdf · Algoritmos MCMC para infer^encia bayesiana (Parte 2) Prof. Caio Azevedo Prof. Caio Azevedo