Processos Estocasticos 1 Slide Pg

1

PROCESSOS ESTOCÁSTICOS E

CADEIAS DE MARKOV

id1380640 pdfMachine by Broadgun Software - a great PDF writer! - a great PDF creator! - http://www.pdfmachine.com http://www.broadgun.com

2

Problemas de tomada de decisão → tomada de decisão

baseada em fenômenos que possuem incerteza associada a

eles.

Causas da incerteza: inconsistência do fenômeno natural

ou fontes de variação que estão fora de controle.

PROCESSOS ESTOCÁSTICOS

Objetivo: tratar a variabilidade quantitativamente, incorporando-a a um modelo matemático.

Modelos probabilísticos para processos que evoluem com o tempo de uma maneira probabilística: foco em cadeias de Markov.

3

Um processo estocástico é definido como uma coleção

indexada de variáveis aleatórias, Xt, no qual o índice t

varia em um dado conjunto T {Xt, t T}.

Em geral, T corresponde ao conjunto dos inteiros não

negativos e Xt representa uma característica de interesse que pode ser medida no instante t.


Exemplos:

X1, X2, X3, ...

níveis de estoques mensais de um produto.

demanda mensal para um produto.

número de programas na fila para serem processados por hora.

4


Instantes de tempo: 0, 1, 2, sistema: categoria ou estado

número finito de estados mutuamente excludentes

0, 1, ..., M

igualmente espaçados ou não

Representação matemática do sistema físico

Processo estocástico {Xt}, no qual as variáveis aleatórias são

observadas em t = 0, 1, ... e no qual cada variável aleatória pode assumir um dos M+1 inteiros 0, 1, ..., M

caracterização dos M + 1 estados do processo

Observar o comportamento de um sistema operando por algum período de tempo frequentemente leva à análise de um processo estocástico

5


EstadoDiscreto Xt: enumerável ou finito

Contínuo Xt: caso contrário

Estado discreto e tempo contínuo: número de pessoas em um supermercado em um determinado instante.

Estado contínuo e tempo discreto: perda associada ao corte de padrões

de corte diária.

Estado discreto e tempo discreto: número de peças vendidas por dia.

Classificação

TempoDiscreto T: finito ou enumerável

Contínuo T: caso contrário

Exemplos:

6

CADEIAS DE MARKOV

Diz-se que um processo estocástico Xt tem a propriedade Markoviana

se:

a probabilidade condicional de qualquer evento futuro dado qualquer evento passado e o estado presente Xt = i é independente do evento

passado e depende somente do estado presente

P(Xt+1 = j | X0 = k0, X1 = k1, .., Xt-1 = k

t-1, Xt= i)

= P(Xt+1 = j | X

t= i)

para todo t = 0, 1, ... e toda seqüência i, j, k0, k1, ..., kt-1

P(Xt+1 = j | X

t= i) Probabilidades de Transição

probabilidade do estado do sistema ser j no instante t+1 dado que o

estado é i, no instante t

7

CADEIAS DE MARKOV

Se para cada i e j, P(Xt+1 = j | X

t= i) = P(X1 = j | X0 = i)

para todo t = 0, 1, 2...

probabilidades de transição (em um passo) são chamadas

estacionárias, geralmente denotadas por pij

probabilidade de transição não

mudam com o tempoProbabilidade de transição

estacionárias

Probabilidades de transição estacionárias (em um passo)

implica que para cada i, j e n (n = 0, 1, 2, ...)

P(Xt+n

= j | Xt= i) = P(Xn = j | X0 = i), t = 0, 1, 2, ...

probabilidades de transição em n passos,

probabilidade condicional que a variável aleatória Xiniciando no estado i, estará no estado j após n

passos (unidades de tempo)

)(nijp

8

CADEIAS DE MARKOV

probabilidades condicionais: devem ser não negativas e

o processo deve fazer uma transição para algum estado

0)(

nijp

M

j

nijp

0

)( 1

para todo i e j; n = 0, 1, 2, ...

para todo i; n = 0, 1, 2, ...

)0(ijppara n = 0, é exatamente P{X0 = j / X0 = i} que é 1 se i = j

e 0 se i j

para n = 1, é a probabilidade de transição (em um passo)

)(nijp

)1(ijp

9

CADEIAS DE MARKOV

Notação Probabilidades de transição

Matriz de Transição em n passos

)()(0

)(0

)(00

nMM

nM

nM

n

pp

pp

P(n) =

n = 1 Matriz de Transição

Estados 0 1 M

0

1

M

)(0

nMp

)(0nMp

)(00n

p

)(nMMp

Um processo estocástico {Xt} (t=0,1,2,...) é uma Cadeia de Markov

se tiver a propriedade Markoviana

número finito de estados

probabilidades de transição estacionárias

Assumido: um conjunto de probabilidades iniciais P(X0= i) para todo i

Considere

Cadeia de Markov

10

CADEIAS DE MARKOV

Matriz de Transição ou Estocástica

- É quadrada

- Os elementos da matriz são probabilidades, isto é,

- A soma dos elementos de uma linha deve ser igual a 1

0 ≤ pij ≤1

11


Exemplo 1: estoque de uma loja de câmeras

Uma loja de câmeras estoca um modelo particular de câmera que pode ser pedida semanalmente

D1, D2, ... : demanda para a filmadora durante a primeira semana, segunda semana, ..., respectivamente

Di: v.a.i.i.d., distribuição de probabilidade conhecida

Assuma que X0 = 3. Sábado à noite a loja faz um pedido que seráentregue em tempo na segunda-feira, quando a loja é aberta.

X0 = número de câmeras disponíveis no inícioX1 = número de câmeras disponíveis no final da primeira semanaX2 = número de câmeras disponíveis no final da segunda semana

12


A loja utiliza a política de encomenda (s, S)

Se o número de câmeras no final da semana for menor que s = 1

(nenhuma câmera em estoque), a loja pede S = 3

Caso contrário a loja não faz pedido

Se demanda > estoque: vendas são perdidas

Possíveis estados do processo:

0, 1, 2, 3 que representam o número de câmeras

disponíveis no final da semana

{Xt} para t = 0,1,2,... é um Processo Estocástico

Xt+1 = max {3 � D

t+1,0} se Xt< 1

max {Xt� D

t+1,0} se Xt 1

t = 0, 1, 2, ...

13

CADEIAS DE MARKOV

{Xt}, Xt: número de câmeras em estoque no final da semana t (antes que um pedido seja recebido), é uma Cadeia de Markov

Exemplo 1 da loja de câmeras

33323130

23222120

13121110

03020100

pppp

pppp

pppp

pppp

P =

Dt demanda durante a semana t

Distribuição de Poisson com parâmetro = 1

14

CADEIAS DE MARKOV

Xt+1 = max {3 � D

t+1,0} se Xt< 1

max {Xt� D

t+1,0} se Xt 1

Para obter p00 é necessário avaliar P(Xt= 0 | X

t-1 = 0)

Se Xt-1 = 0, então X

t= max {3 � D

t, 0}

Se Xt= 0, então a demanda durante a semana é 3 ou mais

Desta forma:

p00 = P(Dt 3) = 1 � P(D

t 2) = = 1 � 0,9197=

0,0803 probabilidade que uma variável aleatória do tipo Poisson com parâmetro =1 assuma o valor de 3 ou mais

!2

1

!1

1

!0

11

211101eee

15

CADEIAS DE MARKOV

p10 = P(Xt= 0 | X

t-1 = 1)


t= max {1 � D

t,0}

Para que Xt= 0, a demanda durante a semana tem que ser 1 ou mais

Desta forma:

p10 = P(Dt 1) = 1 � P(D

t= 0) = = 0,6321

p21 = P(Xt= 1 | X

t-1 = 2)


t= max {2 � D

t,0}.

Para que Xt

= 1, a demanda durante a semana tem que ser exatamente igual a , logo:

p21 = P(Dt=1) = = 0,3678

!0

11

01

e

!1

111e

16

CADEIAS DE MARKOV

Continuando...

P =

3680368018400800

0368036802640

0036806320

3680368018400800

,,,,

,,,

,,

,,,,

17

CADEIAS DE MARKOV

Exemplo 2: jogador

P =

1000

010

001

0001

pp

pp

Um jogador tem $1,00 e cada vez que joga ganha $1,00 com probabilidade p > 0 ou perde $1,00 com probabilidade 1 � p. O jogo termina quando o jogador acumula $3,00 ou $0,00. Este jogo é uma Cadeia de Markov cujos estados representam a quantia esperada de dinheiro que o jogador possui a cada vez que joga. Oespaço de estados é E = {0 1 2 3} e a matriz de transição P é

dada por:

18

EQUAÇÕES DE CHAPMAN-KOLMOGOROV

Probabilidades de transição em n passos, )(nijp

úteis quando o processo está no estado i é

desejada a probabilidade de que o processo estaráno estado j depois de n passos

Equações de Chapman-Kolmogorov

método para calcular probabilidades de transição em n passos

quando se vai do estado i para o estado j em n passos, o processo estará em algum estado k depois de exatamente v (menor que n) passos

probabilidade condicional de que, começando no estado i, o processo vá para o estado k depois de v passos e, então para o estado

j em n-v passos

)()( vnkj

vik pp

Soma das probabilidades condicionais para todo k

M

k

vnkj

vik

nij nvnjippp

0

)()()( 0 e , , todopara ,

)(nijp

19


v = 1

M

k

nkjik

nij ppp

0

)1()(

v = n � 1

M

kkj

nik

nij ppp

0

1)(

Probabilidades de transição em n

passos

Probabilidades de transição em um

passo

para todo i, j, n

Casos especiais

20

n = 2

M

k

kjikij jippp

0

)2( , todopara ,

probabilidades de transição em

um passo

P(2)

Generalizando

P(n) = P P P = Pn = PPn-1 = Pn-1P

P(n) = Pn


P(2) = PP = P2

A matriz probabilidade de transição em n passos pode ser obtida calculando-se a n-ésima potência da matriz de transição em um passo

21



P(2) = P2 =

=

= 0,283 dado que existe uma câmera em estoque no final da

semana, a probabilidade de que não haverá câmera em estoque duas

semanas depois, é de 0,283

)2(10p

3680368018400800

0368036802640

0036806320

3680368018400800

,,,,

,,,

,,

,,,,

3680368018400800

0368036802640

0036806320

3680368018400800

,,,,

,,,

,,

,,,,

165,0300,0286,0249,0

097,0233,0319,0351,0

233,0233,0252,0283,0

165,0300,0286,0249,0

22


Probabilidades não condicionais? P{Xn = j} (n)

(0) = [0 0 0 1] X0 = 3

(1) = (0) P = [0 0 0 1]

(1) = [0,080 0,184 0,368 0,368]

3680368018400800

0368036802640

0036806320

3680368018400800

,,,,

,,,

,,

,,,,

)(nijp probabilidades condicionais

distribuição de probabilidade do estado inicial: (0)

(0) = P{X0 = i} para i = 0, 1, 2,

23

PROCESSO MARKOVIANO � Exemplo 3 � uso da terra

O estado no ano de 1997 da ocupação da terra em uma cidade de 70 quilômetros

quadrados de área é:

Estado da ocupação da terra I Uso residencial 30% II Uso comercial 20% III Uso industrial 50%

Vetor de probabilidade de estado = [0,30 0,20 0,50]

Probabilidades de transição para

intervalos de 3 anos

0,90,10III

0,20,70,1II

0,10,10,8I

IIIIII

Probabilidades de Transição

9,01,00,0

2,07,01,0

1,01,08,0

P

(1) = (0) P = [0,30 0,20 0,50]

9,01,00,0

2,07,01,0

1,01,08,0 = [0,26 0,22 0,52]

Prob. estado para 2000

24

CLASSIFICAÇÃO DOS ESTADOS DE UMA

CADEIA DE MARKOV

Acessível Estado j é dito ser acessível a partir do estado i, se> 0, para algum n > 0)(n

ijp

é possível para o sistema entrar no estado j

(eventualmente) quando ele começa no estado i

Exemplo 4:)2(

ijp

165,0300,0286,0249,0

097,0233,0319,0351,0

233,0233,0252,0283,0

165,0300,0286,0249,0=

Probabilidades de transição papel importante no estudo das Cadeias de Markov

Propriedades das Cadeias de Markov conceitos e definições sobre os estados

estado tododepartir a acessível é estado todo, e todopara 0,)2(jipij

25


CADEIA DE MARKOV

Comunicante Estado j é acessível do estado i, e o estado ié acessível do estado j estados i e j são

comunicantes

qualquer estado se comunica com ele mesmo

se o estado i se comunica com o estado j, então o estado j se comunica com o estado i

se um estado i se comunica com um estado k e o estado k se comunica com um estado j, então o estado i se comunica com o estado j

Equações de Chapman-Kolmogorov

26


CADEIA DE MARKOV

Todos estados comunicantes

Cadeia de Markov Irredutível

mesma classeDois estados que se comunicam

única classe

cadeia de Markov do exemplo da loja de câmeras

Considerando as três propriedades de comunicação

espaço de estados pode ser particionado em classes disjuntas

Exemplo 2 do jogador: 3 classes

estado 0: uma classe

estado 3: uma classe

estados 1 e 2: uma classe

1000

010

001

0001

pp

pp

27


CADEIA DE MARKOV

fii probabilidade que o processo irá retornar ao estado i,

dado que ele iniciou no estado i

Entrando neste estado, o processo definitivamente iráretornar para este estado

É recorrente se não é transiente

Recorrente

Entrando neste estado, o processo pode nunca retornar novamente para este estado

Transiente

Estado i é transiente se e somente se existe um estado j (j i) que é alcançável a partir do estado i, mas não vice-versa

Exemplo: P(2)

28


CADEIA DE MARKOV

Todos os estados em uma classeRecorrente

Entrando neste estado, o processo nunca irá deixar este estado

Absorvente

pii = 1; caso especial de estado recorrente

Transiente

Cadeia de Markov de estados finitos irredutível

todos os estados são recorrentes

Todos os estados do processo se comunicam


ou

29


CADEIA DE MARKOV

Estado i retorno a este estado é possível somente em t, 2t, ...

Aperiódico

Propriedades de periodicidade

Período do estado i

existem dois números consecutivos s e s+1 tal que o processo pode estar no estado i nos tempos s e s+1

período 1

inteiro t (t >1) tal que = 0 para todos os valores de n com exceção

de t, 2t, 3t, ... e t é o maior inteiro com esta propriedade

)(niip

Exemplo 2 do jogador: iniciando no estado 1 é possível retornar a este estado somente nos tempos 2, 4, período 2

aperiódico

Se o estado i em uma classe tem período t, então todos os estados nesta classe

têm período t

período do estado 2 = 2 (estado 2 está na mesma classe que o estado 1)

30


CADEIA DE MARKOV

Cadeia de Markov de estado finito, estados recorrentes que são

aperiódicos estados ergódicos

Cadeia de Markov ergódica todos os estados são recorrentes e aperiódicos

Cadeia de Markov Ergódica

31

CLASSIFICAÇÃO DOS ESTADOS

Estado Transiente Um eventual retorno a este estado não é garantido

Estado Recorrente Entrando neste estado, um eventual retorno é garantido

Estado Absorvente Entrando neste estado, nunca mais o deixará

Estado Periódico Pode ser alcançado nos tempos t, 2t, 3t, (t > 1)

Estado Ergódico Estado recorrente e aperiódico

Cadeia Ergódica Todos os estados são recorrentes e aperiódicos

Cadeia Irredutível Todos os estados são comunicantes

32

CLASSIFICAÇÃO DE ESTADOS � CADEIAS DE MARKOV

Estado Acessível

Exemplo 2 do jogador: Um jogador tem $1,00 e cada vez que joga ganha $1,00 com probabilidade p>0 ou perde $1,00 com probabilidade 1 � p. O jogo termina quando o jogador acumula $3,00 ou $0,00. Este jogo é uma Cadeia de Markovcujos estados representam a quantia esperada de dinheiro que o jogador possui a cada vez que joga. O espaço de estados é E = {0 1 2 3} e a matriz de transição

P é dada por:

1000

p0p10

0p0p1

0001

Pp: ganha $1,00

1 � p: perde $1,00

Estado 2 não é acessível a partir do estado 3 0)(32 n

p

Estado 3 é acessível a partir do estado 2 0)1(23 p

Estados Comunicantes

Estados 2 e 3 do exemplo acima não são comunicantes

33



Todos os estados são comunicantes exemplo 1 do estoque da loja de

câmeras

165,0300,0286,0249,0

097,0233,0319,0351,0

233,0233,0252,0283,0

165,0300,0286,0249,0P(2) =

34


Estado 3 é transiente se o processo está no estado 3 existe uma probabilidade positiva que ele nunca irá retornar para este estado.

Estados Recorrentes e Transientes � Exemplo 4

00001

03/23/100

00100

0002/12/1

0004/34/1

P

Estado 4 é transiente se o processo começa neste estado imediatamente o processo o deixa e nunca mais vai retornar para ele.

Estados 0 e 1 são recorrentes se o processo começar no estado 0 ou 1, nunca mais deixará esses estados. Sai do estado 0 e eventualmente vai para o estado 1 e vice-versa.

Estados 2 é absorvente uma vez que o processo entra no estado 2, nunca mais o deixará.

35


Estado Periódico

Exemplo 2 � jogador: Um jogador tem $1,00 e cada vez que joga ganha $1,00 com probabilidade p>0 ou perde $1,00 com probabilidade 1 � p. O jogo termina quando o jogador acumula $3,00 ou $0,00. Este jogo é uma Cadeia de Markovcujos estados representam a quantia esperada de dinheiro que o jogador possui a cada vez que joga. O espaço de estados é E = {0 1 2 3} e a matriz de transição

P é dada por:

1000

010

001

0001

pp

ppP

p: ganha $1,00

1 � p: perde $1,00

O estado 1 possui período t = 2 começando no estado 1, é possível para o processo entrar no estado 1 somente nos tempo 2, 4, 6, ...

0)(11

np para n ímpar

36

TEMPO DE PRIMEIRA PASSAGEM

: probabilidades de transição em n passos dado que o processo estáno estado i determinar a probabilidade (condicional) que o processo estaráno estado j após n passos

Frequentemente se quer saber sobre o número de transições feitas pelo

processo para ir do estado i para o estado j pela primeira vez

comprimento de tempo Tempo de Primeira Passagem

para ir do estado i para o estado j

Se j = i Tempo de Primeira Passagem

número de transições para o processo retornar

ao estado inicial i

Tempo de Recorrência para o estado i

)(nijp

37


Exemplo 1 do estoque de câmeras

X0 = 3 X1 = 2 X2 = 1 X3 = 0 X4 = 3 X5 = 1

Tempo de primeira passagem a partir do estado 3 para o estado 1: 2 semanas

Tempo de primeira passagem a partir do estado 3 para o estado 0: 3 semanas

Tempo de recorrência para o estado 3 : 4 semanas

Suponha o seguinte estado do estoque para as seis primeiras semanas

38


Em geral os tempos de primeira passagem

variáveis aleatórias

probabilidade que o tempo de primeira passagem do estado i

para j seja n

distribuição de probabilidade

depende das probabilidades de transição do processo

)(nijf

jjijijij pfpf)1()2()2(

ijijij ppf )1()1(

probabilidade do tempo de primeira passagem do estado i para o estado j em n passos

recursivamente

probabilidades de transição

em um passo

jjn-

ijn

ijn

ijn

ijn

ij pfpfpfpfjjjj

)1()2((2))1()1()()(

39


Exemplo 1 do estoque da loja de câmeras

distribuição de probabilidade do tempo de primeira passagem

de ir do estado 3 para o estado 0

Dados i e j

00)1(

30)2(

30)2(

30 pfpf

080030)1(

30 ,pf

11

)(

n

n

ijf

1 Se 1

)(

n

n

ijf processo inicialmente no estado i pode nunca alcançar o estado j

1 Se 1

)(

n

n

ijf distribuição de probabilidade para a variável aleatória tempo de primeira passagem

0,243)0800)(0800(2490)2(30 ,,,f

3680368018400800

0368036802640

0036806320

3680368018400800

,,,,

,,,

,,

,,,,

P =

165,0300,0286,0249,0

097,0233,0319,0351,0

233,0233,0252,0283,0

165,0300,0286,0249,0

P(2) =

40


Tempo de Primeira Passagem Esperado do estado i para o estado j, ij

kj

jk

ikij p

1

1 se

1 se

1

)(

1

)(

1

)(

n

nij

n

nij

n

nij

ij

fnf

f

11

)(

n

n

ijf ij unicamente satisfaz a equaçãoSempre que

Embora calcular para todo n possa ser difícil, é relativamente simples obter o tempo de primeira passagem esperado do estado i para o estado j

)(nijf

Se i = j ii, Tempo de Recorrência Esperado para o estado i

41


Exemplo 1 da loja de câmeras: as equações podem ser utilizadas para

calcular o tempo esperado até que o estoque esteja vazio, assumindo que o processo inicia com 3 câmeras, 30

30132012101110

30232022102120

30332032103130

1

1

1

ppp

ppp

ppp

1010

201020

30201030

36801

368036801

3680368018401

,

,,

,,,

10 = 1,58 semanas20 = 2,51 semanas30 = 3,50 semanas

O tempo esperado até que a loja esteja com estoque vazio é3,5 semanas

3680368018400800

0368036802640

0036806320

3680368018400800

,,,,

,,,

,,

,,,,

P =

42

PROPRIEDADES DE EQUILÍBRIO DAS CADEIAS DE MARKOV

Probabilidades de Equilíbrio

n = 1 P(1) =

3680368018400800

0368036802640

0036806320

3680368018400800

,,,,

,,,

,,

,,,, n = 2 P(2) =

165,0300,0286,0249,0

097,0233,0319,0351,0

233,0233,0252,0283,0

165,0300,0286,0249,0

1660264028502860

1660264028502860

1660264028502860

1660264028502860

,,,,

,,,,

,,,,

,,,,n = 8 P(8) =n = 4 P(4) =

1640261028602890

1710263028302840

1660268028502820

1640261028602890

,,,,

,,,,

,,,,

,,,,

43

1660264028502860

1660264028502860

1660264028502860

1660264028502860

448)8(

,,,,

,,,,

,,,,

,,,,

PPPP


Cada uma das quatro linhas têm as mesmas entradas

probabilidade de estar no estado j após 8 semanas éindependente do estado inicial do estoque

Parece existir uma probabilidade limite que o sistema estará no estado j

após um grande número de transições, e esta probabilidade é

independente do estado inicial

44

j unicamente satisfaz as equações de estado de equilíbrio abaixo

Mjp

M

i

ijij ,0,1, para 0

M

j

j

0

1

j probabilidades de estado de equilíbrio ou estacionária da Cadeia de

Markov

Para qualquer Cadeia de Markov ergódica e irredutível

0lim

j)n(

ijn

p

)(lim nij

np

existe e é independente de i

Além disso,

Mjjj

j ,0,1, para 1

Tempo de Recorrência Esperado

M+2 equações

M+1 variáveis

uma equação

redundante


45

Probabilidade de encontrar o processo em algum estado (j) após um grande número de transições, tende ao valor j, independente da distribuição de

probabilidade inicial definida sobre os estados

Probabilidades de equilíbrio:

Não implica que o processo fica parado em um estado. Pelo contrário, o processo continua a fazer transições de estado para estado, e em algum passo n a probabilidade de transição do estado i para o estado j é ainda pij


46


3210

3332321310303

3232221210202

3132121110101

3032021010000

1

pppp

pppp

pppp

pppp

3210

32103

32102

32101

32100

1

3680003680

3680368003680

1840368036801840

0800264063200800

,,

,,,

,,,,

,,,,

= [0 1 2 3] = [0,286 0,285 0,264 0,166]

Após várias semanas a probabilidade de encontrar 0, 1 ,2 e 3 câmeras em

estoque tende a 0,286, 0,285, 0,264 e 0,166, respectivamente

semanas 3,501

000

semanas 3,80

1

222

semanas 6,021

333

semanas 3,51

1

111

Tempo de recorrência esperado para a loja de câmeras


47

i e j estados recorrentes pertencentes a classes diferentes

n,p)n(

ij todopara 0

j estado transiente

i,p)n(

ijn

todopara 0lim

probabilidade de encontrar o processo em um estado transiente após um grande número de transições tende a zero

P() =

3210

3210

3210

3210

)(

)(

)(

)(

1660264028502860

1660264028502860

1660264028502860

1660264028502860

,,,,

,,,,

,,,,

,,,,


48

CUSTO MÉDIO ESPERADO POR UNIDADE DE TEMPO

Cadeia de Markov ergódica

recorrentes aperiódicos )(lim n

ijn

p

pode não existir

Exemplo 5: considere P

P =

01

10se o processo começa no estado 0 no tempo 0

estará no estado 0 nos tempos 2, 4, 6,

estará no estado 1 nos tempos 1, 3, 5,

1)(00 n

p se n é par

0)(00 n

p se n é ímpar

)(00lim n

np

não existe

49


importante para calcular custo médio a longo período por unidade de tempo

processo está no estado Xt no instante t, para t = 0,1,2,

Custo, C(Xt) função do estado da Cadeia de Markov

j

n

k

)k(ij

np

n

1

1limmas sempre existe

Cadeia de Markov irredutível

C(Xt) variável aleatória: C(0), C(1), , C(M)

C() independente de t

Custo médio esperado para os

n primeiros períodos)(

0

jCM

j

j

custo médio esperado por

unidade de tempo

50


Exemplo 1 do estoque da loja de câmeras: função de custo

)j(C)X(Cn

Elim

M

j

j

n

t

tn

01

1

custo médio esperado do estoque

por semana

se Xt = 0

18

8

2

0

)( tXCse Xt = 1se Xt = 2

se Xt = 3 = 0,286(0) + 0,285(2) + 0,263(8) + 0,166(18) = 5,67

51

REFERÊNCIA

HILLIER, F. S.; LIEBERMAN, G. J. Introdução à pesquisa operacional. 8 ed. São Paulo: McGraw-Hill, 2006.

Documents

Processos Estocasticos 1 Slide Pg