2011 Cadenas Markov

Introduccin Cadenas de Markov en Tiempo Discreto Cadenas de Markov en Tiempo Contnuo

Cadenas de Markov

Javier Pereira

Ncleo de Red

IIE - FING - UdelaR

12 de mayo de 2011

1/56

Agenda

Introduccin

Cadenas de Markov en Tiempo Discreto

Cadenas de Markov en Tiempo ContnuoProcesos de PoissonProcesos de nacimiento y muerteEjemplos

2/56

Agenda

Introduccin

3/56

Conceptos Introductorios

Proceso estocsticoUn proceso estocstico X = (Xt , t T ) es una familia devariables aleatorias cuyo ndice t T es llamado el conjunto delos ndices (o parmetro de tiempo) del proceso X.Para cada t T , Xt es una variable aleatoria sobre el espaciode estado del proceso X.

Espacio de EstadoEl espacio de estado de un proceso estocstico X es elconjunto mnimo E de todos los valores posibles que las V.A. Xtpueden asumir (estados posibles del sistema). Notamos Xt = eel evento que indica que en el instante t el proceso seencuentra en el estado e.

4/56

Conceptos Introductorios

Proceso estocsticoUn proceso estocstico X = (Xt , t T ) es una familia devariables aleatorias cuyo ndice t T es llamado el conjunto delos ndices (o parmetro de tiempo) del proceso X.Para cada t T , Xt es una variable aleatoria sobre el espaciode estado del proceso X.

Espacio de EstadoEl espacio de estado de un proceso estocstico X es elconjunto mnimo E de todos los valores posibles que las V.A. Xtpueden asumir (estados posibles del sistema). Notamos Xt = eel evento que indica que en el instante t el proceso seencuentra en el estado e.

4/56

Procesos Estocsticos de Tiempo y Espacio DiscretosEspacio de estados discretoUn espacio de estado discreto X = Xn,n N, tiene comocaracterstica que su parmetro de tiempo vara sobre losnmeros naturales:

e E n N/P(Xn = e) > 0

Probabilidad CondicionalEstudiamos dichos procesos suponiendo conocida laprobabilidad condicional de que el proceso est en el estado enen la etapa n, suponiendo que sabemos que el proceso estuvoen el estado e1 en la etapa 1, e2 en la etapa 2 y as hasta laetapa n 1

P (Xn = en|X0 = e0,X1 = e1, . . . ,Xn1 = en1)5/56

Procesos Estocsticos de Tiempo y Espacio DiscretosEspacio de estados discretoUn espacio de estado discreto X = Xn,n N, tiene comocaracterstica que su parmetro de tiempo vara sobre losnmeros naturales:

e E n N/P(Xn = e) > 0

Probabilidad CondicionalEstudiamos dichos procesos suponiendo conocida laprobabilidad condicional de que el proceso est en el estado enen la etapa n, suponiendo que sabemos que el proceso estuvoen el estado e1 en la etapa 1, e2 en la etapa 2 y as hasta laetapa n 1

P (Xn = en|X0 = e0,X1 = e1, . . . ,Xn1 = en1)5/56

Evolucin de un proceso

Evolucin de un procesoDefinimos la evolucin de un proceso como la sucesin deestados por los que va pasando el mismo.

Probabilidad de ocurrencia de un procesoCada evolucin posible del proceso tiene una probabilidad deocurrencia dada por la distribucin conjunta de lasprobabilidades de ocurrencia en cada etapa.P (Xn = en,Xn1 = en1, . . . ,X0 = e0)

6/56

Evolucin de un proceso

Evolucin de un procesoDefinimos la evolucin de un proceso como la sucesin deestados por los que va pasando el mismo.

Probabilidad de ocurrencia de un procesoCada evolucin posible del proceso tiene una probabilidad deocurrencia dada por la distribucin conjunta de lasprobabilidades de ocurrencia en cada etapa.P (Xn = en,Xn1 = en1, . . . ,X0 = e0)

6/56

Evolucin de un proceso - Prob. condicional

Probabilidad condicionalPara calcular dicha probabilidad se utilizan probabilidadescondicionales.P (Xn = en,Xn1 = en1, . . . ,X0 = e0) =P (Xn = en|Xn1 = en1, . . . ,X0 = e0)P (Xn1 = en1, . . . ,X0 = e0) =P (Xn = en|Xn1 = en1, . . . ,X0 = e0) . . .P (X1 = e1|X0 = e0)P (X0 = e0) =P (X0 = e0)P (X1 = e1|X0 = e0)

ni=2 P (Xi = ei |Xi1 = ei1, . . . ,X0 = e0)

7/56

Ejemplo

A y B dos monedas distintas A normal (con cara y nmero) y B con una cara de cada

lado Se elige al azar una moneda entre las dos posibles Se lanza la moneda elegida y se observa el resultado Si es un nmero se lanza un dado y se observa el

resultado Si es cara, la moneda se lanza nuevamente

8/56

Ejemplo

Estados posibles: A = la moneda con cara y nmero fue elegida B = la moneda con dos caras fue elegida C = el resultado del lanzamiento de una moneda fue una

cara N = el resultado del lanzamiento de una mondeda fue

nmero i {1, . . . ,6} el resultado del lanzamiento del dado fue i

9/56

Ejemplo

Espacio de estados discreto, E = {A,B,C,N,1, . . . ,6} Etapas:

1. Seleccin de una moneda2. Lanzamiento de la moneda3. Se lanza la misma moneda o un dado

10/56

Ejemplo

Por un lado

P(X1 = A) = P(X1 = B) = 12 Adems

P(X2 = C|X1 = A) = P(X2 = N|X1 = A) = 12 yP(X2 = C|X1 = B) = 1

Por ltimoP(X3 = C|X2 = C,X1 = B) = 1P(X3 = C|X2 = C,X1 = A) = 12P(X3 = N|X2 = C,X1 = A) = 12P(X3 = i |X2 = N,X1 = A) = 16 con i = 1, . . . ,6

11/56

Ejemplo Se puede calcular la distribucin conjunta de

probabilidades para cada evolucin del proceso Dado un proceso estocstico de tiempo y espacio de

estados discreto es posible representar mediante un rbolde profundidad k todas las evoluciones posibles de ketapas

12/56

Ejemplo La raz del rbol corresponde al estado inicial del proceso

estocstico A cada resultado posible de la nsima etapa le

corresponde un nodo del nivel n + 1 del bol Los arcos estn ponderados por las probabilidades de

transicin entre los estados del proceso

13/56

Agenda

Introduccin

14/56

Generalidades

Son una clase de procesos estocsticos El comportamiento y la evolucin futura del mismo

depende del estado actual del proceso (no es lo mismoque sin memoria)

Son procesos markovianos de espacio de estados discreto

DefinicinUna cadena de Markov es una secuencia de V.A. discretasXn,n N que poseen la siguiente propiedad:P(Xn+1 = en+1|X0 = e0,X1 = e1, . . . ,Xn = en) =P(Xn+1 = en+1|Xn = en), n N,e0,e1, . . . ,en+1 E

15/56

Generalidades

15/56

Generalidades

15/56

Generalidades

15/56

GeneralidadesHomogeneidadCuando las probabilidades condicionales de pasaje de unestado al otro son tambin independientes de la etapa ndecimos que la cadena correspondiente es homognea en eltiempo (la probabilidad de pasar a otro estado depende delestado actual y no del tiempo). Las probabilidadescondicionales se reducen a la expresin:P(Xn+1 = j |Xn = i) = pij , i , j E , n 0Probabilidades de transicinLos nmeros pij se denominan probabilidades de transicin ydefinen la probabilidad de que el proceso estando actualmenteen el estado i pase al estado j en su prxima transicin,independientemente de la etapa n en que se encuentre elproceso.

16/56

GeneralidadesHomogeneidadCuando las probabilidades condicionales de pasaje de unestado al otro son tambin independientes de la etapa ndecimos que la cadena correspondiente es homognea en eltiempo (la probabilidad de pasar a otro estado depende delestado actual y no del tiempo). Las probabilidadescondicionales se reducen a la expresin:P(Xn+1 = j |Xn = i) = pij , i , j E , n 0Probabilidades de transicinLos nmeros pij se denominan probabilidades de transicin ydefinen la probabilidad de que el proceso estando actualmenteen el estado i pase al estado j en su prxima transicin,independientemente de la etapa n en que se encuentre elproceso.

16/56

Matriz de transicin Representamos las probabilidades de transicin en forma

matricial Es una matriz estocstica, es decir

pij 0 i , j E

jE pij = 1 i E

17/56

Distribucin de la cadenaDefinicinLa distribucin de la cadena en tiempo n es el vector fila pin querepresenta las probabilidades de estar en cada estado en elinstante n.

pin(i) = P(Xn = i), i = 0,1, . . .

pin es un vector de probabilidad, es decir: pin(i) 0 y

iE pin = 1

Se cumple que pin+1 = pinP Si pi0 es la distribucin inicial pin = pi0Pn

La probabilidad de estar en el estado j en tiempo n es lasuma en todos los caminos posibles

pin(j) =

i0,i1,...,in1E pi0(i0)pi0 i1pi1 i2 . . . pin1 i

18/56

pin(i) = P(Xn = i), i = 0,1, . . .

iE pin = 1

pin(j) =

18/56

pin(i) = P(Xn = i), i = 0,1, . . .

iE pin = 1

pin(j) =

18/56

pin(i) = P(Xn = i), i = 0,1, . . .

iE pin = 1

pin(j) =

18/56

pin(i) = P(Xn = i), i = 0,1, . . .

iE pin = 1

pin(j) =

18/56

pin(i) = P(Xn = i), i = 0,1, . . .

iE pin = 1

pin(j) =

18/56

Transicin en n pasos

Ecuaciones Chapman - KolmogorovSea pnij = P(Xn+m = j |Xm = i) = P(Xn = j |X0 = i) laprobabilidad de pasar de i a j en n pasos.pn+mij =

kE p

mik p

nkj o matricialmente P

n+m = PnPm

19/56

Distribucin lmite

DefinicinSe dice que el vector de probabilidad pi es una distribucinlmite para pi0 si existe pi0 tal que

pi = lmnpin = lmnpi0P

n

20/56

Distribucin invariante o estacionaria

Se dice que una distribucin es invariante si el vector deprobabilidad pi cumple:

pi = piP

Si pin0 = pi para algn n0 entonces pin = pi n n0

21/56

Ergodicidad

Una cadena de Markov X es ergdica si existe un vectorde probabilidad pi tal que cualquiera sea la ley inicial pi0:

pi = lmnpin = lmnpi0P

n

En este caso la distribucin lmite es nica

22/56

Ecuaciones de Balance

Si pi es una distribucin invariante:

pi(j) =i0

pijpi(i)

Adems: iE

pji = 1

Multiplicando la segunda ecuacin por pij y utilizando laprimera se obtiene:

pi(j)iE

pji =iE

pijpi(i)

23/56

Definicin

pi(j)iE

pji =iE

pijpi(i)

24/56

Ejemplo

pi(j)(pjm + pji + pjk

)= pi(i)pij + pi(m)pmj + pi(k)pkj

25/56

Agenda

Introduccin

26/56

Generalidades

Las transiciones ocurren en cualquier instante P(Xt+s = j |Xt = i ,Xu = x(u), 0 u < t) =P(Xt+s = j |Xt = i) i , j E , x(u) : T E , s, t T

Cuando la cadena es homognea:P(Xt+s = j |Xt = i) = pij(s)i , j E , t , s T

Chapman - Kolmogorov: P(t + s) = P(t)P(s)

27/56

Generalidades

27/56

Generalidades

27/56

Generalidades

27/56

Generalidades

Las CMTC respetan las siguientes reglas: El tiempo de permanencia en el estado i es una V.A.

independiente de ley exponencial de parmetro vi (media1/vi )

Cuando el proceso abandona el estado i , la eleccin delestado j se realiza de acuerdo a las probabilidades detransicin pij

Estas probabilidades deben satisfacer:pii = 0

jE pij = 1, i E

Se puede considerar que una CMTC es un proceso cuyastransiciones se realizan de acuerdo a una CMTD, perodonde el tiempo de permanencia en cada estado es unaV.A. exponencial

28/56

Generalidades

jE pij = 1, i E

28/56

Generalidades

jE pij = 1, i E

28/56

Generalidades

jE pij = 1, i E

28/56

Generador infinitesimal

Se define el generador infinitesimal como la matriz talque:

qij ={

pijvi si i 6= jvi si i = j

Cumple un papel similar a la matriz de transicin de unaCMTD

La distribucin estacionaria es aquella que se obtiene deresolver el sistema lineal piQ = 0 con la restriccinadicional que:

pii = 1

29/56

qij ={

pii = 1

29/56

qij ={

pii = 1

29/56

Si pi es invariante, entonces piQ = 0 Luego:

pi(j)iE

qji =iE

pi(i)qij

30/56

Agenda

Introduccin

31/56

Procesos de conteo

Subfamilia de los procesos estocsticos de tiempocontnuo y espacio los nmeros naturales {Nt , t 0}

Cumplen las siguientes condiciones: Nt N, t T (nmero de eventos en el intervalo (0, t ]) N0 = 0 Nt 0, t Si s < t Ns Nt

Un proceso de conteo es homogneo en el tiempo si elnmero de eventos en un intervalo depende solamente dela longitud del mismo y no de su instante inicial

32/56

Procesos de conteo

32/56

Procesos de conteo

32/56

Definicin y propiedades T1,T2, . . . son V.A. exponenciales independientes de

parmetro P(T1 t) = P(Nt = 0) = et

33/56

Propiedades de la ley exponencial

34/56

Propiedades de los procesos de Poisson

Proceso de conteo Es estacionario y tiene incrementos independientes Nt+s Ns tiene la misma distribucin que Nt y es Poisson

de parmetro t

P(Nt+s Ns = k) = (t)k

k !et

35/56

Agenda

Introduccin

36/56

Definicin y propiedades

Supongamos que en el sistema hay n clientes el tiempo del siguiente arribo es exponencial de parmetro (la tasa de llegada de un nuevo individuo es una V.A. deesperanza 1 )

el tiempo de servicio es exponencial de parmetro (eltiempo hasta la partida de un individuo presente en elsistema es una V.A. de esperanza 1 )

Sea Nt la cantidad de clientes en el sistema en el tiempo t.Se dice que Nt es un proceso de nacimiento y muerte

37/56

Definicin y propiedades

Supongamos que en el sistema hay n clientes el tiempo del siguiente arribo es exponencial de parmetro (la tasa de llegada de un nuevo individuo es una V.A. deesperanza 1 )

el tiempo de servicio es exponencial de parmetro (eltiempo hasta la partida de un individuo presente en elsistema es una V.A. de esperanza 1 )

Sea Nt la cantidad de clientes en el sistema en el tiempo t.Se dice que Nt es un proceso de nacimiento y muerte

37/56

Estabilidad

DefinicinTodo proceso de nacimiento y muerte con espacio de estadosinfinito y de parmetros {n}n=0 , {n}n=1 es estable si y solosi se verifican las siguientes condiciones:

n=0

nk=0

kk+1

Ecuaciones de balance

Estados Ecuacinde balance

0 1p1 = 0p00, 1 2p2 = 1p1. . . . . .

0, 1, . . . , n 1, n n+1pn+1 = npn

39/56

Ecuaciones de balance

Se pueden despejar las probabilidades en funcin de laprobabilidad de estar en el estado inicial

pn =n1n2 . . . 0nn1 . . . 1

p0

Debe cumplirse que

n=0 pn = 1 por lo que se obtiene lasiguiente expresin para p0:

p0 =1

1 +

n=1

(n1n2...0nn1...1

)

40/56

Clculos tiles

Cantidad esperada de clientes en el sistemaCon esta informacin podemos calcular la cantidad media declientes en el sistema como el valor esperado del estado delproceso:

n =n=0

npn

41/56

Clculos tiles

Nmero medio de clientes en la colaSea s el nmero de servidores del sistema. El largo esperadode la fila est dado por la esperanza de la cantidad depersonas en la fila. Supongamos que el proceso se encuentraen el estado n (es decir, hay n clientes en el sistema).

v =

n=s+1

(n s)pn

42/56

Clculos tiles

Cantidad esperada de servidores ocupadosDe manera similar, podemos definir la cantidad esperada deservidores ocupados.

=s

n=0

npn +

n=s+1

spn

Se cumple que n = v +

43/56

Clculos tiles

Tiempo esperado de permanencia en el sistema (Little 1)

ts =n

=n=0

npn

44/56

Clculos tiles

Tiempo esperado de permanencia en la fila (Little 2)

tf =v

45/56

Propiedad PASTA (Poisson Arrivals See Time Averages)

Se considera un sistema de colas en estado estacionariocon arribos Poisson

La probabilidad de que un cliente al llegar encuentre alsistema en el estado i , es igual a la probabilidadestacionaria de que el sistema se encuentre en dichoestado

p(i) = P(Nt = i |arribo en t) = pi(i) = lmt

Ti(t)t

46/56

La probabilidad de que al llegar un cliente, encuentre elsistema vaco, es la probabilidad estacionaria de que elsistema est vaco

En un sistema con colas finitas, la probabilidad de que alllegar un cliente sea rechazado, es la probabilidad de queel sistema se encuentre en el estado correspondiente aesa cantidad de clientes en espera

47/56

La probabilidad de que al llegar un cliente, encuentre elsistema vaco, es la probabilidad estacionaria de que elsistema est vaco

En un sistema con colas finitas, la probabilidad de que alllegar un cliente sea rechazado, es la probabilidad de queel sistema se encuentre en el estado correspondiente aesa cantidad de clientes en espera

47/56

Vale PASTA en otros casos?

Supongamos arribos determinsticos cada 10 s y tiempode servicio de 9 s

Cuando un cliente arriba el sistema est siempre vaco,por lo tanto la probabilidad de que este observe un clienteen el sistema es p(1) = 0

Sin embargo la probabilidad de que exista un cliente en elsistema es pi(1) = 0,9

48/56

Agenda

Introduccin

49/56

Ejercicio 1

LetraConsidere cierta parte de una red de telefona sobre IP la cuales conectada al resto de la red a travs de 4 de sus nodos. Endicha subred, se estima que el nmero promedio de paqueteses de 1000.Las tasas de arribo de los paquetes desde otras partes de lared hacia esos 4 nodos son:

1 = 200pps 2 = 300pps 3 = 400pps 4 = 500pps

Cunto tiempo reside, en promedio, un paquete en dichasubred?

50/56

Ejercicio 1

Solucin

Por un lado N = 1000 El trfico total ofrecido a la red es: tot =

4i=1 i = 1400

(paquetes) Aplicando la frmula de Little tenemos que el retardo

medio es: T = N =10001400 0,71s

51/56

Ejercicio 1

Solucin

4i=1 i = 1400

medio es: T = N =10001400 0,71s

51/56

Ejercicio 1

Solucin

4i=1 i = 1400

medio es: T = N =10001400 0,71s

51/56

Ejercicio 2LetraPedidos de coneccin arriban a un servidor de acuerdo a unproceso de Poisson de intensidad . Si el servidor estsobrecargado, su throughput colapsa rpidamente. Paraprevenir dicho incidente, el servidor implementa un control decongestin tal que el mismo, luego de aceptar una conexin,rechaza cualquier nueva conexin durante un perodo detiempo T . Se asume que no hay reintentos de peticin deconexin por parte de las conexiones rechazadas.

a Cuntas conexiones son aceptadas, en promedio, porunidad de tiempo?

b Determine la tasa de pedidos aceptados en casosextremos cuando T es muy grande o muy chico,respectivamente.

52/56

Ejercicio 2

Solucin

a El tiempo medio entre dos peticiones aceptadas es T + 1 ,por lo que en promedio 1

T+ 1

peticiones son aceptadas por

unidad de tiempob Por un lado tenemos que lmT 1T+ 1

= 1T , mientras que

lmT0 1T+ 1

=

53/56

Ejercicio 2

Solucin

a El tiempo medio entre dos peticiones aceptadas es T + 1 ,por lo que en promedio 1

T+ 1

peticiones son aceptadas por

unidad de tiempob Por un lado tenemos que lmT 1T+ 1

= 1T , mientras que

lmT0 1T+ 1

=

53/56

Ejercicio 3

LetraSea X una V.A que modela la duracin de una llamada enminutos. Suponga que X Exp() y P(X > 3) = 12 .

a Determine el parmetro .b Cul es la duracin media de las llamadas?c Cul es la probabilidad de que la duracin de una llamada

sea mayor a 6 minutos?

54/56

Ejercicio 3

54/56

Ejercicio 3

54/56

Ejercicio 3

54/56

Ejercicio 3

Solucin

a P(X > 3) = e3 = 12 = 0,231b E(X ) = 1 = 4,33 minutosc P(X > 6) = e6 = 0,25

55/56

Ejercicio 3

Solucin

55/56

Ejercicio 3

Solucin

55/56

Apndice

Dr.Ing. Pablo BelzarenaMaterial de cadenas de Markov del curso .Evaluacin dePerformance en Redes de Telecomunicaciones (IIE)http://iie.fing.edu.uy/ense/asign/perfredes/

Dr.Ing. Franco RobledoMaterial terico del curso Introduccin a la Investigacinde Operaciones (INCO)http://www.fing.edu.uy/inco/cursos/io/

Helsinki University of TechnologyIndtroduction to Teletraffic Theory, Spring 2007http://www.netlab.tkk.fi/opetus/s381145/k07/exercises.shtml

56/56

IntroduccinCadenas de Markov en Tiempo DiscretoCadenas de Markov en Tiempo ContnuoProcesos de PoissonProcesos de nacimiento y muerteEjemplos

ApndiceApndice

Documents

2011 Cadenas Markov