Diapositiva 1

INVESTIGACION DE OPERACIONES IIProcesos Estocsticos UNIVERSIDAD DE LA SERENA FACULTAD DE INGENIERIA DEPARTAMENTO DE INGENIERIA INDUSTRIALIng. Boris M. Olgun Tapiabolguin@userena.cl@borisolguintapi+56 9 93537789

Procesos Estocsticos Un Proceso Estocstico se define como secuencia de variables aleatorias {Xt} tT, donde el conjunto de ndices T puede ser un conjunto discreto, por ejemplo T = {0,1,2,3,...}, caso en el cual decimos que el proceso es tiempo discreto o bien T puede ser un intervalo, por ejemplo T = [0,), caso en el cual decimos que el proceso es en tiempo continuo.

Procesos Estocsticos El proceso estocstico {Xt} tT puede representar por ejemplo: El nmero de vehculos esperando en una plaza de peaje en el instante t. El nmero total de llamadas recibidas solicitando un determinado servicio hasta el instante t. El nmero de mquinas descompuestas o en reparacin en un determinado taller en el instante t.

Procesos Estocsticos El nivel de inventario de cierto producto al final del da t. El valor de una determinada accin en el instante t.Por ejemplo: La evolucin del nmero de compradores en una tienda al ser abierta al pblico, entre las 8:00 y 9:40 de la maana (100 minutos) puede ser representada por un proceso estocstico y una posible realizacin de ste se observa en la siguiente grfica:

Procesos Estocsticos Nmerode compradoresen el sistemaTiempo (en minutos)1234020406080100

Cadenas de Markov Si se considera un ejemplo simple relacionado con la propagacin de una enfermedad contagiosa. La transmisin de la enfermedad se produce desde un individuo infectado a uno susceptible de contagio. Teniendo presente periodos semanales.

Sea p la probabilidad de que durante una semana cualquiera un individuo infectado le transmita la enfermedad a uno susceptible de contagio. Se considera que cuando una persona ha sido infectada, sta queda inmune una vez que ha sido tratada.

Cadenas de Markov Cadenas de Markov en tiempo discreto.

Sea Xn el nmero de individuos susceptibles de contagio en la poblacin al final de la semana n=1,2,...Se define, como la probabilidad de que haya j individuos susceptibles al final de la semana n+1 dado que hay exactamente i individuos susceptibles de contagio al final de la semana n (i j ).

Entonces:

Cadenas de Markov Un proceso estocstico en tiempo discreto {Xn}n=1,2,.... se denomina una Cadena de Markov en tiempo discreto si satisface las siguientes propiedades:

i) Propiedad Markoviana:

Donde i0, i1, ..., in-1, i, j son los posibles estados o valores que puede tomar dicho proceso estocstico en las distintas etapas.Cadenas de Markov en tiempo discreto.

Cadenas de Markov ii) Propiedad estacionaria:

La probabilidad, no depende de la etapa n.

Las probabilidades pij son llamadas probabilidades de transicin en una etapa del estado i al estado j.

Suponiendo que en cada etapa n la v.a. Xn toma un nmero finito de valores (estados), por ejemplo 1,2,... M; estas probabilidades definen una matriz P de probabilidades de transicin en una etapa. Cadenas de Markov en tiempo discreto.

Cadenas de Markov

Cadenas de Markov en tiempo discreto.Matriz P de Probabilidades de Transicin en una Etapa

Cadenas de Markov Adicionalmente, se supone conocida la distribucin de probabilidad de la Cadena de Markov en la etapa inicial, que denotamos segn f 0, donde :

Cadenas de Markov en tiempo discreto.

Cadenas de Markov El conocimiento del proceso estocstico {Xn}n=0,1,2,..., consiste en poder determinar la distribucin de probabilidad en cada etapa, es decir calcular IP (Xn = j) para cada n 1 y estado j= 1,2,.....,M.

Se debe tener presente que para cada j:

Cadenas de Markov Matricialmente esto equivale a tener:

De manera recursiva se tiene entonces:

f n = PT f n-1 = (PT)n f 0

Cadenas de Markov Tambin es posible obtener las probabilidades de transicin de un estado a otro al cabo de k etapas, que denotamos por :

Que resumidas en una matriz (para el caso de un nmero finito de estados).

Estas satisfacen las ecuaciones de:

Chapman- Kolmogorov que implican: P(k) = Pk

Cadenas de Markov Ejemplo a.- Considere una tienda que mantiene un inventario de un producto dado para satisfacer una demanda (aleatoria). La demanda diaria D, tiene la siguiente distribucin:

IP (D = 0) = 1/4, IP (D = 1) = 1/2, IP (D = 2) = 1/4, IP (D >= 3) = 0

Sea Xn el nivel de inventario al inicio del da n y suponga que la tienda tiene la poltica de mantencin de inventario (s, S), que consiste en que si al final del da se posee menos de s, se hace una orden de pedido que al inicio del da siguiente eleva las existencias al nivel S y en caso contrario, no se pide nada.

Cadenas de Markov Asuma que la demanda no satisfecha es demanda perdida y que al inicio del horizonte de planificacin hay S unidades en inventario con s = 1 y S = 2.

Se tiene que:

Xn {1, 2}; n = 0, 1, 2, ...

Cadenas de Markov

Entonces la matriz de probabilidades de transicin en una etapa corresponde a:

Cadenas de Markov Ejemplo b.-

Suponga que en el sistema de las AFP existen solo 2; las AFP A y las AFP B.

Sea N el nmero de personas afiliadas al sistema; la superintendencia est preocupada de que las cuentas individuales estn al da. Para ello ha establecido un sistema de control basado en el siguiente procedimiento:al final de cada mes escoge una persona al azar de los N existentes en el sistema.

Cadenas de Markov Si la AFP a la cual pertenece la persona no tiene su cuenta individual al da; la persona es traspasada de inmediato a la otra AFP, en caso contrario la deja en la AFP en la que estaba.

Suponga que la probabilidad de que un afiliado en la AFP A tenga su cuenta al da es P1 y que esta probabilidad para la AFP B es P2. Se desea estudiar la movilidad de los clientes en cada AFP en cada mes del horizonte de planificacin.

Cadenas de Markov Se tiene:

Xn: el nmero de personas en la AFP A al final del mes n; con n = 0, 1, 2, ..., nxn {0, 1, 2, ..., N}

Calculemos las probabilidades de transicin en una etapa (mes):

Cadenas de Markov Clasificacin de los estados y distribucin lmite.En esta seccin se presentan algunos resultados que tienen relacin con la existencia y clculo de una distribucin para la Cadena de Markov en el largo plazo. Previamente, se enumeran algunas definiciones que clasifican los estados de una cadena:

i) Un estado j se dice accesible desde el estado i si para algn n

Cadenas de Markov ii) Si tanto el estado i es accesible desde j como viceversa decimos que los estados i y j se comunican.

iii) Dos estados que se comunican estn en una misma clase de estados.

iv) Se dice que una cadena es irreducible si hay una sola clase de estados.

Cadenas de Markov v) Un estado se dice que tiene periodo d, para el mayor valor del entero d que cumple:

slo para valores de n pertenecientes al conjunto {d, 2d, 3d, ....}. Si d=1 decimos que el estado es aperidico.

Cadenas de Markov vi) Se define T(i,j) como el nmero de etapas requeridas por el proceso para pasar de estado i al estado j por primera vez.

De igual modo se define:

es decir :

como la probabilidad de que comenzando en i, ocurra la primera transicin al estado j al cabo de exactamente k etapas.

Cadenas de Markov Puede probarse por induccin, la siguiente formula:

vii) En particular, se denota por Fk(i,i) la probabilidad de que el proceso retorne al estado i por primera vez al cabo de k etapas.

De modo que:

Cadenas de Markov que es la probabilidad que partiendo en i , el proceso regrese al estado i alguna vez.

viii) Un estado se dice recurrente ssi F(i,i) = 1

ix) Un estado se dice transciente ssi F(i,i)< 1

x) Sea , el valor esperado de el nmero de etapas que le toma al proceso volver al estado i por primera vez, partiendo del estado i.

Cadenas de Markov Un estado se dice recurrente positivo ssi:

Un estado se dice recurrente nul ssi :

Cadenas de Markov Ejemplo

Define una cadenade estados irreduciblecon estados recurrente positivos peridicos

Posee dos clasesde estados y uno delos estados estransciente.

Cadenas de Markov Es una cadenairreducible, deestados recurrentespositivos y todossus estados sonperidicos deperiodo d=2.

Cadenas de Markov Si la distribucin de probabilidad del proceso en el largo plazo existe y es independiente de la distribucin inicial (o del estado inicial), decimos que el proceso tiene una distribucin estacionaria p = (p1, p2, ..., pM)T

Cadenas de Markov Proposicin.Sea {Xn}n=0,1,2 una cadena de Markov irreducible con estados recurrentes positivos aperidicos, entonces existe una distribucin estacionaria , tal que > 0 y que se obtiene como la solucin nica del sistema:

Cadenas de Markov Ejemplo. Se desea calcular las probabilidades estacionaria j, que tambin representan la fraccin del tiempo que el sistema esta en el estado j en el largo plazo

1231/21/21/31/3 1/31/32/3

Cadenas de Markov Sistema que corresponde a las siguientes ecuaciones:

Cadenas de Markov

Cadenas de Markov Ejemplo:Una compaa esta considerando emplear cadenas de markov para analizar los cambios en las preferencias de los usuarios por tres marcas distintas de un determinado producto. El estudio ha arrojado la siguiente estimacin de la matriz de probabilidades de cambiarse de una marca a otra cada mes:

12310.80.10.120.030.950.0230.20.050.75

Cadenas de Markov En la actualidad los porcentajes de mercado son 45%, 25% y 30%, respectivamente.Cuales sern los porcentajes de mercado de cada marca en dos meses ms?xn{1,2,3}: marca que adquiere un cliente cualquiera en el mes n=0,1,2,3,...

IO2 Parte 2: Procesos Estocsticosb.- Cadenas de MarkovAl trmino del mes siguiente:

Y dos meses despus:

Cadenas de Markov De aqu las cuotas de mercado en dos meses a cambiado de un 45% a un 40.59%; de un 25% a un 33.91% y de un 30% a un 25.50%, para las marcas 1,2 y 3 respectivamente.

Cul es la cuota de mercado en el largo plazo para cada una de las marcas?La cadena resultante es irreducible con estados recurrentes positivos y aperidicos . Denotando por =(1, 2, 3)T, las probabilidades estacionarias de largo plazo, las cuales satisfacen:

Cadenas de Markov Cadenas de Markov en tiempo continuo.

Se desea estudiar el comportamiento de sistemas que dependen en forma continua del tiempo:

Xt: nmero de ambulancias disponibles en el instante t.Xt: nmero de personas esperando ser atendidas en el banco o en el supermercado en el instante t.Xt: nmero de mquinas funcionando correctamente en un taller en el instante t.

Cadenas de Markov Propiedad Markoviana:

Propiedad Estacionaria

, no depende de t, slo de s.

Cadenas de Markov Una realizacin posible del proceso estocstico es:t4321Xt

Cadenas de Markov Cmo representar el proceso?- Se necesitan las probabilidades de que ocurra un salto de un estado a otro.- La distribucin de los tiempos de permanencia en un estado.

Se necesita explicitar:i) Probabilidades de transicin pij (asumiendo pii=0)ii) Tasas vi de los tiempos exponenciales Ti de permanencia en el estado i.

Cadenas de Markov Distribucin de Xt :

Estas probabilidades satisfacen:

Si existe una distribucin estacionaria:

Cadenas de Markov La ecuacin diferencial anterior provee el siguiente sistema de ecuaciones para las probabilidades estacionarias (de existir):

O equivalentemente el sistema:

Clasificacin de Estados de una Cadena de Markov

Tiempos de Primera Pasada

Propiedades de largo plazo de las cadenas de Markov

Estados absorbentes

Cadenas de Markov en tiempo contino