1. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov.UNIVERSIDAD NACIONAL EXPERIMENTAL POLITCNICAANTONIO JOS DE SUCREVICE RECTORADO BAARQUISIMETO DIRECCIN DE INVESTIGACIN Y POSTGRADO INTRODUCCIN A LOS PROCESOS ESTOCSTICOS.CADENAS DE MARKOV. ING. ADARFIO BRYAN.ING. VERD NGEL. PROF.: MSC. ING. MARIENNY ARRIECHEIng. ngel Verd - Ing. Bryan AdarfioPgina 1

2. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov.INTRODUCCIN Las cadenas de Markov considera ciertos puntos discretos en el tiempo , paratoma valores de 1, 2, 3,. Yla variable aleatoria que caracteriza al sistema . Y lafamilia de las variables aleatorias forma un proceso llamado proceso estocstico.Entonces las cadenas de Markov se usan para estudiar ciertos comportamientos de largo ycortos plazos de sistemas estocsticos. Un proceso de Markov es un sistema estocstico siempre que cumpla con lapropiedad Markoviana. Los estados en el tiempo representan situacin exhaustiva y mutuamenteexcluyentes del sistema en un tiempo especfico. Adems el nmero de estado puede serfinito o infinito. Un ejemplo es el juego de lanzar la moneda. Por lo general una cadena de Markov describe el comportamiento de transicin deun sistema en intervalos de tiempo igualmente espaciados. Sin embargo, existen situacionesdonde los espaciamientos temporales dependen de las caractersticas del sistema y por ello,pueden no ser iguales entre s. Estos casos se denominan cadenas de Markov incrustadas. Con las probabilidades absolutas y de transicin podremos hacer predicciones decomportamientos futuros como las que se observaron en las situaciones anteriores. As, sillamamos estados a cada una de estas posibilidades que se pueden presentar en unexperimento o situacin especfica, entonces podemos visualizar en las Cadenas de Markovuna herramienta que nos permitira conocer a corto y largo plazo los estados en que seencontraran en periodos o tiempos futuros y tomar decisiones que afectarn o favorecernnuestros intereses.Ing. ngel Verd - Ing. Bryan AdarfioPgina 2 3. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov. Las probabilidades absolutas y de transicin son exhaustivas y mutuamenteexcluyentes de un experimento aleatorio en cualquier tiempo. Las cadenas de Markov se pueden aplicar en reas como la educacin,comercializacin, servicios de salud, finanzas, contabilidad y produccin. En este captulose analizan las ideas bsicas necesarias para entender las cadenas de Markov. Muchas de las aplicaciones interesantes de las cadenas de Markov tienen que vercon cadenas en las que algunos de los estados son absorbentes y el resto son estadostransitoriosIng. ngel Verd - Ing. Bryan Adarfio Pgina 3 4. UNEXPO- Direccin de Investigacin y Post-GradoProcesos Estocsticos Cadenas de Markov.LAS CADENAS DE MARKOV Considere los puntos discretos en el tiempo paray sealavariable aleatoria que caracteriza el estado del sistema . La familia de variables aleatoriasforma un proceso estocstico. Los estados en el tiempo representan realmentelas situaciones (exhaustiva y mutuamente excluyentes) del sistema en ese tiempoespecfico. El nmero de estados puede ser entonces finito o infinito.Por ejemplo, la distribucin de Poissn Representa un proceso estocstico con un nmero infinito de estados. Variablealeatoria n representa aqu el numero de sucesos entre o y t (suponiendo que el sistemacomienza en el tiempo 0). Los estados del sistema en cualquier tiempo t estn dados porOtro ejemplo: es el juego de lanzar la moneda con k lanzamientos. cada lanzamiento sepuede interpretar como un punto en el tiempo. La secuencia resultante de lanzamientosconstituye un proceso estocstico. El estado del sistema en cualquier lanzamiento es guilao sol, o bien, cara o cruz. Una cadena de Markov es en realidad un caso especial de procesos de Markov. Seusa para estudiar el comportamiento a corto y largo plazo de ciertos sistemas estocsticos.PROCESOS DE MARKOVIng. ngel Verd - Ing. Bryan AdarfioPgina 4 5. UNEXPO- Direccin de Investigacin y Post-GradoProcesos Estocsticos Cadenas de Markov. Un proceso de Markov es un sistema estocstico en el que la ocurrencia de unestado futuro depende del estado inmediatamente precedente y slo de l. As, si representa puntos en el tiempo, la familia de variablesaleatorioses un proceso de Markov, si sta posee la siguiente propiedad Markoviana:Para todos los valores posibles de .La probabilidad se llama probabilidad detransicin. Representa la probabilidad condicional de que el sistema est en en, dadoque estaba en en. Esta propiedad tambin se denomina probabilidad de transicinde un paso, ya que describe al sistema entre y . Una propiedad de transicin de mpasos se define entonces como:CADENAS DE MARKOV Seanlos estados exhaustivos y mutuamente excluyentesde un sistema en un tiempo cualquiera. Inicialmente, en el tiempo, el sistema puede estaren cualquiera de esos estados. Seanlas probabilidades absolutas de queIng. ngel Verd - Ing. Bryan Adarfio Pgina 5 6. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov.el sistema se encuentra en el estadoen . Suponga adems que el sistema esMarkoviano.Definimos Como la probabilidad de transicin de un paso, de pasar del estadoen alestado en , suponemos que esas probabilidades de transicin del estado al estadose pueden arreglar ms conveniente en forma de matriz como sigue: La matriz P se denomina matriz estocstica o matriz de transicin homognea porque todas las probabilidades de transicin son fijadas e independientes del tiempo.Las probabilidades deben satisfacer las condicionesIng. ngel Verd - Ing. Bryan Adarfio Pgina 6 7. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov. Debemos definir ahora una cadena de Markov. Una matriz p de transicin junto conlas probabilidades inciales, asociados con los estados, definen completamente unacadena de Markov. Se piensa por lo general que una cadena de Markov describe el comportamiento detransicin de un sistema en intervalos de tiempo igualmente espaciados. Sin embargo,existen situaciones donde los espaciamientos temporales dependen de las caractersticas delsistema y por ello, pueden no ser iguales entre s. Estos casos se denominan cadenas deMarkov incrustadas.CLASIFICACIN DE LOS ESTADOS EN LA CADENAS DE MARKOV Al usar el anlisis de las cadenas de Markov seria interesante estudiar elcomportamiento del sistema en un periodo corto. En este caso, las probabilidades absolutasse calculan como en la seccin precedente. Sin embargo, un estudio ms importante tendraque ver con el comportamiento a largo plazo del sistema, o sea, cuando el nmero detransicin tendiese a infinito. En tal caso, el anlisis presentado en la seccin precedente esinadecuado, y es necesario encontrar un procedimiento sistemtico que prediga elcomportamiento del sistema a largo plazo. Esta seccin presenta definiciones de laclasificacin de los estados en las cadenas de Markov que sern tiles al estudiar elcomportamiento de los sistemas a largo plazo.CADENA DE MARKOV IRREDUCIBLEIng. ngel Verd - Ing. Bryan Adarfio Pgina 7 8. UNEXPO- Direccin de Investigacin y Post-GradoProcesos Estocsticos Cadenas de Markov. Se dice que una cadena de Markov es irreducible si cada estado se puede alcanzardesde cualquier otro estadodespus de un nmero finito de transiciones; o sea, para ,En este caso, todos los estados de la cadena se comunican.CADENAS ERGDICAS DE MARKOV Una cadena de Markov irreducible es ergdica si todos sus estados son ergdicos.En este caso la distribucin de probabilidad absoluta Siempre converge unvocamente a una distribucin lmite cuando, donde ladistribucin lmite es independiente de las probabilidades inciales. Ahora podemos anunciar el siguiente teorema: Teorema: Todos los estados en una cadena de Markov infinita irreducible puedenpertenecer a una, y solo una, de las siguientes tres clases: estados transitorios, estadosrecurrentes nulos o estados recurrentes no nulos. En cada caso, todos los estados secomunican y tienen el mismo periodo. En el caso especial cuando la cadena tenga unnmero finito de estados, la cadena no puede constar solo de estados transitorios, nitampoco puede contener algn estado nulo.Ing. ngel Verd - Ing. Bryan AdarfioPgina 8 9. UNEXPO- Direccin de Investigacin y Post-GradoProcesos Estocsticos Cadenas de Markov.PROBABILIDAD ABSOLUTAS Y DE TRANSICIN Dadasy de una cadena de Markov, las probabilidades absolutas del sistemadespus de un nmero especifico de transicin se determina como sigue. Seanlasprobabilidades absolutas del sistema despus transicin, o sea, en . La expresingeneral paraen trminos dey , se puede encontrar como sigue:Tambin Dondees la probabilidad de transicin de segundo orden o de dospasos, o sea, es la probabilidad de pasar del estadoal estado en exactamente dostransiciones. De igual manera se puede demostrar por induccin queIng. ngel Verd - Ing. Bryan Adarfio Pgina 9 10. UNEXPO- Direccin de Investigacin y Post-GradoProcesos Estocsticos Cadenas de Markov. Dondees la probabilidad de transicin de ordeno depasos dada por laformula recursiva En general, para toda, Estas son las ecuaciones de Chapman-Kolomogorov. Los elementos de una matriz de transicin de orden superior se puedenobtener en forma directa por multiplicacin matricial. As,Y en general,Por consiguiente, si las probabilidades absolutas se definen en forma vectorial comoEntoncesEjemplo:Ing. ngel Verd - Ing. Bryan Adarfio Pgina 10 11. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov.Considere la siguiente cadena de Markov con dos estados,Con . Determine .EntoncesIng. ngel Verd - Ing. Bryan AdarfioPgina 11 12. UNEXPO- Direccin de Investigacin y Post-GradoProcesos Estocsticos Cadenas de Markov.El resultado interesante es que las filas de tienden a ser idnticas. Tambin, tienden aser idnticas con las filas de. Este resultado tiene que ver con las propiedades a largoplazo de las cadenas de Markov que, como se muestra en esta seccin, implica que lasprobabilidades absolutas a largo plazo son independientes de. En este caso lasprobabilidades resultantes se denominan probabilidades de estado estable.Probabilidades de transicin en la n-sima etapaSuponga que se est estudiando una cadena de Markov con una matriz deprobabilidad de transicin conocida P. (Puesto que las cadenas con las se tratara sonestacionarias, no nos molestaremos en marcar nuestras cadenas de Markov comoestacionarias). Una pregunta de inters es: si una cadena de Markov est en estado i en eltiempo m, Cul es la probabilidad de que n periodos despus la cadena est en el estado j?Puesto que se trata con una cadena de Markov estacionaria, esta probabilidad esindependiente de m, as que se podra escribirDondese llama probabilidad del n-simo paso de una transicin del estado ial estado j.Resulta claro que. Para determinar , observe que si el sistemaahora est en el estado i, entonces para que el sistema termine en el estado j dos periodos apartir de ahora, se debe ir del estado i a algn estado k y luego del estado k al estado j(vase la figura 3). Este razonamiento nos permite escribirIng. ngel Verd - Ing. Bryan AdarfioPgina 12 13. UNEXPO- Direccin de Investigacin y Post-GradoProcesos Estocsticos Cadenas de Markov. Usando la definicin de P, la matriz de probabilidad de transicin, se reescribe laultimaecuacincomo El lado derecho de (3) es solo el producto escalar del rengln i de la matriz P con lacolumna J de la matriz P. por consiguiente, es el ij-simo elemento de la matriz .Al ampliar este razonamiento, se puede demostrar que para , Por supuesto, para, as que se debe escribirSe ilustra el uso de la ecuacin (4) en el ejemplo 4.Ing. ngel Verd - Ing. Bryan AdarfioPgina 13 14. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov.Ejemplo: Suponga que toda la industria de bebidas de cola produce solo dos. Dado que unapersona la ltima vez compro cola 1, hay 90% de probabilidades de que su siguientecompra sea cola 1. Dado que la ultima compra de una persona fue cola 2, hay 80% deprobabilidades de que su siguiente compra sea cola 2. 1. Si una persona en la actualidad es comprador de cola 2, cul es la probabilidadde que compre cola 1 dos veces a partir de ahora? 2. Si una persona en la actualidad es comprador de cola 1, cul es la probabilidadde que compre cola 1 tres ocasiones a partir de ahora?Solucin Veamos la compra de cada persona como una cadena de Markov con el estado, encualquier tiempo dado, del tipo de cola que compro la persona en la ltima vez. As, lasIng. ngel Verd - Ing. Bryan Adarfio Pgina 14 15. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov.compras de cada individuo pueden representarse como una cadena de Markov de dosestados, donde Estado 1= La persona compro cola del tipo 1 la ltima vez. Estado 2= La persona compro cola del tipo 2 la ltima vez. Si se define como el tipo de cola que una persona compra en su n-sima comprafutura (compra actual de cola =), entoncesse podra escribir como la cadena deMarkov con la siguiente matriz de transicin: Ahorra se pueden contestar las preguntas 1 y 2.1 Se busca Por consiguiente,. Esto significa que la probabilidad de que unbebedor de cola 2 en el futuro compre dos veces cola 1 es .34. Mediante la teora deprobabilidad bsica, se podra obtener esta respuesta de una manera distinta (vase la figura4). Observe que = (probabilidad de que la siguiente compra sea cola 1 y la segundacompra sea cola 1) + (probabilidad de que la siguiente compra sea cola 2 y la segundacompra sea cola 1) = .2 Se busca:Ing. ngel Verd - Ing. Bryan AdarfioPgina 15 16. UNEXPO- Direccin de Investigacin y Post-GradoProcesos Estocsticos Cadenas de Markov.Por lo tanto, La probabilidad de que dos periodos a partir de ahora, un comprador de cola 2compre cola 1 esDeterminacin de la probabilidad de estar en el estado j en el tiempo n cuando sedesconoce el estado inicial. En muchas situaciones, no se conoce el estado de la cadena de Markov en el tiempo0. Como se define en la seccin 17.2, sea qi la probabilidad de que la cadena este en elestado i en el tiempo 0. Entonces se puede determinar la probabilidad de que el sistema estIng. ngel Verd - Ing. Bryan Adarfio Pgina 16 17. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov.en el estado i en el tiempo n por medio del siguiente razonamiento (vase la figura 5).La Probabilidad de estar en el estado j en el tiempo n= q (columna j of)Donde.Para ilustrar el uso de (5), se contesta la siguiente pregunta: suponga que 60% de laspersonas en la actualidad beben cola 1 y 40% beben cola 2. Tres compras a partir de ahora,qu fraccin de los compradores estar bebiendo cola 1? Puesto que y = probabilidad de que tres compras a partir deahora una persona bebe cola 1, la probabilidad deseada esPor consiguiente, tres compras a partir de ahora, 64% de los compradores estarncomprando cola 1.Para ilustrar el comportamiento de las probabilidades de transicin del paso n para valoresgrandes de n, se calcularon varias probabilidades de transicin del n-simo paso para elejemplo de cola en la tabla 2.Probabilidades de transicin del n-simo paso para bebedores de refresco de cola.Ing. ngel Verd - Ing. Bryan AdarfioPgina 17 18. UNEXPO- Direccin de Investigacin y Post-GradoProcesos Estocsticos Cadenas de Markov.n1.90.10.20 .802.83.17.34 .663.78.22.44 .564.75.25.51 .495.72.28.56 .4410 .68.32.65 .3520 .67.33.67 .3330 .67.33.67 .3340 .67.33.67 .33Para n grande, tantocomo son casi constantes y se aproxima a .67.Esto significa que para n grande, sin importar el estado inicial, hay una probabilidad .67 deque una persona sea un comprador de cola 1. De manera similar, se ve que para n grande,tantocomo son casi constantes y se aproxima a .33. Esto significa que paran grande, sin importar el estado inicial, hay una probabilidad .33 de que una persona seacomprador de cola 2. En la seccin 5.5, se hace un estudio completo de este planteamientode todas las probabilidades de transicin del paso n.ESTADO ESTABLEProbabilidades de estado estable y tiempos promedio de primer pasEn el estudio del ejemplo de cola (ejemplo 4), se encontr que despus de un largotiempo, la probabilidad de que la siguiente vez que una persona compre bebida de cola seacola 1 se aproxima a .67 y.33 de que sera cola 2 (vase la tabla 2). Estas probabilidades nodependen de si la persona tomaba cola 1 o cola 2.en esta seccin, se analiza el conceptoimportante de probabilidades de estado estable, que se pueden usar para describir elcomportamiento a largo plazo de una cadena de Markov.El siguiente resultado es vital para comprender las probabilidades de estado establey el comportamiento a largo plazo de las cadenas de Markov.Ing. ngel Verd - Ing. Bryan AdarfioPgina 18 19. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov.TEOREMA Seala matriz de transicin de una cadena ergdico de estado estable. Entoncesexiste un vectortal que Recuerde que el -esimo elemento de es . El teorema 1 establece que paracualquier estado inicial , Observe que paragrande, p n tiende a una matriz con renglones idnticos. Estosignifica que despus de un largo tiempo, la cadena de Markov se estabiliza, e(independientemente del estado inicial ) hay una probabilidad de que se est en el jestado j . El vector = [ 1 , 2 n ] se llama distribucin de estado estable o distribucin deequilibrio, para la cadena de Markov. Para una cadena determinada con matriz de transicin , Cmo se puede hallar la distribucin de probabilidad de estado estable? A partir delteorema 1, se observa que paragrande y toda ,Ing. ngel Verd - Ing. Bryan Adarfio Pgina 19 20. UNEXPO- Direccin de Investigacin y Post-GradoProcesos Estocsticos Cadenas de Markov.p ij ( n +1) p ij ( n ) j(6) Puesto que p ij ( n +1) = (rengln de p n ) (columna de ), se podra escribir k =spij ( n + 1) = pij ( n ) pkj (7) k =1 Si es grande, sustituyendo la ecuacin (6) en la (7), se obtienek =s j = k p kj(8)k =1 En forma de matriz, (8) se podra escribir como = p (8`) Infortunadamente, el sistema de ecuaciones especificado en (8) tiene un nmeroinfinito de soluciones, debido a que el rango de la matrizsiempre resulta ser s 1(vase capitulo 2, problema de repaso 21). Para obtener los valores nicos de laprobabilidad de estado estable, observe que para cualquier y cualquier ,p i1 ( n ) + p i 2 ( n ) + + p is ( n ) = 1 (9) Haciendo quetienda a infinito en (9), se obtiene 1 + 2 + + s =1(10) As, despus de sustituir cualquiera de las ecuaciones en (8) con (10), se puede usarla ecuacin (8) para resolver las probabilidades de estado estable.Ing. ngel Verd - Ing. Bryan Adarfio Pgina 20 21. UNEXPO- Direccin de Investigacin y Post-GradoProcesos Estocsticos Cadenas de Markov.Para ilustrar como encontrar las probabilidades de estado estable, se determinan lasprobabilidades de estado estable para el ejemplo 4, el ejemplo de la bebida de cola.Recuerde que la matriz de transicin para el ejemplo 4 fue,.90 .10 p =.20 .80Entonces con la ecuacin (8) o la ecuacin (8`), se obtiene[1 2 ] = [1 2 ] .90 .10 .80.201 = .901 + .20 2 2 = .101 + .80 2Sustituyendo la segunda ecuacin con la ecuacin 1 + 2 = 1 , se obtiene el sistema1 = .901 +.2021 = 1 +221Resolviendo para 1 y 2 , se obtiene 1 =y 2 = . Por consiguiente, depuse332de un largo tiempo, hay una probabilidad de que de que una persona determinada31compre cola 1 una probabilidadde que un apersona especifica compre cola 2.3Anlisis transitorioUn vistazo a la tabla 2 muestra que para el ejemplo 4, el estado estable se alcanza (ados decimales) Despus de diez transiciones. Ninguna regla general se puede expresaracerca de que tan rpido una cadena de Markov alcanza el estado estable, pero sicontienemuy pocos elementos que estn cerca de 0 o cerca de 1, por lo general el estado estable seIng. ngel Verd - Ing. Bryan AdarfioPgina 21 22. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov.alcanza muy rpido. El comportamiento de una cadena de Markov antes de alcanzar elestado estable se llama comportamiento transitorio (o de corrida corta). Para estudiar elcomportamiento transitorio de una cadena de Markov, simplemente se utilizan las formulaspara dadas en (4) y (5). Sin embargo, es bonito saber que para grande, lasprobabilidades de estado estable describen con precisin la probabilidad de estar encualquier estado.Interpretacin intuitiva de las probabilidades de estado estable. Se puede dar una interpretacin intuitiva a las ecuaciones de probabilidad de estadoestable (8). Restando de ambos lados de la ecuacin (8), se obtiene (11) La ecuacin (11) establece que en el estado estable, Probabilidad de que una transicin particular deje el estado = probabilidad de que una transicin particular entre al estado(12) Recuerde que en el estado estable, la probabilidad de que el sistema este en el estado es. De esta observacin, se deduce que, Probabilidad de que una transicin particular deje el estadoIng. ngel Verd - Ing. Bryan Adarfio Pgina 22 23. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov. = (probabilidad de que el periodo actual comience en )(probabilidad de que la transicin actual deje o salga de )Y Probabilidad de que una transicin particular entre al estadoProbabilidad de que el periodo actual comience en) (probabilidad de que la transicin actual llegue a ) La ecuacin (11) es razonable; si para cualquier estado se violara la ecuacin (11),entonces para algn estado , el lado derecho de (11) seria mayor que el lado izquierdo de(11). Esto dara como resultado la probabilidad de aplicar en el estado , y no existirauna distribucin de probabilidad de estado estable. Se podra considerar que el estadoestable la ecuacin (11) establece que el flujo de probabilidad hacia cado estado debe serigual al flujo de probabilidad que sale de cada estado. Esto explica porque lasprobabilidades de estado estable suelen llamarse probabilidades de equilibrios.Ing. ngel Verd - Ing. Bryan AdarfioPgina 23 24. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov.USO DE LAS PROBABILIDADES DE ESTADO ESTABLE EN LA TOMA DEDECISIONESRefresco de cola (continuacin)En el ejemplo 4, suponga que cada cliente realiza una compra de refresco de cola durantecualquier semana (52 semanas = 1 ao). Suponga que hay 100 millones de clientes queconsumen refrescos de cola. A la compaa le cuesta 1 dlar producir un refresco de cola ylo vende en 2 dlares. Por $500 millones al ao, una empresa publicitaria garantizadisminuir de 10 a 5 % la fraccin de clientes de cola 1 que cambia a cola 2 despus de unacompra. Debe la compaa que fabrica cola 1 comprar a la empresa publicitaria?SolucinEn la actualidad, una fraccinde la compra es de cola 1. Cada compra de cola 1produce a la compaa una ganancia de dlar. Puesto que hay un total de 52(100 000 000),o 5.2 miles de millones, compra de cola cada ao, la ganancia anual actual de la compaaque produce cola 1 esLa compaa publicitaria esta ofreciendo cambia la matriz aPara , la ecuacin de estado estable sonIng. ngel Verd - Ing. Bryan Adarfio Pgina 24 25. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov. Sustituyendo la segunda ecuacin por y resolviendo, se obtiene . Ahora la ganancia anual de la compaa que produce cola 1 ser Por lo tanto, la compaa que produce cola 1 debe contratar a la agencia depublicidad.ESTADO ABSORBENTEESTADOS ABSORBENTES Y ESTADOS DE CONJUNTO CERRADO En una cadena de Markov un conjunto C de estados se denomina cerrado si elsistema, una vez en uno de los estados de C, pertenece en C indefinidamente. Un ejemploespecial de un conjunto cerrado es un estado particular que tenga una probabilidad detransicin . En este caso se denomina estado absorbente. Todos los estado de una cadena irreducible deben formar un conjunto cerrado yningn otro subconjunto puede ser cerrado. El conjunto cerrado C tambin debe satisfacertodas las condiciones de una cadena de Markov y por ello, puede estudiarse de formaindependiente.Ejemplo:Considere la siguiente cadena de Markov:Ing. ngel Verd - Ing. Bryan Adarfio Pgina 25 26. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov.Esta cadena se ilustra grficamente en la figura 18-2. La figura muestra que loscuatro estados no constituyen una cadena irreducible, ya que los estado 0,1 y 2 no sepueden alcanzar desde el estado 3. El estado 3, en s mismo, forma un conjunto cerrado y,por consiguiente, es absorbente. Tambin se puede decir, que el estado 3 forma una cadenairreducible.TIEMPOS DE PRIMER RETORNOUna definicin importante en la teora de las cadenas de Markov es el tiempo deprimer retorno. Dado que el sistema esta inicialmente en el estado, puede retornar apor primera vez en el paso ensimo, con el numero de pasos antes de que el sistemaretorne ase llama tiempo de primer retorno.Ing. ngel Verd - Ing. Bryan Adarfio Pgina 26 27. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov. Seala probabilidad de que el primer retorno aocurra en el paso ensimo. Entonces, dada la matriz de transicin Se puede determinar una expresin para como sigue: O Se puede probar por induccin que, en general, Lo que da la expresin requerida La probabilidad de por lo menos un retorno al estadoest dada porIng. ngel Verd - Ing. Bryan Adarfio Pgina 27 28. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov. Entonces, es seguro que el sistema retorna a . En este caso, sidefine el tiempo medio de retorno (recurrencia), Si, no es seguro que el sistema retornara ay, en consecuencia, Por este motivo los estados de una cadena de Markov se pueden clasificar conbase en la definicin de los tiempos de primer retorno como sigue:1. Un estado es transitorio si2. Un estado es recurrente (persistente) si3. Un estado recurrente es nulo si4. Un estado es peridico con periodo t si es posible un retorno solo en los pasos t, 2t,3t,.Esto significa quesiempre que n no sea divisible entre t.5. Un estado recurrente es ergdico si es no nulo y aperidico (no peridico).DISTRIBUCIN LMITE DE CADENAS ERRREDUCIBLESIng. ngel Verd - Ing. Bryan AdarfioPgina 28 29. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov. El ejemplo muestra que conforme aumente el nmero de transiciones, probabilidadabsoluta se vuelve independiente a largo plazo de las cadenas de Markov. En esta seccin presentamos la determinacin de la distribucin lmite (a largoplazo) de una cadena irreducible. La presentacin se concretara al tipo aperidico ya que esel ltimo tipo necesario en este texto. Adems, el anlisis del tipo peridico es bastantecomplejo. La existencia de una distribucin lmite en una cadena irreducible aperidicadepende de la clase de sus estados. Entonces, considerando las tres clases dadas en elteorema 18.6-1, podemos enunciar el siguiente teorema.Teorema En una cadena de Markov irreducible aperidica, (a) Si los estados son todostransitorios o todos nulos, entonces comopara toda y y j y, no existe unadistribucin limite. (b) Si todos los estados son ergdico, entonces Dondees la distribucin limite (estado estable). Las probabilidades existenen forma nica y son independiente deen este caso, se puede determinar a partirdel conjunto de ecuacionesIng. ngel Verd - Ing. Bryan AdarfioPgina 29 30. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov. El tiempo medio de recurrencia para el estado j esta dado entonces porEjemplo: Considere el ejemplo 18.6-1. Para determinar su distribucin de probabilidades deestado estable, tenemos Observe que una de las ecuaciones es redundante(Observe que una de las primeras dos ecuaciones es redundante.) La solucin da:Estos valores son cercanos a los valores de (y a las filasde ) en el ejemplo 18.6-1. Luego tenemosIng. ngel Verd - Ing. Bryan AdarfioPgina 30 31. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov.De modo que el tiempo medio de recurrencia para los estados primero y segundoson 2.3 y 1.75 pasos, respectivamente.EjemploConsidere la cadena de Markov siguiente con tres estados:Esta se llama matriz estocstica doble, ya queDonde s es el nmero de estados. En tales casos, las probabilidades de estado estable son para toda j. as, para la matriz dadaIng. ngel Verd - Ing. Bryan Adarfio Pgina 31 32. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov.CONCLUSINComo conclusin de las cadenas de Markov nos permite hacer anlisis sobre el estudio delos comportamientos de ciertos sistemas en ciertos periodos que pueden ser cortos o largos.Adems se tiene una relacin con las probabilidades absolutas. Pero sin embargo lo msimportante es el estudio del comportamiento sistemas a largo plazo, cuando el nmero detransiciones tiene al infinito. Los estados en las cadenas de Markov sern tiles para elestudio del comportamiento de los sistemas a largo plazo.Que todos los estados en una cadena de Markov infinita irreducible pueden pertenecer auna, y solo una, de las siguientes tres clases: estados transitorios, estados recurrentes nuloso estados recurrentes no nulosAl abordar este tema es para conocer ms o menos las probabilidades de un experimento,esto a su vez nos permitir conocer a corto y plazo los estados en que se encontraran enperiodos o tiempos futuros y tomar decisiones que afectarn o favorecern nuestrosintereses, y tomar una decisin de manera consciente y no se comentan muchos errores.Esto tambin nos proporcionara un tiempo estimado para que identifiquemos cada estado yel periodo en que se encuentra con la implementacin de un proceso, tambin se establecelas probabilidades como una herramienta ms en las cadenas de Markov.Las cadenas de Markov son modelos probabilsticos que se usan para predecir la evoluciny el comportamiento a corto y a largo plazo de determinados sistemas. Ejemplos: repartodel mercado entre marcas; dinmica de las averas de mquinas para decidir poltica demantenimiento; evolucin de una enfermedad.Se dice que la cadena de Markov es absorbente si una o ms estados es un estadoabsorbente es una cadena de Markov absorbente. Pero para que se puedan resolver o darlesolucin a muchas de las preguntas que se generan la cadena de Markov debe seguir unorden primero se dice que los estados deben ser transitorios, luego los estados absorbentes.Ing. ngel Verd - Ing. Bryan AdarfioPgina 32 33. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov.Estado estable. Son formulas que se desarrollan, que despus de un largo tiempo busca laestabilizacin del estado inicial ya que hay una probabilidad de que dicho estadoseencuentre en el estado , y sustituyendo dichas ecuaciones es como se resuelven losproblemas de estado estable. De otra manera las ecuaciones de estado estable son restadasen ambos lados y la probabilidad de que deje el estado es igual a que entre en el estado yla probabilidad de que este en el estado es .Ing. ngel Verd - Ing. Bryan Adarfio Pgina 33 34. UNEXPO- Direccin de Investigacin y Post-Grado Procesos Estocsticos Cadenas de Markov.BIBLIOGRAFAINTRODUCCIN A LAS CADENAS DE MARKOVInvestigacin de operaciones, 5 edicin, Editorial taha, pp. 822-826PROBABILIDAD DE TRANSICIONES ESTACIONARIAS DE N PASOSInvestigacin de operaciones, 5 edicin, Editorial taha, pp. 824-826Investigacin de operaciones aplicaciones y algoritmos, 4 edicin, Autor Wayne l.wishston, Editorial Thompson, pp. 928-931.ESTADO ESTABLEInvestigacin de operaciones aplicaciones y algoritmos, 4 edicin, Autor Wayne l.wishston, Editorial Thompson, pp. 934-938.ESTADOS ABSORBENTESInvestigacin de operaciones, 5 edicin, Editorial taha, pp. 826-830Ing. ngel Verd - Ing. Bryan AdarfioPgina 34