Gua de Ejercicios de Cadenas de Markov en Tiempo Discreto Recopilacin de Problemas preparado por Denis Saur 11. Problemasde Cadenas de Markov en Tiempo Discreto1.EnlaciudaddeSantiagodiariamenteseliberancontaminantesalaatm osfera, provenientesprin-cipalmentedel usodevehculosydeplantasindustriales. Laautoridadcorrespondientemonitoreadiariamente la calidad del aire en la ciudad, y seg un la concentracion de contaminantes distingue 3 es-tados de alerta ambiental: Normal (N), Pre-emergencia (P) y Emergencia (E). Se ha podido determinarque la evoluci on del estado de alerta obedece a una cadena de Markov.Por simplicidad asumiremos que las probabilidades de transici on dependen s olo del n umero de vehculosque circulan por las calles de Santiago cada da (las plantas industriales pueden ser modeladas como unconjunto de vehculos). Si en un da Normal circulan por Santiago y vehculos entonces la probabilidadque elda siguientesea tambien Normal vale1 F(y),ylaprobabilidad que elda siguientesea dePre-Emergencia es F(y). Si en un da de Pre-Emergencia circulan y vehculos entonces el da siguienteser a Normal con probabilidad 1F(y) o Emergencia con probabilidad F(y). Si en un da de Emergenciacirculan y vehculos entonces el da siguiente puede repetirse el estado de emergencia, lo que ocurre conprobabilidad F(y), o bien pasar a estado de Pre-Emergencia, con probabilidad 1 F(y). La funci onFes continua, estrictamente creciente,F(0) = 0,F() = 1.Laautoridad hatomadolassiguientesmedidasparacombatirlacontaminaci on:enlosdas dePre-emergenciaseprohbecircular aunafraccion1 delos vehculosdeSantiago. Enlos dasdeEmergencia la medida se hace mas dr astica, prohibiendose la circulaci on de una fraccion 1 de losvehculos de la ciudad (< )).En lo que sigue asuma que en Santiago hay un parque vehicular dex vehculos y que cada da salen acircular todos aquellos a los que la autoridad no se los prohbe.a) Muestre elgrafo asociado a la cadena deMarkov que describe la evoluci on delestado de alertaambiental en Santiago. Justique la existencia de probabilidades estacionarias y calc ulelas.b) Suponga que Ud. posee un autom ovil. En promedio, que fraccion de los das del a no puede usar suautom ovil para desplazarse por Santiago?. Asuma que cuando la autoridad prohbe el uso de unaparte de los vehculos lo hace a de manera que todos los vehculos tienen la misma probabilidadde ser afectados por la medida.c) Suponga que por cada vehculo que deja de circular el ingreso per capita para los habitantes deSantiago se reduce en A [$] (asociado a una cada en la producci on, y tambien a mayores incomodi-dades y costos de transporte por menor disponibilidad de vehculos tanto para transporte p ublicocomo privado). Adem as, por cada da que respira el aire de Santiago en estado de Pre-emergenciaoEmergenciaunapersonapercibeunempeoramientodesusaludquesepuedecuanticarenB[$] yC[$] respectivamente. Formule el problema que debe resolver el gobierno para escogery.d) Ud. esta evaluando la posibilidad de comprar un segundo auto. En caso de comprarlo, que fraccionde los das del a no podr a usar alguno de sus autom oviles para desplazarse por Santiago?. Asumaqueagregaresevehculo tieneunefectodespreciablesobrelasprobabilidadescalculadas enlospuntos anteriores (el parque vehicular es muy grande).e) Supongaahoraquemuchaspersonascompranunsegundoauto, demaneradeusarautoparadesplazarse mientras uno de los dos que poseen tenga permiso para circular, y asuma que cuandousanunodesusautosdejanel otroestacionadoensusrespectivascasas.Valeparacadaunadeestas personas elresultado calculado enelpunto anterior?. Indiquedonde sedeberan hacercambios al modelo para esta nueva situacion.2.(*) Considere un jugador que apuesta sucesivas veces en el mismo juego. En cada jugada existe unaprobabilidad p de ganar una unidad y una probabilidad 1 p de perder una unidad. Se asume que lasjugadas sucesivas son independientes. El jugador comienza con una cantidad dei, 1< i< Ny juegahasta que pierde todo o llega aN.2a) Construya una cadena de Markov que describa la fortuna del jugador en cada instante. Incluyalas probabilidades de transici on.b) El jugador al llegar aNcambia su estrategia y decide apostar doble o nada, de manera que conprobabilidadp su riqueza es 2N(y se retira), mientras con probabilidad 1 p pierde todo (y suriqueza se reduce a cero). Modele esta nueva situacion.c) Si enlasituaci ondelaparte(a), laprobabilidaddeganaresp=1/2, Dequedependequenuestro jugador nalmente gane o pierda?. Sin hacer calculos entregue valores especcos cuandose pueda e interprete sus resultados.d) Resuelvael problemaparael casogeneral, esdecir, encuentrelasprobabilidadesdeterminarganando o perdiendo el juego si se empieza con una cantidad dei, 1 < i < N. Se juega hasta quepierde todo o llega aN, conp = (1 p).3.A un estudiante en pr actica de este departamento le fue encargado que estudiase el comportamiento delargo plazo de un determinado sistema (el cual no se describe por tratarse de informacion condencialdelaempresa). Despuesdeunarduotrabajoneuronal nuestroestudiantelogr odeterminarqueelfen omeno se poda modelar como una cadena de Markov con 6 estados y una matriz de transicionM.Con ayuda de la planilla de c alculo multiplic o muchas veces Mpor si misma, notando que su resultadose haca cada vez mas parecido a cierta matrizA.Faltabans olo15minutosparalareuni onenlaquetenaquedarcuentadesusresultados,cuandoaparecio en supantalla unmensaje deerror, elcualresulto irreparable y tuvoque reiniciarsucom-putador. Con espanto se dio cuenta que no tena ning un registro de sus c alculos, pero sin desanimarsetomo un papel y anot o todos los datos que recordaba de la matrizA, obteniendo lo siguiente:MATRIZ A =1 2 3 4 5 61 a b 0 0 0 02 - - - - - -3 c - 0 d - -4 - - - - e 05 - - - - - -6 - - - - e -dondeel signo- indicaquenorecuerdaloqueibaenesaposicion, ylascantidadesa, b, c, dyeson positivas. C omo podramos ayudar a nuestro compa nero? (conteste las siguientes preguntas y losabr a).a) Cual(es) de los grafos mostrados en la gura 2 es(son) candidato(s) a representar la cadena deMarkov en cuesti on?.b) Complete la matrizA, explicando claramente su respuesta.3Figura24.Un ex-auxiliar de este curso ha decidido dedicarse a la m usica, y junto a unos amigos formo el grupoJorge y los Markovianos. Actualmente se limitana tocar los nes de semana en algunos pub capi-talinos, siendo una de tantas bandas desconocidas que existen en el pas.Cada mes existe una probabilidadqque un empresario de alg un sello musical nacional los escuche ydecida apoyarlos para grabar y realizar giras para cantar en todo el pas. Si tal cosa ocurre pasaran aser una banda conocida a nivel nacional.Una banda quees conocida a nivel nacional corre el riesgo deperderel apoyo delsello nacional quelapatrocina,conlocualvolvera aserunabandadesconocida.Cadames, laprobabilidadqueestoocurraes r. Porotrolado, unabandaconocidaanivel nacional puedellegarallamarlaatenci ondel representante de un sello musical internacional, el cual podra decidir patrocinarlos. De ser as labanda pasara a ser conocida a nivel internacional. Cada mes existe una probabilidad s que esto ocurra(s +r 0 y = 0, conteste las siguientes preguntas:Clasique los estados de la cadena. Justique la existencia de probabilidades estacionarias.Partiendodel estadoA1calculeel tiempoesperadoderetornoaA1condicional aquelaprimera transici on es a alg un estado deA.Encuentreel tiempoesperadodellegarporprimeravezal estadoB1partiendodeA1(yll ameloAB).13b) Suponiendo que > 0 y> 0, conteste las siguientes preguntas:Clasique los estados de la cadena. Justique la existencia de probabilidades estacionarias.Encuentre el tiempo esperadoBAde llegar por primera vez al estadoA1partiendo deB1.Encuentrelasprobabilidadesestacionariasdelacadenacombinada. Puedeexpresarsure-spuesta en termino de los par ametros del problema y de las probabilidades estacionarias delas cadenas originales, AiyBi.23.Unatiendamayoristaderepuestosparaautomovilesvendeun unicorepuestoel cual puedeserde2tipos:Original oTaiwanes. Los repuestossemantieneneninventario seg ununapoltica (s,S)derevision semanal para cada tipo de repuestos. Es decir, al comienzo de cada semana revisa el nivel deinventarioIiy siesta bajosise encarga una cantidadSi Iiconi {O,T}.Los pedidos demoranexactamente 1 perodo en estar disponibles, es decir, llegan al inicio de la siguiente semana.Cada semana la tienda recibe el pedido de un unico cliente, el que demandar a una cantidad aleatoria decada tipo de productos, de manera que con probabilidad qi(k) demandar a k unidades de repuesto tipoi. Si no hay unidades sucientes de producto tipo i en el inventario, el cliente siempre estara dispuestoasustituirlasporproductosdelotrotipo. Si conestasustituci ontodava faltanunidades,el clientellevar a todas las unidades disponibles y se ir a molesto de la tienda.Elcostodemantenerinventariada unaunidaddeproductoporunasemanaesCindependientedeltipo de repuesto. El benecio de vender una unidadde producto tipoi esBi,conBi>C. Ademas,siunclientenopuedesatisfacercompletamentesupedido, latiendaincurreenuncostodeimagenvalorado en V , independiente de cu antas unidades faltaron. Por ultimo, existe un costo por poner unaorden al proveedor deKy el precio al que la tienda compra cada repuesto esPi.a) Modeleel inventariodecadatipodeproductosal iniciodeunasemanacomounacadenadeMarkov. Escribaexplcitamentelasprobabilidadesdetransici onyargumentelaexistenciadeprobabilidades estacionarias.Hint: No necesita dibujar toda la cadena, sino remitirse a los casos interesantes.Respondalassiguientespreguntassuponiendoconocidalaleydeprobabilidadesestacionariasdelacadena anterior:b) Cual eslaprobabilidadqueunclienteseretireindignadodelatienda?. Quefracciondelosclientes se retira de la tienda con el pedido que deseaba originalmente?c) Cu al ser a el ingreso por unidad de tiempo esperado del due no de la tienda?.142. Resoluci onproblemasde Cadenas de Markov en Tiempo Discreto2. a) La cadena se muestra en la gura 1.Figura 1: Cadena problema 2-1b) La cadena se muestra en la gura 2.Figura 2: Cadena problema 2-2c) Sea:fi = P[Ganar dado que parto con i unidades]Inmediatamente vemos quef0 = 0 y quefN= 1. De la misma forma vemos (condicionando en elresultado de la primera apuesta) que:fi =12fi+1 + 12fi10 < i < Nlo que implica que:fi+1 fi = fi fi10 < i < NLa primera ecuacion nos dice que:f2 f1 = f1Utilizando esto vemos que:fi fi1 = f1Ahora si sumamos las N 1 primeras ecuaciones tendremos que (utilizando la suma telescopica):fN f1 = (N 1) f1 f1 =1N15De la misma forma si sumamos lasi 1 primeras restricciones veremos que:fi = i f1 =iNd) Para el caso general procederemos exactamente como lo hicimos para el caso particular:fi = p fi+1 + (1 p) fi10 < i < Nlo que implica que:fi+1 fi = (fi fi1) 0 < i < NDonde =1ppLa primera ecuacion nos dice que:f2 f1 = f1Utilizando esto vemos que:fi fi1 = i1f1Ahora si sumamos las N 1 primeras ecuaciones tendremos que (utilizando la suma telescopica):fN f1 = (N1

i=1i) f1 f1 =1

N1i=0i=1 1 NDe la misma forma si sumamos lasi 1 primeras restricciones veremos que:fi = (N1

k=0k) f1 =1 i1 N6. a) Primero veamos cual es el grafo para el caso reducido (s=2 y S=4), el cual se muestra en la gura3.Figura 3: Cadena problema 6-1La idea del ejemplo es ver que el n umero de transiciones es tal que no tiene sentido hacer el grafo.La idea entonces es identicar cada transici on mediante la probabilidad de ocurrencia. La cadenapara el caso general se muestra en la gura 4.Donde:16Figura 4: Cadena problema 6-2Pij =___0 si i > s y j> iijsi i > s y 0 < j i

k=iksi i > s y j = 0Tjsi i s y 0 < j T

k=Tksi i s y j = 0b) Lacadenaesexactamentelamisma, soloquelos ktomanvaloresespeccos.Estossonlossiguientes:k =k ek!No es difcil ver que todos los estados estan comunicados entre s y que forman una unica clase ydado que la cadena es nita, esta clase es recurrente (claramente cada estado es aperiodico dadoquepii = 0i.c) En este caso s podemos visualizar la cadena como un todo, puesto que el n umero de transicioneses muy bajo. La cadena se muestra en la gura 5.Figura 5: Cadena problema 6-3De la gura vemos que los estados 0 al s-1 mas el estado T son transientes y dado que no est ancomunicados entre s cada uno por s solo constituye una clase transiente. Por otro lado los estadosdel s al T-1 estan comunicados entre s y forman una clase recurrente (con seguridad despues deT-s-1 pasos volveremos a cualquiera de los estados de esta clase). Por otro lado el periodo de losestadosdelaclaserecurrenteesT-S-1, dadoqueexistes olounaformadevolveraunestadopartiendo del mismo, y eso ocurre con seguridad despues de T-s-1 etapas.d) La cadena se muestra el la gura 6.Vemos que existe un unico estado recurrente, que forma pors solo una clase recurrente. Todoslos otros estados no estan comunicados entre s y conforman por s solos clases transientes.7. a) Lasituaci onclaramentepuedesermodeladacomounacadenadeMarkoventiempodiscretodebidoaquesidenolosestadoscomoel n umerodepacientesquequedanenel centroenunda, entoncestodaslasprobabilidadesdetransicionpuedenserdeterminadasapartirdeestainformacion. De esta forma se tiene que:17Figura 6: Cadena problema 6-4El estado i ser a la situaci on en que quedan i pacientes enfermos en el centro, i {0, . . . , M}.Las probabilidades de transici on quedan determinadas por la siguiente formula1:P(i, j) = P(ir del estado i al estado j) =_i!(ij)!j!pij (1 p)jsiM i j 00 sij iLa cadena se muestra a continuacion en la gura 7.Figura 7: Cadena problema 7-1Existen M +1 clases distintas: 1 recurrente compuesta por el estado 0, y Mclases transientescompuestas cada una por uno de los Mestados restantes. Recuerdar que una clase esta com-puesta por todos los estados comunicados entre s, y en este caso ning un estado se comunicacon otro.b) Primero necesitamos encontrar la probabilidad de eventualmente pasar por el estado M 1. Paracalcular esta probabilidad vemos que de pasar por este estado, la transicion debe lograrse en alg un1EstoesequivalenteadenirlamatrizdetransicionP.18n umero de perodos. Por esto se tiene que:P(Pasar por el estado M-1) =

i=1P(Pasar por M-1 en i transiciones)P(Pasar por el estado M-1) =

i=1P(Quedarme en M por i-1 transiciones) P(M.M 1)P(Pasar por el estado M-1) =

i=1(1 p)M(i1) M p (1 p)M1P(Pasar por el estado M-1) =M(1 p)M1p1 (1 p)MPor otro lado, la probabilidad de instalar los equipos alg un da es equivalente a la probabilidaddellegaralgunavezalestado0.Sinembargo dadoqueestaesunacadenaergodica, sequeenel largo plazo con seguridad estare en la clase recurrente. Como en este caso la clase recurrenteesta compuesta por el estado 0, se puede decir con seguridad (Probabilidad =1) que en el largoplazo el sistema llegara al estado 0 y por lo tanto se podr an instalar los equipos.c) En este caso se tiene un n umeroCde camas disponibles y existe la posibilidad que llegue genteal centro asistencial. La cadena asociada se muestra en la gura 8.Figura 8: Cadena problema 7-2El estado i ser a la situaci on en que quedan i pacientes enfermos en el centro, i {0, . . . , M}.Paracalcularlaprobabilidaddetransici onentredosestadoscualesquieracondicionaremossobre el n umero de personas que se recuperan.Entonces, paraj = C:P(i, j) =i

k=0P(i, j|Se mejoran k personas) i!k!(i k)!pk(1 p)ikSin embargo:P(i, j |Se mejorank personas) =P(lleguen j i +k personas)siempre y cuandoj i + k 0, entonces:P(i, j) =i

k=max(ij,0)P(lleguenj i +k personas) i!k!(i k)!pk (1 p)ikP(i, j) =i

k=max(ij,0)qji+k i!k!(i k)!pk (1 p)ik19De la misma forma, sij = C, entonces:P(i, j) =i

k=max(ij,0)P(lleguen m as dej i +k personas) i!k!(i k)!pk (1 p)ikP(i, j) =i

k=max(ij,0)(

z=ji+kqz) i!k!(i k)!pk (1 p)ik12. a) Tras un minuto de meditaci on modelamos los estados como el n umero de bolitas bajo cada vaso.La cadena se muestra en la gura 9.Figura 9: Cadena problema 12La matriz de transiciones es la siguiente:0 0 0121200 0 0120120 0 0 0121214140 0141414014140140141414140b) De acuerdo a la denici onr1=r2=r3= 2 yr4=r5=r6= 1 Entonces:1=2=3=19y4 = 5 = 6 =29.Por otro lado para que sea ley estable debe cumplir con:= P6

i=1i = 1i 0 i20Las dos ultimas condiciones se cumplen. S olo basta comprobar que (propuesto)2:191919292929=1919192929290 0 0121200 0 0120120 0 0 0121214140 0141414014140140141414140c) La cadena es ergodica (una sola clase recurrente, aperiodica) por lo que posee s olo una ley estable,la cual es la ley de probabilidades estacionarias. Como ya encontramos una ley estable, esta mismaesla ley estacionaria. La intuici ondel resultado va porellado dela conectividad entre estados(los con bolitas separadas son accesibles desde muchos mas estados y a estados del mismo tipo,en cambio para los estados con bolitas juntas no existen transiciones entre el mismo tipo.)d) Para ganar debemos parar eljuego enun estado tal que sea factible el ganar, y adicionalmenteescoger correctamente el vaso ganador. Entonces la probabilidad de ganar ser a:P[Ganar] = P[Parar en estado factible] P[Escoger ganador]P[Ganar] = (1 +2 +3) 13=1913. a) Para denir la cadena debemos especicar los estados de la misma y las probabilidades de transi-cion entre cada par de estado (elementos de la matriz de transicion). Utilizando la indicaci on delenunciado la cadena es la que se muestra en la gura 10.Figura 10: Cadena problema 13Entonces, del dibujo se ve que:P[i paraguas,j paraguas] =___p si j = r i + 11 p si j = r i0 i > 0La denici on de la matriz de transicion se completa con:P[[0 paraguas,j paraguas] =_1 si j = r0 2Dimensionalmenteesincorrecto,perosoloporquenosecomohacerelsmbolodeunvectortranspuesto21b) Lasecuaciones quenospermitenencontrarlas probabilidades estacionarias (existirandado quese trata de una cadena erg odica) son las siguientes:0= r (1 p)1= r p + (1 p) r12= r1 p + (1 p) r23= r2 p + (1 p) r3...r1= 2 p + (1 p) 1r= 1 p +0r

i=0i= 1Utilizando las r primeras ecuaciones descubrimos que:1 = 2 = 3. . . = r =0(1 p)= Si utilizamos esto en la ultima ecuacion llegamos a que: (r + 1 p) = 1 =1r + 1 p0=1 pr + 1 pc) Se mojar a solo en las ocasiones que este en un lugar donde no hayan paraguas (fracci on 0 de loscasos) y le toque la mala suerte que llueva (con probabilidadp). Entonces el resultado es:fracci on que se moja =p(1 p)r + 1 p2214. a) Deniremos los estados como la carga genetica de cada individuo de la poblaci on: De esta formala cadena se muestra en la gua 11.Figura 11: Cadena problema 14b) Claramente existen 3 clases. Dos recurrentes (aperiodicas): la asociada al estado xx-xx y la aso-ciada al estado yy-yy. Por otro lado existe una clase de estados transientes, compuesta por todoslos otros estados.c) Porsimetralaprobabilidades12. Undesarrollom asrigurosopuedeserlogradomedianteunan alisis de primer paso (es decir condicionar sobre el resultado de la primera transici on y aplicandocondiciones de borde, como por ejemplo que la probabilidad dado que estoy en el estado de s ologenes recesivoses1ysi estoyenel estadodegenesnorecesivoses 0, dadoqueambos sonrecurrentes de clases distintas). Propuesto.15. a) Lo unico importante es distinguircasosfavorablescasostotales.Si lasparejasseformanal azartengoN 1individuoscandidatosaemparejarseconalguienen particular (casos totales), de los cuales hayi infecciosos. Si me emparejo con un infeccioso laprobabilidad de contagio esp y por lo tanto:qi =iN1 pb) No, con solo tener el n umero de infecciosos no es posible determinar, en probabilidad, la evoluci ondel sistema (condicion de Markov). Por ejemplo, si Xt = 10, pero tenemos a todo el resto infectadoXt+1=0conseguridad, sinembargosi hayalguiensanolaprobabilidadque Xt+1=0esestrictamente menor que 1.23c) Para simplicar el dibujo del grafo consideraremos las posibles transiciones desde un nodo (i, j)donde i= Xty j= Yt.Caso1Figura 12: Caso 1En este caso la probabilidad de transicion entre el estado (i, j) y uno (k, j-k), con 0 < i j, implicaque k personas de las que inicialmente estaban sanas se contagian, pasando a estar infectadas alinicio del perodo siguiente. Ocupandoqitenemos que:P[(i, j), (k, j-k)] =_jk_ qik (1 qi)jkk, 0 k iCaso2Figura 13: caso 2Esta situaci on es analoga al caso anterior, pero el n umero m aximo de personas infectadas al iniciodel perodo siguiente ahora es j. As, la probabilidad de transici on en una etapa que empezamosen el estado (i, j), con i j > 0 sera:P[(i, j), (k, j-k)] =_jk_ qik (1 qi)jkk, 0 k jCaso3Figura 14: caso 3En estos casos los individuos infecciosos ya no tienen a quien contagiar, por lo que con probabili-dad 1 estaran en el estado (0, 0) en el perodo siguiente.24Caso4Figura 15: caso 4En esta situaci on ya no quedan individuos que puedan contagiar, por lo que no se modicar a eln umero de individuos sanos ni nadie se enfermar a.Clasiscaciondeestadosycaracterizaci ondeclases:En este problema no hay ning un par de nodos que este comunicado, por lo que c/u es su propiaclase de equivalencia y tendremos (N + 1)2clases distintas. Las clases delos casos 1, 2 y 3 sontranscientes, mientras que las clases del caso 4 son todas recurrentes y aperiodicas.d) Dadoquehaym ultiplesclasesrecurrentesNOesposibletenerunaleydeprobabilidadesesta-cionarias enelproblemaoriginal, loquesignica quelaevoluci on delsistemaenellargo plazono sera independiente de las condiciones iniciales. Por ejemplo si empezamos de cualquier estado(0, Y0) nunca lo abandonaremos porque no se puede enfermar ni mejorar nadie.Si permitimos que la gente con alguna probabilidad se mejore, se logran comunicar muchos estadosque pertenecan a clases distintas, creandose una clase transiente formada por los estados (0, X),con0 Xi). Comoenellargoplazo la probabilidad de encontrarnos en un estado transiente es 0, con probabilidad 1 estaremosen la unica clase recurrente de esta cadena. Por esto, si permitimos que la gente eventualmentemejore en el largo plazo esta enfermedad se habr a erradicado completamente, y existir a una leyde probabilidades estacionarias.19. a) Es posible dado que el n umero de autos disponibles al comienzo de un da cualquiera s olo dependede la cantidad de autos disponibles al comienzo del da anterior y esto es suciente para determinarla evoluci on del sistema (en probabilidades).b) La cadena toma se muestra en la gura 16.Figura 16: Cadena problema 1925Calculo de las probabilidades de transicion:P0,2= 1 (Si no tengo taxis disponibles con seguridad ambos estar an disponibles ma nana).P1,2= [P(D = 1) +P(D 2)] P[No falle] +P(D = 0) = 0,58P1,0= 0 (Por lo menos tengo bueno, la ma nana siguiente, el auto en reparacion)P1,1= 1 0,58 = 0,42P2,0= P(D 2) P[Ambos autos fallen] = 0,196P2,1= P(D = 1) P[Auto falle] + 2 P(D 2) P[Uno falla y el otro no] = 0,308P2,2= P(D = 0) +P(D = 1) P[Auto no falle] +P[D 2] P[No falle ninguno]Entonces la matriz de transicion es la siguiente:0 0 10 0,42 0,580,196 0,308 0,496Existe solo una clase recurrente aperiodica compuesta por todos los estados de la cadena.c) Dado que la cadena es erg odica existira una ley de probabilidades estacionarias.Esta ley debe cumplir con los siguientes requisitos:012= 0120 0 10 0,42 0,580,196 0,308 0,4960 +1 +2 = 1i 0 iResolviendo se obtiene que0 = 0,11,1 = 0,31 y2 = 0,58.d) 1)E[N umero de arriendos] = 1 1(P(D = 1) +P(D 2))+2 2(P(D 2))+1 2 P(D = 1)= 0,7662)E[Costo] = [2 0 + 1 1] 10000 = 53003) El precio mnimo satisface la siguiente relacion:P E[N umero de arriendos] = E[Costo] P = 69192620. a) Denitivamenteesposiblemodelareln umerodemaquinasbuenasalcomienzodeunda.Estodadoqueel estadoposeeinformacionqueresumetodoloquenecesitamossaber: Si existenimaquinas buenas al comienzo del da, entonces (dado que las maquinas solo pueden estar buenaso malas) obligatoriamente tengo T i maquinas malas las cuales estar an disponibles al comienzodel proximo da, si no fuese as no estaran malas (dado que solo pueden fallar durante el transcursode un da).Por otro lado tenemos que:S(i, j) =_ _ji_qi(1 q)jii j0 b) ClaramentetendremosT+ 1estados(desdeel 0al T), sinembargodibujarlastransicionesyun esquema de la cadena general es muy complicado (debido al elevado n umero de transiciones).Entonces la mejor forma de determinar la cadena es especicar cada transicion entre estados conla probabilidad de transici on asociada. Entonces la cadena queda como se muestra en la gura acontinuacion.Figura 17: Cadena problema 20-1Para determinar Pijdebemos notar el hecho que si T-i maquinas estar an con seguridad buenas enel siguiente etapa, entonces solo tiene sentido que j T i. Por otro lado, para los j que cumplenla condicion tenemos que la transicion implica que solo una cantidadj T +i de lasi maquinasbuenas sobrevive (o que T j no lo hacen). De esta forma, en terminos de S(i, j), tendremos que:Pij =_0 j< T iS(T j, i) Finalmenteesbastanteclaroque(dadoquetodoslos estadosestancomunicadosentresi, lacadena es nita y hay estados aperodicos) la cadena es ergodica, por lo si existir an probabilidadesestacionarias. Todos los estados forman una unica clase recurrente.c) Aqu tenemos que tener cuidado puesto que las revisiones se realizan al nal del da. Entonces elbenecio lo obtengo cuando estoy en el estadoTy no se hecha a perder ninguna m aquina (y sirevisan ese da). La multa la obtengo seguro si empiezo con menos de L m aquinas, pero si tengomas, esto depende de si se hechan a perder las sucientes como para llegar al nal con menos deL maquinas. Esto que as:E(Benecios) = r [(C L1

k=0k) C T

k=Lk k

j=kL+1_kj_(1 q)kj qj+T (1 q)T F]d) La cadena sigue siendo la misma, solo cambiaran las probabilidades de transici on. Ahora debemosconsiderar que al pr oximo da no contaremos conT i maquinas buenas con seguridad si no conuna cantidad menor o igual. Cuantas?: Si tengoT i maquinas con desperfectos puedo formar

TiJ lotes de J, por lo tanto tendre TiJ Jmaquinas buenas con seguridad. Tomando esto encuenta tendremos que:Donde:27Figura 18: Cadena problema 20-2Pik =_0 k < TiJ J_ii+TiJJk_qi+TiJJk (1 q)kTiJJk TiJ JEn funci on deS(i, j)) queda de la siguiente forma (n = TiJ):Pik =_0 k < n JS(i +n J k, i) k n Je) Utilizando el mismo razonamiento de la parte c) tendremos que::E(Benecios) = r _(C L1

k=0k) C T

k=Lk k

j=kL+1_kj_(1 q)kj qj+T (1 q)T F +T

i=0i n K_Notenqueel terminoextra(respectoalapartec))sereereal costojo, el cual dependedelestado enel quenos encontramos, especcamente al valor deirespecto a valor deT (para vercuantos lotes se mandan a reparar).