El Amigo Markov

Cadenas de Markov yTeora de Colas

Cadenas de Markov yTeora de Colas

Carlos F. Belaustegui Goitia

09/11/2003 C.F. Belaustegui Goitia - Cadenas de Markov y Teora de Colas 2

Procesos y Cadenas de MarkovProcesos y Cadenas de Markov

Variables binomial, geomtrica y de Poisson.Variables binomial, geomtrica y de Poisson. Procesos puntuales.Procesos puntuales. Procesos de Markov.Procesos de Markov. Cadenas de Markov. Clasificacin de estados, clases de cadenas, Cadenas de Markov. Clasificacin de estados, clases de cadenas, estado estado

estacionario. Teorema de Perronestacionario. Teorema de Perron--Frobenius.Frobenius. Cadenas de Markov en tiempo continuo. Ecuaciones de balance globCadenas de Markov en tiempo continuo. Ecuaciones de balance global.al. Aplicaciones.Aplicaciones.


VariablesVariables BinomialBinomial y Geomtricay GeomtricaVariable Binomial: La probabilidad de que el eventoA, cuya probabilidad es P(A) = p, ocurra k veces en npruebas es

)!(!!,)1()(

knkn

kn

ppkn

kp knkn

=

=

Separacin entre eventos: sea X= nmero de pruebas hasta el primer xito

1 3 4 8 13 15 21

n=22, k=7

1 3 4 8 13 15 211 2 4 5 11 19 203 5 6 7 12 17 20...............

4 6 8 9 16 21 22

722 combinaciones

pqppnXP

ppXPpXP

nn 11)1()(

)1()2()1(

===

==

==

L

Distribucin geomtrica.X es el nmero de pruebas hasta el primer xito en unasecuencia de pruebas deBernoulli.

Propiedad sin memoria de la distribucin geomtrica

)(

11

11

)()(

)(),()/(

01

11

1

1

1

00

00

0

0

0

0

nnXPpq

qq

q

q

q

q

pq

pqnXPnXP

nXPnXnXPnXnXP

nnn

n

ni

i

n

nk

k

n

===

==

==

>

==

>

>==>=

=

+=

1 3 4 8 13 15 21

X=nX=n

n0

Aplicacin: Proceso de Bernoulli como modelo de flujo ATM

4848553 bytes

1 CC = 2.83 uSec @ 149.76 Mbps


VariablesVariables BinomialBinomial y dey de PoissonPoissonVariable Binomial: La probabilidad de que el eventoA, cuya probabilidad es P(A) = p, ocurra k veces en npruebas es

)!(!!,)1()(

knkn

kn

ppkn

kp knkn

=

=

Variable de Poisson: Si p


Puntos dePuntos de PoissonPoisson

Puntos de Poisson: Se colocan al azar n puntos en elintervalo real [0, T)

6 1 5 3 2 9 4 8 7

t1 t2t

T

)(e!)(]),[en puntos (

/0/cte.,,,

/

)1(]),[en puntos (

]),[en punto 1(

,21

21

1221

kpktttkp

tTtnnpaTtpTn

Tn

ppkn

ttkp

Tt

TttpttP

tk

Tnn

knkn

=

===

==

=

=

=

==

Densidad de puntos

ttt, tPlim

ktt

kt

ktkp

ttttp

t

k

t

kt

kt

t

+

=

=

=

])[en punto 1(!)()1(

!)(e

!)()(

)1(e)1(

0

0

0


Distribucin ExponencialDistribucin Exponencial

Separacin entre puntos: sea X = distancia desdet al primer punto a la derecha de t.

20

1)var(,1e)(

)(e)(

0e1]),[en puntos 0(1

)(1)()(

===

=

=+=

=>==

XdxxXE

xuxf

xxttP

xXPxXPxF

x

xX

xX

t t+xX

Propiedad sin memoria de la distribucin exponencial

)()(e)/(

e1)(1

)()()(

)()(

),()/()/(

00)(

0

)(

0

0

0

0

0

000

0

0

xxfxxuxXxf

xFxFxF

xXPxXxP

xXPxXxXPxXxXPxXxF

Xxx

X

xx

X

XX

X

==

=

=

=

=

==

tX

x0

Los tiempos entre arribos son independientes y distribudos exponencialmente con parmetro

Lo que ocurre despus de t0 es independiente de lo que ocurri antes de t0..


Relacin entre procesos deRelacin entre procesos deBernoulliBernoulli yy PoissonPoisson

Tiempo discreto Tiempo continuo

Proceso de Bernoulli Proceso de Poisson

Distribucin entre arribos:Geomtrica

Distribucin entre arribos:Exponencial


Ejemplo: ArribosEjemplo: Arribos AleatoriosAleatorios

A B C Darribos

servidor

tiempo

El proceso de arribos es Poisson.Los tiempos entre arribos son independientes y distribuidos exponencialmente con parmetro .


Ejemplo: ModeloEjemplo: Modelo de de Trfico TelefnicoTrfico Telefnico

: tasa de arribos (llamadas/seg)1/: duracin media de la llamada (seg)

20

1)var(,1e)(

)(e)(

===

=

XdxxXE

xuxf

x

xX

t t+xX

Arribos de Poisson Separacin entre arribos exponencial

)/1( =a Trfico (Erlang)

=

==

==

===

L

jj

ii

N

kki

N

kki

i

iihii

tjT

aa

tT

tNT

NTEaii

0

11

1

11)(

t

fTh(t) Th: duracin de la comunicacin(holding time)

)(e)( t tutfhT

=

Fdp experimental

1/

T

tk12

i

L

Tiempo medio de ocupacinde una lnea

Promedio de lneas ocupadas simultneamente

Nmero de ocupaciones simultneasTiempo total en el queexactamente j lneas estn ocupadas


Procesos deProcesos de MarkovMarkov

Proceso de Markov: Es un proceso estocstico cuyo pasado no tiene influencia sobre el futuro si el presente est especificado.

[ ] [ ])(/)()(/)( 111

=0/ ij(n)>0.

Comunicantes: los estados i y j comunican si son accesibles entre s. Se escribe ij. La comunicacin es una relacin de equivalencia: ij, jk ik.

Absorbente: Si es imposible abandonarlo: ii=1. Recurrente: El estado i es recurrente si la probabilidad de regresar

alguna vez a l es 1.

Peridico: Un estado es peridico con perodo d si slo se puede regresar a l despus de d, 2d, ..., nd pasos.

Aperidico o Ergdico: Peridico con perodo d=1. Se puede regresar a l en cualquier momento.

Transitorio: La probabilidad de regresar al estado alguna vez es menor que 1.

=

==

1

1)(n

iii nf

=


Clases de EstadosClases de Estados

Cerrada: Si desde un estado interior no se puede alcanzar ningn estado exterior a la clase. Un estado absorbente es una clase cerrada con un nico estado.

Irreducible: Clase cerrada tal que ningn subclase propia es cerrada. En otros trminos, la nica clase cerrada es la de todos los estados.

Dos estados pertenecen a un mismo conjunto si se comunican.

Dos clases distintas deben ser disjuntas, pues si existe algn elemento comn, los estados de una clase se pueden comunicar con los de la otra, y as resultan ser de la misma clase.

Clase cerrada

Estados absorbentes

Clase irreducible

Clase reducible


Clases de CadenasClases de Cadenas Irreducible. Definiciones equivalentes:

La que consiste en una nica clase de equivalencia. El nico conjunto cerrado es el de todos los estados.En una cadena irreducible, todos los estados son recurrentes o son todos transitorios. En una cadena irreducible finita, no pueden ser todos los estados transitorios; luego, son todos recurrentes.

Reducible. Opciones:1. Tiene uno o ms estados absorbentes.2. Tiene un subconjunto de estados S1 desde el cual no es posible alcanzar estados fuera de S1.

Absorbente: la que tiene al menos un estado absorbente, accesible desde cualquier otro estado. Aperidica: Todos sus estados son peridicos con perodo 1. Regular: Es posible ir de un estado a cualquier otro en exactamente n pasos: n>0/ (n)= n > 0.

Regular Todos los estados comunican Irreducible

Ergdica: Irreducible, aperidica, recurrente positiva.


Cadenas AbsorbentesCadenas AbsorbentesUna cadena es absorbente si es posible renombrar sus estados para escribir la matriz de probabilidades de transicin como

=

I0RQ

11 22 33 tt t+1t+1 t+rt+rt+2t+2

1 1 1

t estados transitorios r estados absorbentes

Q

I

R

0

t r

t

r

( ) ( )[ ]

[ ] [ ]

( ) )0()0()(,)()()()1(,)()1(

)()()1()1(

)()()(

1

121

IQnInQ

IQIQQ

IQIQ

IQ

n

nnnn

nn

nnnnn

nnnn

nnn

pRQIpp0p

pRppQppI0RQ

pppp

pppI0

RQI0I0

RIQQQ

+

+=+=+

=++

=

+++=

L


Cadenas Reducibles e IrreduciblesCadenas Reducibles e IrreduciblesMatrices de Permutacin

P es una matriz de permutacin si exactamente 1 elemento en cada fila y 1 elemento en cada columna es 1 y los restantes son nulos.

MPPPMPPPPP

P

PP

T

T

=

==

=

=

2121

1

,

1det

312

321

,100001010

APPA'APPA permuta las filas de A

permuta las columnas de A

Permuta las filas y columnas de A

Matriz ReducibleA es una matriz reducible (irreducible) si (si no) existe alguna matriz de permutacin P tal que:

==

D0CB

APPA' T

Test: A NN es irreducible sii: ( ) 0AI >+ 1NN

Identidad de NN

Matriz de valores absolutos

Matriz positiva

Permutacin de estados en una cadena de Markov

PP T=' Permutar filas y columnas de equivale a renombrar los estados de la cadena

Cadena ReducibleUna cadena de Markov es reducible si es posible renombrar sus estados para llevar la matriz de probabilidades de transicin a la forma

==

A0RQPP T'

En caso contrario, la cadena de Markov es irreducible.


Cadenas de Markov y GrafosCadenas de Markov y GrafosGrafo de una cadena

El grafo G() de es el grfico orientado sobre n nodos {N1, N2,..., Nn} en el cual hay un arco orientado de Ni a Nj si y slo si ij0

Cambio de nombre de los nodos

Si P es una matriz de permutacin, ( ) ( )PP GG T =Grafo fuertemente conexo

Para cada par de nodos (Ni, Nj ) existe una secuencia de arcos orientados que conduce de Ni a Nj.

Para cada par de nodos (Ni, Nj ) existe una secuencia de arcos orientados que conduce de Ni a Nj. es irreducible

es irreducible

Todos los estados comunican. La cadena consiste en una nica clase de equivalencia.

Todos los estados comunican. La cadena consiste en una nica clase de equivalencia.

Clase irreducible


Descomposicin Espectral de una Matriz Descomposicin Espectral de una Matriz Ann es diagonalizable cuando tiene un conjunto completo de autovectores linealmente independientes.

( ) ( )

ijiTj

iTi

jiiTj

iTjji

Tj

Tjj

Tj

iTjii

Tjiii

T

Tii

Tiiii

Tiii

=

=

==

==

=

==

=

vuvu

vuvuAvuuAu

vuAvuvAv

IAIAuAuuuA

vAv

0

si 0

detdet

Autovector derecho

Autovector izquierdo

A y AT tienen iguales autovalores

Autovectores derecho e izquierdo son biortogonales

Normalizacin[ ] [ ]

( )

( )Tii

n

ii

T

TTTTTT

n

nn

diag

uvUVVVA

IVUVUUAUUAU

AVVVAV

uuUvvV

=

===

==

==

==

=

==

1

1

11

1

1

11

,,,

KLL Conjunto completo de autovectores

l.i. A es diagonalizable

Descomposicin espectral


Teorema de PerronTeorema de Perron--FrobeniusFrobenius

Matriz primitivaA0, irreducible es primitiva si tiene un nico autovalor r = (A) de mdulo mximo (es decir, un nico autovalor sobre el crculo espectral).A0, irreducible es imprimitiva de ndice h si tiene h autovalores de mdulo mximo.Test de Frobenius: A0 es primitiva sii Am>0 para algn m1.Test de Wielandt: A0 nxn es primitiva sii 0A >+ 22

2 nn

Teorema de Perron-FrobeniusSi A0 es irreducible, entonces

( ) ( )( )

( )( ) ( ) ( ) 1mult geo1mult algmult geo1 :

:1)(mult alg

0

===>

=

>

AAAAxAAx0x

AA

AA

El radio espectral es un autovalor de AEl radio espectral es positivo

El radio espectral es un autovalor simple AEl autovector asociado al radio espectral es positivo.

No existen otros autovectores no negativos aparte de x: Vector de PerronEl autovector asociado al radio espectral es nico.

( ) TT A yAy = El vector izquierdo de Perron tiene la misma propiedad.


Matrices primitivas e imprimitivasMatrices primitivas e imprimitivasSi A0 es irreducible e imprimitiva de ndice h, entonces tiene h autovalores sobre el crculo espectral.

{ }hi

AS

i

h

,,2,11mult alg,,),( 21

KK==

==

Teorema: Los h autovalores de A sobre el crculo espectral, son las races de orden h de (A)

=

= 1,,1,0:2exp)( hk

hikS K A

En este caso, A/r no es convergente, pero es sumable Cesro:

Tk

k krr

11

1)/()/(lim yxAAI =+++

L

Si A0 es irreducible y primitiva, entonces tiene un nico autovalor r = (A) sobre el crculo espectral.

{ }

( ) Tkk

k

k

n

i

Tiii

n

i

TTiii

Tjj

Tj

iii

i

n

r

nir

r

11

2111

1

21

/limlim

,,21,,,1)()(,1)(/

)(

yxAB

yxyxyxB

yByxBx

BBBABA

==

+==

=

=

==

>

iii

Tii

ni

Tni

Tiii

T

uv1p

uv1p


Cadenas irreducibles y peridicasCadenas irreducibles y peridicasMatriz irreducible e imprimitiva

TTTTTT

k

Tk

k

kk

k

p1ppppp

1pI

==+++

=++

)0()1()1()0(lim

lim1

L

L

Interpretacin

( )jTj

k

n

Tk

nj

k

nn

jnnnn

k

nn

k

nn

n

knknpkZE

npZPZPZPZE

kjkZ

kjZ

jnZ

jZ

pp =

==

====+==

=

=

=

=

=

=

=

1

0

1

0

1

0

1

0

1

0

0

/)(/)(/

)()1()0(0)1(1)(

. tiempodel antes visitadoes estado el que vecesdefraccin :/

. tiempodel antes estado al visitasde nmero :

no si 0 es en tiempo estado el si 1

,no si 0

es inicial estado el si 1

La fraccin de tiempo a largo plazo que la cadena pasa en j es pj : componente j del vector de Perron pT. La interpretacin vale tambin cuando la matriz es primitiva y existe un estado estacionario.

Forma cannica de Frobenius para matrices imprimitivasSi es imprimitiva de orden h>1, entonces existe una permutacin tal que

=

000000

000000

PP

LL

MOOMMLL

1

1

23

12

h

,hh

T

La cadena es peridica de perodo h.


Cadenas reducibles (1)Cadenas reducibles (1)Cadena ReducibleUna cadena de Markov es reducible si es posible renombrar sus estados para llevar la matriz de probabilidades de transicin a la forma

==

++

++

++

++

++

mm

rr

rr

rmrrrrrr

mrrr

mrrrr

kk

k

k

T

00000

000000000000

0

X00

XX0XXX

W00VU0TSR

Z0YX

Z0YXPP

LLMOMMMLMM

LLLLLL

MLMMMLMMLLLL

LMOMM

LL

L

2,2

1,1

2,1,

22,21,2222

12,11,11211

222

11211

'

Si X o Z es reducible

Si R, U o W es reducible, etc.

Cada Xii es irreducible o [0]1x1.

Cada ii es irreducible o [0]1x1i-sima clase transitoria: cuando se la abandona, no se regresa a ella

Cada r+j,r+j es irreducible.j-sima clase ergdica. Cada clase ergdica es una cadena irreducible en s misma

Forma cannica para matrices reducibles


Cadenas reducibles (2)Cadenas reducibles (2)

++

++

++

++

++

22

1211

2,2

1,1

2,1,

22,21,2222

12,11,11211

0

00000

000000000000

0

mm

rr

rr

rmrrrrrr

mrrr

mrrrr

LLMOMMMLMM

LLLLLL

MLMMMLMMLLLL

Cada r+j,r+j es irreducible.j-sima clase ergdica. Cada clase ergdica es una cadena irreducible en s mismaLos autovalores unitarios de cada r+j,r+j son simples y son races de la unidad.Los autovalores unitarios de son el conjunto de los autovalores unitarios de las submatrices r+j,r+j .Pueden estar repetidos por aparecer en ms e una submatriz r+j,r+j .

Cada ii es irreducible o [0]1x1i-sima clase transitoria: cuando se la abandona, no se regresa a ella

1)(nulos no ,, bloqueshay porque

pero ,1)(


Cadenas reducibles (3)Cadenas reducibles (3)

++

++

++

++

++

22

1211

2,2

1,1

2,1,

22,21,2222

12,11,11211

0

00000

000000000000

0

mm

rr

rr

rmrrrrrr

mrrr

mrrrr

LLMOMMMLMM

LLLLLL

MLMMMLMMLLLL

Cada r+j,r+j es irreducible.j-sima clase ergdica. Cada clase ergdica es una cadena irreducible en s misma.Toda cadena reducible eventualmente queda absorbida en una clase ergdica.Si r+j,r+j es primitiva, la cadena llega a un estado estacionario determinado por el vector izquierdo de Perron de r+j,r+j .Si r+j,r+j es imprimitiva, la cadena oscila en la clase ergdica para siempre.

( )

( )

=

=+++

L0LI0

L0LI0I

121

11

121

111

lim

lim

k

k

k

k kL Siempre

Sii todas las submatrices de 22son primitivas


Valor medio y autocorrelacin en la cadena de Markov (t. discretValor medio y autocorrelacin en la cadena de Markov (t. discreto)o)

[ ][ ]

1yxp

xpxp

yyy

x

1p

pppp

TTXnX

nTT

iiinX

n

TNN

TN

Tn

n

n

kTT

nmm

nnpxXEnm

nnpxnpxnpxn

xxx

nnkn

===

====

=

=

=

=

=

=+

)(lim

)0()()()()(

)(lim)()()()(

lim

)(lim)()(

2211

21

LL

( )( ) 222

2

2

222

)()0(

)()(

)(

)()()()(),(

)()(

)()(

)()/(

),()(),(

XXTTTTT

TkTX

XTT

k

kT

Xni

iiT

kT

n

kT

iiji j

ji

i jnnknji

i jnknjiknn

mXECmkRkC

mkR

nmXExnpnnnR

kRn

npkxx

iXPiXjXPxx

iXjXPxxXXEknnR

====

==

==

====

==

==

====

=====+

+

++

x1pyxyx1pIyx1py

x1pyxy

xy

xyxy


Cadenas deCadenas de MarkovMarkov en Tiempo Continuo en Tiempo Continuo

ai

aj

t1 t2

ij(t1, t2)

Puntos de Poisson

Cadena de Markov en tiempo continuo: Los cambios deestado ocurren en los puntos aleatorios Tn.

),(),(),(),()()(

),(

322131

2122

21

tttttttttt

ttTT

=

=

=

pp11

Propiedades bsicas

Cadenas homogneas

)()()(, 2312

=+== tttt

Ecuaciones de Kolmogorov

)0()()()()()(

)()()()()()(

&&&&

tttt

ddt

dtd

tt

=

=+

=

+

=+

)()(

)0()(0

tt

lim

=

+==+

&

&&

Matriz de velocidadde cambio de la probabilidad de transicin

Solucin

t

t

e)0()()0()(e)(

TTT ttt

ppp ===

==

100

010001

)0(

LLLLL

LL

I

Condicin inicial

)()()0()()0()()()0()(

tttttt

TTTT

TT

pppppp

===

=

&&


Ecuaciones de Balance GlobalEcuaciones de Balance GlobalSolucin en estado estacionario

1

0)(cte.)(

=

=

===

1p0p

ppp

T

T

tt

&Sistema de ecuaciones homogneas

Condicin adicionalp

===

==

jijijj

iji

iji

jijjjiji

iiji ppp

01

0

Ecuaciones de balance global

=

jiijiji

jij pp

Flujo de velocidad de probabilidadsaliente de jFlujo de velocidad de probabilidadsaliente de j

Flujo de velocidad de probabilidadentrante a jFlujo de velocidad de probabilidadentrante a j

ii jj

ij

ji

ll

kk


Evolucin de la cadena en tiempo continuoEvolucin de la cadena en tiempo continuo

0p010111

ppp

=

=

=

=

==

=

T

tt

ttt

)()(

e)0()()0()(e)(

t

t

&[ ] [ ]

T

t

Tii

i

tTTii

i

tt

N

Tii

ii

i

Tii

ki

k

TNN

ijjTi

Tii

Ti

iii

ii

ff

1puv1puv

uv

uvIVU

vvVuuUvu

uuvv

=+==

>>>=

=

=

=

==

=

=

=

>

1

21

11

eee

0

)()(

,

L

LL


Valor medio y autocorrelacin en la cadena de Markov (t. continuValor medio y autocorrelacin en la cadena de Markov (t. continuo)o)

( )( )

[ ][ ]

1yxp

xpxp

yyy

x

1p

ppppp

TTXtX

TT

iiiX

t

TNN

TN

T

t

t

TTT

tmm

tttpxtXEtm

ttpxtpxtpxt

xxx

t

tttt

tt

===

====

=

=

=

=

=

==+

=

)(lim

)()0()()())(()(

)(lim)()()()(

)(lim

)(limexp)()()()(

exp)(

2211

21

LL

( )( ) 222

2

2

222

121

112

122121

)()0()()()(

)()(

)())(()()(),(

)(e)()()(

)()(),(

)(),(

))(())(/)((

))(,)(())()((),(

XXTTTTT

TTX

XTT

k

T

Xi

iiT

TT

n

T

iiji j

ji

iiji j

ji

i jji

i jji

mXECmRC

mR

tmtXExtptttR

Rt

tpxxtR

tpttxx

itXPitXjtXPxx

itXjtXPxxtXtXEttR

====

==

==

====

===

==

==

====

=====

x1pyxyx1pIyx1py

x1pyxy

xy

xyxyxy


Ejemplo : Proceso de PoissonEjemplo : Proceso de Poisson

=+=

=

==

====

LLLLLLL

&

LLLLLLLLL

000

0

)0(

ee00!2/e)(ee0

!2/e)(ee

e)!(

)(]],0[en puntos [

])0(/)([)(

t

t2t

t2t

t

t

tttt

ijttijP

iXjtXPt

t

t

t

ij

ij Otra forma de obtener la matriz ::::

+

===

==+==

==

==>=====

e1)(][

])0(/1)([)(

e)(1

][1][])0(/)([)(

1

1

1

1,

11

T

ii

T

ii

FTP

iXiXP

F

TPTPiXiXP

==

==

++ )0()0(

1,1, iiii

iiii

&&

Solucin de )()( tt pp =&

t1

11101

000

e!)()()()()(

e)()(e)()()(

e)()()(

==

===

==

nttptptptp

ttptptptptp

tptptp

n

nnnn

tt

t

&

L&&

]001[)0( L=p Condicininicial


Ejemplo : Seal binaria aleatoriaEjemplo : Seal binaria aleatoria

-aa

b-b10

Puntos de Poisson

[ ] [ ][ ] [ ]

[ ][ ]

+=

+=

=+

=

=

=

+

+

+

++

+

=

==

=

=====

=====

++

++

baap

babp

ppbpap

baba

bab

baa

baab

bbaa

PXXPPXXP

T

T

tbatba

tbatba

t

bb

aa

b

a

1

0

10

10

)()(

)()(

10

01

11

ee1

e1e

e

)0(

ee1e1e

)(

e1]`[0,en punto 11)0(/0)()(

e1]`[0,en punto 10)0(/1)()(

1p0p

&

[ ]

( )

)(22

)(2

2

e

ee)(

))((

0

10

baXX

batT

T

T

T

mba

abba

aR

baatXE

baa

baa

bab

+

+

+=

++

+==

+==

+

=

++

=

=

xy

xp

y

p

x


Clientes atendidos de a uno por vez en orden de llegadaTiempo entre arribos distribuido exponencialmente con parmetro .Tiempo de servicio de un cliente distribuido exponencialmente con parmetro .

Ejemplo: Cola M/M/1 (1)Ejemplo: Cola M/M/1 (1)

)()(1eeee

])[0,en partida 1y arribo 1(])[0,en partida 0y arribo 0(

))0(/)(()()(e)()] en[0, partida 1(

))0(/1)(()()(!2/e)()][0,en arribo 2(

))0(/2)(()()(e)()][0,en arribo 1(

))0(/1)(()(

1,

2

2,

1,

o

PPjXjXP

oP

jXjXPoP

jXjXPoP

jXjXP

jj

jj

jj

jj

+++=

=++=

====

+==

====

==

==+==

+==

==+==

+

+

L

,...2,10)(00

)(0)(

0

)0(

11

10

==++

==+

=

+

+

==

+ jpppjpp

jjj

0p

LLLLLLL

&

,...2,1)(0

11

01

=+=+

==

+ jpppjpp

jjj

Flujo entrante Flujo saliente


Ejemplo: Cola M/M/1 (2)Ejemplo: Cola M/M/1 (2)

00 11 jj22 j+1j+1

111

10 0cte.1cte.

0+

+

=

===

jjjjjj

ppjpppp

pp

,...2,1)(

0

11

01

=+=+

==

+ jpppjpp

jjj

jj

j j

jj

nj

jjj

pppp

pp

ppp

)1(1

1

)/(

0

0

00

0

11

=

===

=

==

=

=


NjppNjppp

jpp

NNNN

jjjjjjj

==

=+=+

==

++

1- ,...,2,1)(0

11

1111

0011

Transiciones limitadas a estados adyacentes.Los arribos ocurren como un proceso de Poisson de tasa . Los tiempos entre arribos son vv.aa. exponenciales iid con media 1/ .El tiempo entre desapariciones est distribuido exponencialmente con media 1/ .


Solucin de las ecuaciones de balance global

00 11 jj22 j+1j+10 1 2 j-1 j N-1

1 N2 3 j j+1NN

NjppNjcteppp

jpp

NNNN

jjjjjjj

==

===++

==

++

0

1- ,...,2,10.)(00

11

1111

0011

0

1

1

01

1 ppp i

ii

i

ii

ii

ii

=

=

==

Ejemplo: Proceso de Nacimiento y Muerte GeneralEjemplo: Proceso de Nacimiento y Muerte General


Modelo para voz en paquetes.Duracin del intervalo de silencio: fdp exponencial, 1/ = 600 mseg.Duracin del intervalo de habla: fdp exponencial, 1/ = 400 mseg.

=

=

=

=

==

==

N

ii

ii

i

ii

i

ii

ii

ii

p

iiN

ppp

0

0

1

1

01

1

1

,)(

Ejemplo: Proceso deEjemplo: Proceso de PoissonPoisson Modulado porModulado por MarkovMarkov (MMPP)(MMPP)

00 11 jj22 j+1j+1 (1) (j)

N2 (j+1)NN

110

0101

=+

==

pp

pppp

4.0

6.0

1

0

=

+=

=

+=

p

p

Modelo para una fuente nica

00 11

hablasilencio

V paquetes/seg

Modelo para N fuentes

( )2)var(

)(

1

+=

+=

+

+

=

+

=

Ni

NiE

iN

iN

piNiNi

i

Probabilidad que i fuentes entre N estn activas

Nmero medio de fuentes activas


Aplicacin: Multiplexado Estadstico de VozDescribe el comportamiento de multiplicadores de tramas (DCME).Prxima generacin de DCME soportada por AAL2.Duracin del intervalo de silencio: fdp exponencial, 1/ = 600 mseg.Duracin del intervalo de habla: fdp exponencial, 1/ = 400 mseg.

Ejemplo : Modelo MMPP del multiplexado estadstico de voz (1)Ejemplo : Modelo MMPP del multiplexado estadstico de voz (1)

10

1

10

01

)var()(

4.0,6.0

pNpiNpiE

pp

ppiN

iN

p iNiiNi

i

=

=

=

+==

+=

=

+

+

=

Probabilidad que i fuentes

entre N estn activas

N fuentesde voz

Capacidad del canal:C canales de voz

equivalentes

MUXEstadstico

kNkN

k

kNkN

k

ppkn

CkNp

pCNF

CkCkCk

kr

ppkn

kr

pCNF

=

=

=

>

=

=

=

)1()(1),,(

0)(

)1()( recortado trficode Promedio

total trficode Promediorecortado trficode Promedio),,(

011

0

1


N fuentesde voz

Capacidad del canal:C canales de voz

equivalentes

MUXEstadstico

kNkN

kpp

kn

CkNp

pCNF =

= )1()(1),,(01

1

Freeze Out Fraction

Freeze Out Fraction

0

5

10

15

20

25

30

0 10 20 30 40 50 60

Nmero de Fuentes de Voz (N)

C

a

p

a

c

i

d

a

d

d

e

l

C

a

n

a

l

(

C

)

0.1 %0.5 %1.0 %5.0 %10.0 %

Ejemplo : Modelo MMPP del multiplexado estadstico de voz (2)Ejemplo : Modelo MMPP del multiplexado estadstico de voz (2)


Aplicacin: Multiplexado Estadstico de DatosCaracterizacin de una fuenteDuracin del intervalo OFF: fdp exponencial, 1/ = tOFF.Duracin del intervalo ON: fdp exponencial, 1/ = tON.Burstiness: vel. pico/vel. promedio.

Ejemplo : Modelo MMPP del multiplexado estadstico de datos (1)Ejemplo : Modelo MMPP del multiplexado estadstico de datos (1)

N fuentes Capacidad del canal:C canalesVelocidad del canal: rC

MUXEstadstico

rprm

Entradas

rc

Rfaga perdida o retrasada

1///

/1//)(

)(1)(1

1

1

0

>==

=

=

==

==

===

NrNrGrrCCNG

prrbrrpONP

ONPrtrT

dttrT

r

cppc

mp

pm

pi

ONip

T

m

Probabilidad de actividad de la fuente

Burstiness

Ganancia de multiplexado estadstico

Se debe cumplir la condicin de estabilidad:

1


Probabilidad que i fuentes entre N estn activas

/4)1(21

21

/110

/1)1(

)()1()var(

)(

,

121

1

111

111

11

1

10

01

+

=

+=

=

+

=

=

=

+=

+=

=

+

+

=

pp

Np

NppNp

CpNpNpC

QPpNpi

NpiE

pp

ppiN

iN

p

L

iNiiNi

i

Probabilidad de prdida

Nmero de canales para la prob. de prdida PL

Np1

)1( 11 pNp

i

pi

CAproximacin gaussiana a la distribucin binomial

Throughput normalizado

[ ]1

2

112

1

)/(

1/4)1(4

Gpr

Grr

rrGrr

NrS

ppp

NG

p

m

c

mpc

c

m====

+==



[ ]21121

1/4)1(4

ppp

NG +== 1

)/(Gp

rGr

rrrGr

rNrS

p

m

c

mpc

c

m====

Ganancia de Multiplexado Estadstico

0.002.004.006.008.00

10.0012.0014.0016.00

0 0.05 0.1 0.15 0.2 0.25 0.3

Relacin vel. pico/vel. enlace

G

a

n

a

n

c

i

a

b=2b=4b=6b=8b=10b=12b=14b=16b=18b=20

Throughput Normalizado

0.000.100.200.300.400.500.600.700.800.90

0 0.05 0.1 0.15 0.2 0.25 0.3

Relacin vel. pico/vel. enlace

T

h

r

o

u

g

h

p

u

t

b=2b=4b=8b=12b=16b=20


Prob. prdida = 10-6


Ganancia de Multiplexado Estadstico

0.00

5.00

10.00

15.00

20.00

25.00

30.00

0 0.2 0.4 0.6 0.8 1Relacin vel. pico/vel. enlace

G

a

n

a

n

c

i

a


b=32

16

24

12

62

N=30

25

10

15

20

[ ]

NG

ppp

G

=

+=2

112

1

1/4)1(4

Prob. prdida 10-2Solucin simultnea de las ecuaciones


Utilidad de los modelos de MarkovUtilidad de los modelos de Markov

El modelo de Poisson es apropiado si hay un gran nmero de usuarios similares e independientes.

Si se combinan n procesos de arribos iid, no necesariamente Poisson de tasa /n,

La tasa de arribos del agregado es . El proceso agregado se aproxima a un

proceso de Poisson de tasa cuando n en condiciones bastante amplias.

PASTA: Poisson Arrivals See Time Averages

La distribucin exponencial no tiene memoria.

Lo que ocurre despus del tiempo t es independiente de lo que ocurri antes de t.

El conocimiento del pasado no sirve para predecir el futuro.

Para los tiempos de servicio:P(s>r+t / s>t) = P(s>r)

El tiempo adicional necesario para completar el servicio del cliente que est siendo atendido, es independiente de cundo comenz el servicio.


Teora de ColasTeora de Colas

Teorema de Little Cola M/M/1 Cola M/M/1/K Cola M/M/c. Frmula Erlang-C Cola M/M/c/c. Frmula Erlang-B Cola M/M/N/N/N


IntroduccinIntroduccin

Teora de Colas: Tipos de problemas y soluciones. Introduccin a las colas de espera. Fundamentos: Probabilidad, estadstica, procesos

aleatorios.


Tipos de problemas y soluciones (1)Tipos de problemas y soluciones (1)

El modelo de una cola de espera generalmente se usa para representar un sistema de recursos compartidos.

Usuario 1Usuario 1

Usuario NUsuario N

Recursos compartidosRecursos compartidos


Tipos de problemas y soluciones (2)Tipos de problemas y soluciones (2)Flujo entrante Flujo salienteServidorColaClientes que arriban Lnea de espera Cabeza de lnea Clientes atendidos

Bloqueo, prdida o desborde

Concepto bsico:Los clientes llegan para ser atendidos. Si todos los servidores estn ocupados, el cliente espera en la cola y es atendido despus.Parmetros: tasa de arribos, velocidad de atencin, nmero de servidores, capacidad de la cola...Medidas: tiempo de espera, utilizacin de los servidores, tamao de la cola, probabilidad de rechazo...


Ejemplos Ejemplos

ServidorClientesSistema

Web serverRequerimientos de clienteServicios Web

Medio (FO, UTP, RF)Paquetes o tramasRed de acceso mltiple (LAN, LAN inalmbrica)

CanalesLlamadasConmutador de circuitos

Enlace de comunicacionesPaquetes o celdasMUX estadstico

CPU, disco, dispositivos I/O, bus...

Programas o procesosProcesador


Objetivos y mtodosObjetivos y mtodos

Predecir la performance del sistema.

Determinar cmo 9 Dimensionar el sistema (ancho de

banda)9 Controlar la entrada

para obtener la performancerequerida, en trminos de:9 Grado de servicio (GoS)9 Retardo

Anlisis de un modelo matemtico.

Simulacin.

Medicin de sistemas reales.

Objetivos Mtodo


FactoresFactores

Bsicos Tasa de arribos. Tiempo de servicio. Nmero de servidores. Longitud mxima de la cola (tamao del buffer).Otros Tamao de la poblacin. Disciplina de servicio (FCFS, LCFS, prioridades, vacaciones). Modelo de carga de trabajo (trfico). Comportamiento del cliente: Desistir, abandonar, ...


Modelos de trficoModelos de trfico

Voz

Video CBR

Datos en paquetes

Imgenes

Video VBR

Dificultad del modelo

Modelos de trfico

Dependencia de corto alcance

Dependencia de largo alcance

PoissonModelos de regresin

F-ARIMA (Fractional AutoRegressive Integrated Moving Average)FBM (Fractional Brownian Motion)...


Tasa de arribosTamao del Buffer

Tasa de servicio

Paquetes/seg

= R/8LPaquetes/seg

B paquetesL bytes/paquete

Velocidad de TransmisinR bits/seg

Modelo de Modelo de switchswitch o de o de routerrouterLink

Port Port

Router / Switch Router / Switch


Componentes del RetardoComponentes del Retardo

Procesamiento:Tiempo desde que el paquete es recibido hasta que se le asigna un enlace de salida.

Cola: Tiempo desde que al paquete se le asigna un enlace de salida hasta que comienza la transmisin (tiempo de espera).

Transmisin:Tiempo entre la transmisin del primer bit y el ltimo bit del paquete.

Propagacin: Tiempo desde que el ltimo bit es transmitido por la fuente hasta que el ltimo bit es recibido por el receptor.

Dependen de la carga de trfico y el tamao de los paquetes


Tipos de ColasTipos de Colas

A / S / M / K / N / QA / S / M / K / N / QDisciplina de servicio:FIFO, LIFO, prioridad,...

Tamao de la poblacin.Puede ser finito o infinito.

Tamao mximo de la cola,longitud del buffer o capacidad de almacenamiento.Nmero de servidores

Distribucin del tiempo de servicio:M: exponencial (Markov)D: determinstica (constante)G: General

Distribucin del tiempo entre arribos:M: exponencial (Markov)D: determinstica (constante)G: General

Notacin de Kendall


Teora de ColasTeora de Colas

Teorema de Little Cola M/M/1 Cola M/M/1/K Cola M/M/c. Frmula Erlang-C Cola M/M/c/c. Frmula Erlang-B Cola M/M/N/N/N


Teorema deTeorema de LittleLittle

T1

T2

Tk

A(t): arribos

D(t): partidas

N(t)=A(t)-D(t): nmero de clientes en el sistema t

tT

Tk

TA

kk

T TA

kkT

T TA

kk

TTTAT

TATTAT

TdttN

TtN

TdttN

)()(

1)(1)(1)(

)(

)(

10

)(

1

0

)(

1

====

=

==

=

TTTA )( =

TkTT TtN )( =

)()( TENE =

Nmero medio de clientesen el sistema

Tasa de arribos

Tiempo medio depermanencia en elsistema


Teorema deTeorema de LittleLittle: Aplicacin: Aplicacin

Little means a lot!)()(

)()(

TENEWENE q

=

=

Flujo entrante Flujo salienteServidorCola

TTiempo en el sistema

o retardo

Clientes que arriban Lnea de espera Cabeza de lnea Clientes atendidos

clientes/seg Tiempo medio de servicio:E(S) = 1/ seg/cliente

Nqclientes en la cola

WTiempo de espera

en la cola

STiempo de

servicioN

clientes en el sistema

+=

=+=

+=

+=

)(

/)()(/1)()(

q

q

NENENEWETE

SWT

=

=

+=+=

===

11

/1)(

/1)(/1)()()(/)()/1)(()(

TE

TEWETETETENEWE

++E(W)

E(T)1/


Tipos de ColasTipos de Colas

A / S / M / K / N / QA / S / M / K / N / QDisciplina de servicio:FIFO, LIFO, prioridad,...

Tamao de la poblacin.Puede ser finito o infinito.

Tamao mximo de la cola,longitud del buffer o capacidad de almacenamiento.Nmero de servidores

Distribucin del tiempo de servicio:M: exponencial (Markov)D: determinstica (constante)G: General

Distribucin del tiempo entre arribos:M: exponencial (Markov)D: determinstica (constante)G: General

Notacin de Kendall


Cola M/M/1 (1)Cola M/M/1 (1)

00 11 jj22 j+1j+1

,...2,1)(0

11

01

=+=+

==

+ jpppjpp

jjj

Sistema de un nico servidor.Clientes atendidos de a uno por vez en orden de llegada.Los clientes arriban como un proceso de Poisson de tasa . Los tiempos entre arribos son vv.aa. exponenciales iid con media 1/ .Tiempo de servicio de un cliente distribuido exponencialmente con media 1/ .El sistema puede acomodar un nmero ilimitado de clientes.


Solucin de las ecuaciones de balance global

s

ss

qq

N

jj

NPpP

SNNE

SWNNE

SSSSTWWE

SENETTE

NNNE

jtNPp

=

=

====

=

===

=

===

=

=

=

===

==

==

===


Cola M/M/1 (2)Cola M/M/1 (2)

E(N) E(T)

=

1)(NE

=

=

1/1

1)()( SETE

0

5

10

15

20

0 0,2 0,4 0,6 0,8 10

5

10

15

20

0 0,2 0,4 0,6 0,8 1


Aplicacin: Multiplexado de trficoAplicacin: Multiplexado de trfico

FDM, TDM Estadstico

Capacidad de transmisin del canal: C bit/seg.M flujos de trfico de Poisson de tasa /M comparten el canal.Longitud de paquetes distribuida exponencialmente con media L.

/M

/M

/M

C/M

C/M

C/M

/M

/M

/M

C

Retardo de transmisin del canal

=

=

==

MMM

T

MLMC

i

//1

/

CL

=

1

=

=

1T

LC

Los paquetes de cada flujo se combinan en una sola cola y se transmiten con un ordenamiento FCFS.

Se crean M canales separados, cada uno de capacidad C/M.En FDM, el retardo de transmisin es ML/C.En TDM, el retardo de transmisin es ML/C si el paquete es mucho ms largo que 1 TS. Si L = 1 TS, el retardo de transmisin es L/C, pero debe esperar (M-1) tiempos de TS entre transmisiones.

Un paquete tarda M veces ms en la cola y en ser servido en TDM o FDM, que en multiplexado estadstico.Sin embargo, lavarianza del retardo es menor en TDM o FDM.TDM y FDM malgastan capacidad del canal cuando un flujo no tiene trfico, pero eliminan la necesidad de identificar a qu flujo pertenece cada paquete.

Un paquete tarda M veces ms en la cola y en ser servido en TDM o FDM, que en multiplexado estadstico.Sin embargo, lavarianza del retardo es menor en TDM o FDM.TDM y FDM malgastan capacidad del canal cuando un flujo no tiene trfico, pero eliminan la necesidad de identificar a qu flujo pertenece cada paquete.


Cola M/M/1/K (1)Cola M/M/1/K (1)Cola M/M/1 con capacidad finita. El sistema puedecontener hasta K clientes. Los que llegan cuando el sistema est lleno, son devueltos.

00 11 K-1K-122 KK

KjppKjppp

jpp

KK

jjj

==

=+=+

==

+

1

11

10

1.,2,1)(0

L

Kjppp

pppj

KjKK

jj

jjj

,,01

1

111 1

1

00

01

L=

=

==

==

++

=

0 K KK 00

1pjpj

pj

K

K

K

K

BA

K

K

KAA

BBA

BB

KKKB

K

K

KP

NENETE

pSENE

SENEP

P

pKNPP

KNE

+

=

==

===

==

==

=

====

+

=

+

+

+

+

+

+

11

1)1(

111

)1()()()(

111)1()()(

)()()1(

11)(

1)1(

1)(

1

1

1

1

1

1

Probabilidad de bloqueo

Tasa efectiva de arribos

Carga ofrecida

Carga satisfecha

Tasa de rechazos


Cola M/M/1/K (2)Cola M/M/1/K (2)

11 11

11

++

=

= K

K

K

K

A

K

K

K

KKTE

+

=

+

+ 11

1)1(

111)(

1

1

A/ E(T)

/)( AANE =

0

2

4

6

8

10

0 0,5 1 1,5 20

0,2

0,4

0,6

0,8

1

0 0,5 1 1,5 2

K=2

K=10 K=10

K=2


Ejemplo: Dimensionamiento de un Ejemplo: Dimensionamiento de un bufferbuffer

)1(

11)( 1

BBA

BB

KKKB

PP

pKNPP

==

=

====+

Probabilidad de "overflow"

1,00E-10

1,00E-09

1,00E-08

1,00E-07

1,00E-06

1,00E-05

1,00E-04

1,00E-03

1,00E-02

1,00E-01

1,00E+00

0 20 40 60 80 100 120 140 160 180 200

Tamao del buffer

P

(

o

v

e

r

f

l

o

w

)

0.50.70.80.9

Capacidad del buffer requerida

0

20

40

60

80

100

120

140

160

180

200

0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0

Carga ofrecidaC

a

p

a

c

i

d

a

d

= 0.9

0.7

0.8

0.5


Cola M/M/c (1)Cola M/M/c (1)El nmero de servidores es c. La tasa de partidas es k cuandok servidores estn ocupados, pues:

>=

=>=>

=

ckcckk

tTPtTPtTTminPtTP

TTT

kk

k

k

partidas de tasaocupados servidoresk

eee

)()(]),,([)(

),min( partida prxima la hasta tiempoocupados servidoresk

ttt1

1

1

LL

LL

00 11 c-1c-122

2 3 (c-1)cc

cc+1c+1

c c

1)(,,1)()1(

0

11

11

10

++=+=+=++

==

+

+

cjpcpcpcjpjpjp

jpp

jjj

jjj

L

1///

11

!!

1!

,,0!

11

00

0

0


Cola M/M/c (2)Cola M/M/c (2)

aNEWETENE

acacCSEWETE

acacC

cacCNEWE

acCpcjpcjNE

ca

ja

caacC

acCppcNPWP

q

q

cjc

cj

cjjq

c

j

cjc

cj

cc

cj

+=+==

+

=+=

=

==

===

+

=

=

===>

=

=

=

=

)()()()(

1)(

),()()()(

)(),(),()()(

),(1

)()()(

11

!!!11),(

),(1

)()0(

11

0

Probabilidad de encontrar todos los c servidores ocupados y tener que esperar en la cola: frmula Erlang C.

Nmero medio de clientes en la cola.

Tiempo medio de espera en la cola.

Tiempo medio total en el sistema (retardo).

Nmero medio de clientes en el sistema.


Frmula ErlangFrmula Erlang--CC

11

0 11

!!!11),(

=

+

= cj

cjc

ca

ja

caacC

Probabilidad de encontrar todos los c servidores ocupados y tener que esperar en la cola: frmula Erlang C.


Frmula ErlangFrmula Erlang--C: Tiempo de espera C: Tiempo de espera

)(),(),()()(

acacC

cacCNEWE q

=

==


Ejemplo: Ejemplo: Call CenterCall CenterEjemplo

Un call center recibe 600 llamadas por hora, con una duracin media de 3. El operador trabaja durante 20 despus de cada llamada. Se quiere que el tiempo medio de espera sea 20. Obtener el nmero de operadores necesario.

a = (600/3600) (360+20) = 33.33 ErlangE(W) = 20/(360) = 0.111 (Tiempo de espera normalizado)E(W) =C(c,a)/(c-a)0.111 = C(c,33.33)/(c-33.33) c = 36 operadores.


Ejemplo: Retardo en acceso DVBEjemplo: Retardo en acceso DVB--RCSRCS

DVB-S BASIC ACCESS PROFILE BA1 BA2 BA3 BA4 BA5 BA6 BA7 BA8Forward max (Kbps) 256 256 256 512 1024 2048 4096 4096Forward min (Kbps) 8 16 32 64 128 256 512 1024Return max (Kbps) 16 32 64 128 256 512 1028 1028Return min (Kbps) 2 4 8 16 32 64 128 256Unav/month (%) 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1Activity MBH (%) 20 20 20 25 25 25 30 30

Internet access (browsing) Assumptions:Users: 1000Internet usage/month/user 20 hDay-to month ratio 1/20BH-to-day ratio 1/10

Pages/session 36Page size 50 KbytePage delivery time 2 secPage view time 60 secMean upstream packet length 80 ByteMean downstream packet length 560 ByteSimultaneous session in BH 100 i.e. 10 % usersProtocol: TCP/IP with 560 bytes/OB packet and 80 bytes/IB packet.

Qty. UnitPeak dnstream thput in BH/user 200.0 Kbit/sPeak upstream thput in BH/user 28.6 Kbit/s

Session duration 37.2 sec Pag/session *(2+60)/60Mean thput/user 6.5 Kbit/s PageSize*8/(2+60)

Mean upstream thput in BH 92.2 Kbit/s Mean dnstream thput*80/560Mean dnstream thput in BH 645.2 Kbit/s MeanThput/user*10 users

Upstream packets in BH 147.5Dnstream packets in BH 147.5 (50*1024/560)*10/(4+60)

Trfico elstico NRT - transferencia de archivos. Proceso de arribo de archivos: Poisson con tasa .(archivos/seg) Tamao medio de archivo: L (bits) Max. Bitrate de una terminal: rb (bit/seg) Ancho de banda (capacidad total) disponible: C (bit/seg). Objetivo: Garantizar un tiempo medio de transferencia E(T), o bien un determinado throughput promedio L/E(T) para

todas las transacciones.

Downstream UpstreamL Byte 560.0 80.0

bits 4,480.0 640.0rb Kbit/s 256.0 32.0 paq/s 57.1 50.0 paq/s 147.5 147.5a Erlang 2.6 2.9

40.159.2

)9.2,(3.09.2

)9.2,(10.50

1)(

:Upstream

41.166.2

)6.2,(3.06.2

)6.2,(11.57

1)(

:Downstream/,/,/

),(111)(),()()()(

=

Documents

El Amigo Markov