L12-TFA Catene di Markov nuovi lucidi - 160.80.86.174160.80.86.174/wordpress/wp-content/uploads/2015/11/L12-TFA-Catene... · SISTEMI CASUALI DINAMICI (PROCESSI) - UN ESEMPIO: I GUASTI

Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13

Docente Prof. Gaspare Galati

Catene di Markov SISTEMI CASUALI DINAMICI (PROCESSI) - UN ESEMPIO: I GUASTI “Frequenza” dei guasti:

0 T

0 T

N GUASTI

Δ

TN

=λ

∆!

•



Catene di Markov SISTEMI CASUALI DINAMICI (PROCESSI) - UN ESEMPIO: I GUASTI

• Campionando il tempo con il passo Δ :

Regolare Guasto

P G( )

11- ( )P G

(Sistema non soggetto a manutenzioni)



Catene di Markov SISTEMI CASUALI DINAMICI (PROCESSI) - UN ESEMPIO: I GUASTI

Regolare Guasto

P G( )

P M( ) 1-P(M)

1- ( )P G • : probabilità che il sistema sia riparato nell’intervallo successivo al guasto.

1- ( )p G 0.99

G

=

G

R

R p G( ) 0.01

p M( ) 0.85 -p(M)1 0.15

P : MATRICE DELLE PROBABILITA’ DI TRANSIZIONE : vettore di stato = [ ]x x R GT



Esempio: SATELLITI e GUASTI

C: in funzionamento corretto

L: in guasto a lungo termine

B: in guasto a breve termine

M: in manovra

C B

B

B

L L

L

M

M

M

q

q

qp p

p

q



Catene di Markov – Premessa

PROCESSI STOCASTICI X(t)

TEMPO-CONTINUI (“A PARAMETRO

CONTINUO”

TEMPO-DISCRETI: t è un insieme di

valori discreti - esempio:

A valori continui

A valori discreti o “STATI”:



Catene di Markov – Cenni Storici

Le catene di Markov sono particolari processi a valori discreti, o

“stati”, introdotti da Andrei A. Markov (1856‐1922), allievo di

Tschebyshev. Il loro studio si è diffuso dalla metà del Novecento

per le applicazioni ai Sistemi fisici, biologici, sociali, economici in

cui le probabilità di un evento dipendono dal risultato

immediatamente precedente.



Catene di Markov • Un particolare tipo di processo a valori discreti è costituito

dalle catene di Markov, in cui il processo può assumere un

valore (lo stato del processo) all’interno di un dato insieme

finito o numerabile.

• Il processo è definito mediante le probabilità di passare da uno

stato ad un altro (probabilità di transizione).



Catene di Markov tempo-discreto

La sequenza di variabili aleatorie: 1 2X ,X ,... forma una

catena di Markov tempo‐discreta se per ogni n (n = 1, 2,…) e

per tutti valori possibili delle variabili aleatorie 1 2X ,X ,... si

ha:

n 1 1 2 2 n 1 n 1

n n 1 n 1

P X j X i ,X i ,...,X i

P X j X i− −

− −

⎡ ⎤= = = = =⎣ ⎦⎡ ⎤= = =⎣ ⎦

cioè se la probabilità che lo stato del processo all’istante n sia

j dipende solamente dallo stato all’istante precedente n‐1.



Catene di Markov omogenee Una catena di Markov è omogenea se le probabilità di transizione

(passaggio da uno stato ad un altro) sono costanti (non

dipendono dal tempo).

Nel seguito consideriamo il caso omogeneo.



Catena di Markov tempo-continua

Un processo ( )X t a valori interi non negativi è una catena di

Markov tempo‐continua se, per ogni s:

( ) ( ) ( ){ }( ) ( ){ }

P X t s j X t i, X l

P X t s j X t i

+ = = μ = =

= + = = 0 t≤ μ <

s

0 μ t t+s tempo



Esempio di una catena di Markov a 4 stati (A,B,C,D)

A B

CD

0.30.3

0.9

0.1

0.2

0.8

0.4

. . .

. .. .

0 3 0 3 0 4 00 0 0 1 0 90 8 0 0 0 20 0 0 1

⎡ ⎤⎢ ⎥⎢ ⎥=⎢ ⎥⎢ ⎥⎣ ⎦

P Matrice di transizione

1



La Matrice di Transizione • La somma delle probabilità di transizione da un generico stato

verso tutti gli altri e verso se stesso deve essere pari ad 1:

N

ijj 1

P 1 i=1,2,3,...,N=

=∑

essendo N il numero di stati del processo.

• Una matrice con queste caratteristiche (somma unitaria degli

elementi di ogni riga) è detta stocastica.

• Equivalentemente:

P u = u con u =[1,1...1]T



Esempio: Contatore

0 1 1 0t

1 2 M

FINESTRA NEL TEMPO



Esempio: Contatore (segue)

L L M0 1 11 2

q q q q

p p p

Esempio: M = 1000, L1 = 480, L2 = 520

1 ···

NB: = probabilità dello stato j

qqp

ppq

0

00

0 1

P =



La Matrice di Transizione a 2 passi

( )N

2ij ik kj

k 1

P P P=

=∑

La matrice delle probabilità di transizione a due passi ( )2P ,

costituita da tutti gli elementi ( )2

ijP , si ottiene come prodotto

(righe x colonne) delle matrice delle probabilità di transizione

per se stessa:

( )2 2= ⋅ =P P P P



La Matrice di Transizione a n passi Per la generica probabilità di transizione a tre passi:

( ) ( )N

3 2ij ik kj

k 1

P P P=

=∑

( ) ( )3 2 2 3= ⋅ = ⋅ =P P P P P P

Più in generale, indicando con ( )n

ijP :

( ) { }nij n m mP P X j X i+= = =

La matrice ( )nP di elementi ( )n

ijP si ottiene moltiplicando P

per se stessa n‐1 volte:

( )n n=P P



La Matrice di Transizione

• Le espressioni utilizzate del tipo:

( ) ( ) ( )N

n m n mij ik kj

k 1

P P P+

=

=∑

sono chiamate equazioni di Chapman‐Kolmogorov.

• Per ricavare le probabilità degli stati del processo

all’istante n occorre conoscere le probabilità dello stato

iniziale.



Probabilità degli Stati all’istante n

Se si dispongono delle probabilità iniziali (i 1,2,...,N= ):

}{i 1P X iα = =

le probabilità degli stati all’istante n si ottengono mediante il

Teorema della Probabilità Totale:

{ } { } { } ( )N N

nn 1 n 1 i ij

i 1 i 1

P X j P X i P X j X i P= =

= = = ⋅ = = = α∑ ∑



Probabilità degli Stati all’istante n

Se il vettore (trasposto) delle probabilità di stato è:

( ) }{ }{ }{, ,...,Tn

n n nx P X 1 P X 2 P X N⎡ ⎤ ⎡ ⎤= = = =⎣ ⎦⎣ ⎦

si ha:

( ) ( )T Tn n 1x x −⎡ ⎤ ⎡ ⎤= ⋅⎣ ⎦ ⎣ ⎦ P

e quindi:

( ) ( ) ( )T Tn 1 nx x⎡ ⎤ ⎡ ⎤= ⋅⎣ ⎦ ⎣ ⎦ P



Il concetto di Raggiungibilità

• Uno stato j è raggiungibile da uno stato i se esiste almeno

un istante n tale che ( )n

ijP 0> .

• Un insieme C di stati si dirà chiuso se da stati appartenenti

a C non è possibile raggiungere stati esterni a C.

Nella matrice delle probabilità di transizione:

ijP 0= i C, j C∀ ∈ ∀ ∉ .



STATI RICORRENTI E TRANSITORI

• Lo stato è transitorio se esiste uno stato

raggiungibile da , mentre non è raggiungibile da .

• Lo stato è ricorrente se:

cioè, se non è transitorio.



Il concetto di Stato Assorbente • Se l’insieme C è costituito da un singolo stato, questo si

chiama assorbente. Per il generico stato assorbente si ha quindi:

iiP 1= ijP 0= j i∀ ≠

A

B C

DE 1 p

Uno stato assorbente è transitorio.

La figura mostra una Catena di Markov con un insieme chiuso (B,

C, D) ed uno stato assorbente E.



Catena di Markov Regolare

• Se esiste un numero finito m tale che in m passi tutti gli

stati sono raggiungibili a partire da qualsiasi stato, cioè:

( )mijP 0> i, j∀ ∀

la catena viene detta regolare.

• Per una catena regolare esiste quindi almeno una potenza

della matrice delle probabilità di transizione i cui elementi

sono tutti non nulli.



Teorema di Markov Ci sono condizioni sotto le quali le probabilità di stato

convergono al passare del tempo (esistono finiti i limiti):

{ }nnlim P X j j 1,...,N→∞

= =

Tali condizioni sono date dal Teorema di Markov:

Se la catena è regolare (cioè esiste un m tale che ( )m

ijP 0> i, j∀ ∀ ), allora esistono delle quantità jπ tali che:

( )nij jn

lim P→∞

= π , ,...,i 1 2 N∀ =



Vettore Limite delle Probabilità di Stato

Le probabilità di stato jμ , per n che tende ad infinito, a

partire dallo stato iniziale i‐esimo avente probabilità iα

i 1,2,...,N= , si ottengono dalle relazioni:

( ) { } ( )

( )

Nnn

j n i ijn n ni 0

N N Nn

i ij i j j i jni 0 i 0 i 0

lim x lim P X j lim P

lim P

→∞ →∞ →∞=

→∞= = =

= μ = = = α =

= α ⋅ = α π = π α = π

∑

∑ ∑ ∑

cioè sono uguali alle probabilità limite di transizione.



Vettore Limite delle Probabilità di Stato

Il vettore limite delle probabilità di stato π deve essere, per

le sue caratteristiche, invariante, cioè tale che (in virtù della

relazione già vista ( ) ( ) ( )T Tn 1 nx x⎡ ⎤ ⎡ ⎤= ⋅⎣ ⎦ ⎣ ⎦ P ) sia:

T TPπ ⋅ = π

π può essere determinato risolvendo il sistema di equazioni

lineari corrispondente a questa relazione di invarianza.



ESEMPIO DI VETTORE LIMITE

1-p

;P = x =x

x

p

M M

G G

p -p1

1

2

Con

Risolvendo

G Gcioè



Applicazioni

• Processi di Nascita e Morte

• Teoria delle file di attesa (teoria delle code)

• Molte altre

Documents

L12-TFA Catene di Markov nuovi lucidi - 160.80.86.174160.80.86.174/wordpress/wp-content/uploads/2015/11/L12-TFA-Catene... · SISTEMI CASUALI DINAMICI (PROCESSI) - UN ESEMPIO: I GUASTI