Teoria Evolutionista a Jocurilor cu Aplicatii in Modele de Concurenta

Teoria Evolutionista a Jocurilor cu Aplicatii in Modele deConcurenta Oligopolistica

Marius Ochea (THEMA, Université de Cergy-Pontoise)

Timisoara, 27 Aprilie 2016

Marius Ochea, THEMA, UCP () Teoria Evolutionista a Jocurilor Timisoara, 27 Aprilie 2016 1 / 43

Teoria clasica (rationala) a jocurilor

modelare matematica a procesului de luare a deciziilor de catrejucatori rationali intr-un mediu interactiv (strategic)

rationalitate: anticipatii ’rationale’asupra comportamentuladversarului+reactie optimala la aceste anticipatii

1 anticipatii rationale: anticipatii care se dovedesc corecte in echilibru2 reactie optimala: alegerea strategiei (ilor) care maximizeaza functia decastig (utilitate/profit) pornind de la anticipatii formate rational

echilibrul Nash: un profil de strategii in care fiecare jucator alege un"cel mai bun raspuns" (best-reply) tinand cont de anticiparea corectaa strategiei oponentului


Exemplu: joc de coordonare

I/II T M BT 1− ε, 1− ε 0, 0 0, 0M 0, 0 1, 1 0, 0B 0, 0 0, 0 1+ ε, 1+ ε

, ε ∈ (0, 1)

3 echilibre Nash (in strategii pure): (T,T), (M,M), (B,B)


Anticipatii rationale

fiecare jucator are aceleasi informatii despre joc (strategii, functii decastig, etc) cu cele cunoscute/obtinute prin deductie logica de unteoretician al jocului

in particular, fiecare jucator actioneaza strategic:cunoasterea/anticiparea comportamentului adversarului esteincorporata explicit in analiza jocului si luarea deciziei

implicatie: cunoasterea comuna a rationalitatii adversarului (commonknowledge of rationality)

fiecare jucator stie ca fiecare jucator stie ca....ad infinitum... ca fiecarejucator este rational


Rationalitate limitata

constrangeri cognitive, informationale, de calcul in analiza uneiinteractiuni strategice

relaxarea presupozitiei legate de anticipatiile rationale

Cum ajung jucatorii sa anticipeze corect comportamentul adversarului?

anticipatii/heuristici adaptative1 anticipatii naive/miopice: strategia aleasa de adversar intr-un jocanterior ca estimator ptr actiunea curenta

2 joc ’fictiv’(fictitious play): distributia istorica a strategiilor adversaruluica predictor ptr strategia curenta

3 joc imitativ: copierea unei strategii care a avut succes in trecut/intr-ointeractiune similara


Rationalitate limitata

utilizarea iterativa a acestor heuristici genereaza procese evolutive incare comportamentul jucatorilor se modifica permanent

dinamica evolutiva a jocului (evolutionary game dynamics)

intrebari standard in teoria evolutionista a jocurilor:1 convergenta procesului evolutiv?2 stabilitatea punctelor de convergenta?3 convergenta catre echilibrele Nash?4 alti atractori non-Nash: oscilatii (limit cycles), comportament haotic(strange attractors)


Teoria evolutionista a jocurilor

studiaza evolutia strategiilor in cadrul unei populatii de agentidecizionali dotati cu rationalitate limitata

selectie Darwiniana: strategiile cu utilitate/ castig relativ ridicate inprezent tind sa se raspandeasca in interiorul populatiei

specificatia explicita a acestui proces de selectie: dinamicaevolutionista

tema centrala: care este legatura dintre limita acestui proces siconceptele "statice" din teoria rationala a jocurilor (ex. Nash)?

fundamente evolutioniste ale conceptelor de echilibru derivate dinpostulatele rationalitatii


Dinamici evolutioniste ale jocurilor: model general

Interactiuni binare in cadrul unei populatii (largi) de jucatori

un set finit de strategii pure: I := {1, ...,N}matricea de castiguri: A[n× n]xi (t) : frecventa strategiei i la momentul tx(t) :=xi (t)i∈I : structura populatiei la momentul t

x apartine simplex-ului ∆n−1 = {x ∈ Rn :n∑i=1xi = 1}

castigul anticipat al strategiei i in cadrul populatiei: fi (x) = (Ax)if (x) : vectorul functiilor de castig


Dinamici evolutioniste ale jocurilor: protocol de revizuire

evolutia in timp a frecventei strategiei i :

xi = Vi (x) = influx in strategia i - eflux din i

=n

∑j=1xjρji (f (x), x)− xi

n

∑j=1

ρij (f (x), x)

ρij (f (x), x) := protocol de revizuire (Sandholm, 2006)

pentru fiecare pereche de strategii (i , j) defineste rata de comutare(ρij ) de la strategia i (jucata in prezent) la strategia alternativa j


Dinamica replicativa (Replicator Dynamics)

daca fiecare jucator utilizeaza protocolul de revizuire imitativ :

ρij (f (x), x) = xj [fj (x)−fi (x)]+

la nivelul populatiei, se obtine Dinamica Replicativa (Taylor andJonker, 1978) larg utilizata in biologia evolutionista:

xi = xi [fi (x)−f (x)] = xi [(Ax)i−xAx]

model formal al selectiei Darwiniene...


Dinamica Raspuns-Optim (Best-Response Dynamics)

un jucator observa distributia prezenta a strategiilor in populatie x(t)apoi calculeaza cel mai bun raspuns y - in strategie pura sau mixta -la aceasta distributie:

BR(x) = argmaxyyf (x)

dinamica best-reply:xi = BR(x)− xi

comportament miopic, deoarece fiecare jucator urmeaza aceastaprocedura de revizuire a strategiei iar distributia reala a populatiei nueste x(t)!


Dinamica Logit (Perturbed Best-Reply Dynamics)

probabilitatea de modificare a strategiei curente j in alternativa i estedata de protocolul logit:

ρji =exp[βAx)i ]

∑k exp[βAx)k ]

β−parametru care denota intensitatea selectieila nivelul populatie, dinamica logit:

xi =exp[βAx)i ]

∑k exp[βAx)k ]− xi


Exemplu I: joc de coordonare 3x3

A =

1− ε 0 00 1 00 0 1+ ε

, ε ∈ (0, 1)1. dinamica replicator:

xi = xi [(Ax)i − xTAx], i = 1..3

2. dinamica logit:

xi =exp[βAx)i ]

∑k exp[βAx)k ]− xi , i = 1...3


joc de coordonare 3x3 + replicator

0 0.2 0.4 0.6 0.8 1

0.2

0.4

0.6

0.8

1(1,0,0)29%(0,1,0)33.3%(0,0,1)37.7%

(a) Aε[ε = 0.1]

0 0.2 0.4 0.6 0.8 1

0.2

0.4

0.6

0.8

1(1,0,0)3%(0,1,0)34.4%(0,0,1)62.6%

(b) Aε[ε = 0.8]


joc de coordonare 3x3 + logit

(1 /3 ,1 /3 ,1 /3)100%

(0,1,0)

(0,0,1)(0,1,0)

(1,0,0)

(a) β = 1

(0. 13, 0.14, 0. 73)100%

(0,1,0)

(1,0,0)

(0,0,1)

(b) β = 10/4

(0.05,0.89,0.06)76.9%(0.03,0.03,0.94)23.1%

(0,1,0) (0,0,1)

(1,0,0)

(c) β = 10/3

(1,0,0) 29%(0,0,1) 37.5%(0,1,0) 33.5%

(0,1,0) (0,0,1)

(1,0,0)

(d) β = 15


Exemplu II: Jocuri de Dominare Ciclica

rock-scissors-paperside-blotched lizards:orange, blue, yellow

Matricea jocului:

P F HP 0, 0 δ,−ε −ε, δ

F −ε, δ 0, 0 δ,−ε

H δ,−ε −ε, δ 0, 0

; δ, ε ≥ 0


Exemplu II: PFH+replicator

0 0.2 0.4 0.6 0.8 1

0.2

0.4

0.6

0.8

1

x

y

(a) Unstable focus,δ = 0.6, ε = 1

0 0.2 0.4 0.6 0.8 1

0.2

0.4

0.6

0.8

1

x

y

(b) Degenerate Hopf,δ = 1, ε = 1

0 0.2 0.4 0.6 0.8 1

0.2

0.4

0.6

0.8

1

x

y

(c) Stable focus,δ = 1.1, ε = 1


Exemplu II: PFH+logit

0 0.2 0.4 0.6 0.8 1

0.2

0.4

0.6

0.8

1

x

y

(a) Stable focus, δ = 1

0 0.2 0.4 0.6 0.8 1

0.2

0.4

0.6

0.8

1

x

y

(b) Hopf, δ = 0.399

0 0.2 0.4 0.6 0.8 1

0.2

0.4

0.6

0.8

1

x

y

(c) Limit cycle, δ = 0.1

ε = 1, β = 10


Exemplu III: Modele de Concurenta Oligopolistica

Oligopol Cournot (competitie prin cantitate): stabilitatea echilibruluiCournot-Nash investigata din diferite unghiuri:

numarul de firme: Theocharis (1960)

heuristici de decizie/ajustare: best-reply, gradient

anticipatii: rationale, adaptative, naive, tip joc fictiv, etc

functii de cerere si cost ne-lineare

heuristici heterogene: competitie evolutiva intre heuristici peperformanta individuala a fiecareia


Exemplu III: Oligopolul Cournot

oligopol Cournot cu functii de cerere si cost generale

heuristici introspective vs. heuristici adaptative

existenta si nivelul pragului de instabilitate al echilibrului Cournotdepind de setul de reguli de ajustare/invatare si de costul asociatfiecareia

prezenta jucatorilor rationali tinde sa stabilizeze dinamica

"doi sunt prea putini, trei sunt prea multi" (Theocharis, 1960): uncaz special ptr modelul de oligopol cu functii de cerere si cost liniaresi heuristici omogene


Structura

un model de oligopol Cournot cu numar arbitrar n de jucatori sifunctii de cerere si cost generale

procese de ajustare/invatare cu memorie scurta

competitia evolutiva dintre procese de ajustare/invatare

simulari1 jucatori rationali vs. jucatori "best-reply"2 rationali vs. best reply vs. imitativi


Original Cournot analysis

produs omogen, oligopol Cournot cu n firme

functia de cerere inversa P (Q) : cont. dif. P (Q) ≥ 0,P ′ (Q) ≤ 0cantitate totala produsa Q = ∑n

i=1 qi , qi este productia firmei i

functia de cost C (qi ): C (qi ) ≥ 0 ,C ′ (qi ) ≥ 0conditia de optim ptr firma i :

P (Q−i + qi ) + qiP ′ (Q−i + qi )− C ′ (qi ) = 0

functia/corespondenta de reactie a firmei i : qi = R(Q−i ), i = 1, n

in echilibrul Nash simetric q∗,productia totala este Q∗ = nq∗


Procese de ajustare/invatare

cum invata firma i sa produca echilibrul q∗?

in particular, care sunt estimarile firmei i despre cantitatea totalaprodusa de concurenti Qe−i la momentul cand trebuie sa ia decizia deproductie?

sistem dinamic: qi (t) = R(Qe−i (t)), i = 1, n cu panta:

R ′ (Q−i ) = −P ′ (Q) + qiP ′′ (Q)

2P ′ (Q) + qiP ′′ (Q)− C ′′ (qi ).

puncte fixe: existenta, unicitate, stabilitate


Procese de ajustare/invatare

joc rational/anticipatii rationale:

Qe−i (t) = Q−i (t).

joc ’fictiv’:

Qe−i (t) =1

t − 1t−1∑k=1

Q−i (k), t ≥ 2.

anticipatii adaptative:

Qe−i (t) = αQe−i (t − 1) + (1− α)Q−i (t − 1), α ∈ [0, 1]

anticipatii "naive" (utilizate de A. Cournot, 1938):

Qe−i (t) = Q−i (t − 1)

.


Un proces general de ajustare adaptativ

decizia firmei i asupra productie curente depinde de cantitateaprodusa in perioada imediat anterioara si de cantitatea agregataprodusa de concurenti Q−i in perioada anterioara:

qi ,t = F (qi ,t−1,Q−i ,t−1) .

restrictii pentru functia F (·)1 F (q∗, (n− 1) q∗) = q∗2∣∣F ∗q ∣∣ < 1, F ∗Q ∈ (−1,−δ), unde δ > 0 este o constanta strict pozitiva

3 F ∗q − F ∗Q < 1


Un proces general de ajustare adaptativ

dinamica de tip "raspuns optim" (best-reply dynamics):

F (q,Q−i ) = R (Q−i ) .

dinamica "raspuns-optim" adaptativ (adaptive best-reply dynamics):

F (q,Q−i ) = αR (Q−i ) + (1− α) qi , α ∈ (0, 1]

model de invatare de tip gradient (gradient learning):

F (qi ,Q−i ) = qi + λ∂π (qi ,Q−i )

∂qi,

alte procese de invatare: imita-comportamentul mediu, imitacomportamentul de succes, etc.


Stabilitatea echilibrului Cournot cu ajustari omogene

Propozitia 1 Daca toata firmele utilizeaza procesul de ajustare F (·)echilibrul simetric Cournot-Nash (q∗, . . . , q∗) este stabil (local) daca:∣∣F ∗q + (n− 1) F ∗Q ∣∣ < 1.Pentru un numar de firme n suficient de ridicat, echilibrul Cournot-Nashdevine instabil sub procesul F (·)).


Ajustari omogene: prag de instabilitate

proposition 1 ne releva imediat structura de piata/numarul decompetitori ptr care echilibrul Counot isi pierde stabilitatea:

n > 1−1+ F ∗qF ∗Q

intuitie: proces de ajustare "miopic": in momentul deciziei niveluluiproductiei pe baza productiei anterioare a adversarilor, un jucatorindividual nu tine seama de faptul ca toti acesti concurenti isi vorrevizui la randul lor decizia de productie

example, functii de cerere si cost lineare, ajustari de tipraspuns-optim: n = 3

panta functiei de reactie: F ∗Q = −12

o deviatie de o unitate suplimentara a unei firme de la cantitatea deechilibru, atrage scaderea productiei cu 1/2 din partea fiecaruiconcurent.


Ajustari heterogene: competitia intre procese de ajustare

modelarea oligopolului Cournot sub forma unui joc evolutionist

considera o populatia mare de firme din care, in fiecare perioada, nfirme sunt selectate aleatoriu ptr a forma un oligopol Cournot cu njucatori

firmele pot utiliza procese de invatare diferite si le pot schimba pebaza performantei fiecarei reguli de invatare

interactiunea dintre jocul rational si un proces de ajustare cu memoriescurta de tip F ()

ρt ∈ [0, 1] denota proportia jucatorilor rationali in populatia de firme:1− ρt este ponderea firmelor F


Joc rational

un jucator rational cunoaste ponderea ρt jucatorilor rationali in totalulpopulatiei, decizia de productie a jucatorilor care utilizeara procesul deinvatare F () dar nu cunoaste compozitia exacta a fiecarui oligopol lacare participa

astfel, construieste anticipatii asupra tututor realizarilor posibile aleacestui proces de selectie de n jucatori din intreaga populatie

un jucator rational i alege cantitatea qi care maximizeaza:

n−1∑k=0

(n− 1k

)ρkt (1− ρt )

n−1−k [P ((n− 1− k) qt + kqr + qi ) qi − C (qi )]

conditia de optim:

n−1∑k=0

(n− 1k

)ρkt (1− ρt )

n−1−k × [P ((n− 1− k) qt + (k + 1)qr ) +

+qrP ′ ((n− 1− k) qt + (k + 1)qr )− C ′ (qr )] = 0Marius Ochea, THEMA, UCP () Teoria Evolutionista a Jocurilor Timisoara, 27 Aprilie 2016 30 / 43

Joc rational

solutia q∗i ≡ H(qt , ρt ) este caracterizata de egalitatea intre venitulmarginal anticipat si costul marginal

in echilibrul simetric toti jucatorii rationali produc qr = q∗i

proprietati ale functiei de raspuns optimal H(qt , ρt ):

H (q∗, ρt ) = q∗, (∀)ρtH (qt , 1) = q∗

H (qt , 0) = R ((n− 1) qt )


Firme rationale vs. firme F()

prin contrast, la momentul t jucatorii F () dispun doar de informatiaasupra cantitatii medii "jucate" qt−1 si a structurii populatiei ρt−1 lamomentul t − 1:

qt = F(qt−1, (n− 1)

(ρt−1H (qt−1, ρt ) +

(1− ρt−1

)qt−1

))

rezultatul competitiei dintre cele doua modele de ajustare estedeterminat de profiturile generate de cele doua procese Πi , i = R,F

deoarece intensitatea informationala/cognitiva/etc. a proceduriirationale este superioara celei a procesului miopic de ajustare vompermite costuri diferentiale de informare sau deliberare κR , κF ≥ 0astfel performanta fiecarei proceduri de decizie este data de

Vi = Πi − κi , i = R,F



performanta fiecarei heuristici este data de

Vi = Πi − κi , i = R,F

proportia jucatori rationali ρt evolueaza in cf. cu o dinamicamonotona de selectie G (·)

ρt = G (VR ,t−1 − VF ,t−1) = G (ΠR ,t−1 −ΠF ,t−1 − κ) , κ ≡ κR − κF

unde functia G (x) : R→ [0, 1] este cont. dif si monoton crescatoare

G (0) = 12 , limx→−∞ G (x) = 0, limx→∞ G (x) = 1



evolutia cantitatilor produse si a proportiilor este guvernata deurmatorul sistem dinamic bidimensional:

qt = F(qt−1, (n− 1)

(ρt−1H (qt−1, ρt ) +

(1− ρt−1

)qt−1

))ρt = G (VR ,t−1 − VF ,t−1) = G (ΠR ,t−1 −ΠF ,t−1 − κ)

κ ≡ κR − κF

punct fix: (q∗, ρκ)

unde q∗ este cantitatea de echilibru Cournot-Nashρκ = G (−κ) proportia de echilibru a jucatorilor rationali



Propozitie 2 Echilibrul (q∗, ρκ) modelului de competitie evolutionistaintre jucatori rationali si jucatori adaptativi F () este stabil (local) daca:

n− ρκ (n− 1)[1+ R ′

(Q∗−i

)]1− ρκ (n− 1)R ′

(Q∗−i

) < 1−1+ F ∗qF ∗Q

prezenta jucatorilor rationali intr-o populatie de jucatori adaptativi areun efect stabilizator asupra echilibrului Cournot...

...dar situatii de instabilitate sunt posibile pentru structuri de oligopolcu un nr. mai ridicat de jucatori


Ilustratie: jucatori rationali vs. jucatori "best-reply"

un model cu selectie endogena a heuristicilor de decizie in carejucatorii F () utilizeaza procesul dinamic tip "raspuns-optim":

F (qi ,Q−i ) = R (Q−i )

prin aplicarea directa a Prop. 2 la cazul specific in care jucatori F ()sunt de tip best-reply ( F ∗q = 0 siF

∗Q = R

′ (Q∗−i ) < 0) obtinem:Corolar Echilibrul (q∗, ρκ) modelului cu selectie endogena intre jucatorirationali si jucatori best-reply este stabil (local) daca:

(1− 2ρκ) (n− 1)R ′ (Q∗−i )> −1.

In absenta diferentelor intre costurile informationale asociate celor douaheuristici , κ = 0, echilibrul (q∗, ρ0) este stabil local ptr toate structurilede oligopol, i.e. (∀)n ≥ 2.


Jucatori rationali vs. jucatori "best-reply": dinamicaglobala

functie de cerere inversa lineara: P(Q) = a− bQ, Q =n

∑i=1qi

costuri productie lineare: Ci (qi ) = cqi , i ∈ {1, n}functia de reactie: qi = Ri (Q−i ) = q∗ − 1

2 (Q−i − (n− 1) q∗) ,q∗ = a−c

b(n+1) echilibru Cournot-Nash unic

competitia evolutionista intre reguli modelata cu ajutorul procesuluidinamic logit :

G (ΠR ,t−1 −ΠF ,t−1 − κ) =1

1+ exp [−β (ΠR ,t−1 −ΠF ,t−1 − κ)].

β ≥ 0 intensitatea selectiei evolutioniste


Jucatori rationali vs. jucatori "best-reply": dinamicaglobala

0 0 .5 1 1 .5 2 2 .5 3 3 .5 4 4 .5 5

n

5

1 0

1 5

2 0

s t a b le

u n s t a b le


Jucatori rationali vs. jucatori "best-reply"


Joc rational vs heuristica gradient: dinamica globala

b

0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 1

n

1

4

7

1 0

1 3

1 6

1 92 0

= 0

= 0 . 2 5 = 0 . 5


Jucatori rationali vs. jucatori "best-reply" vs. imitatori

qRt+1 = HR (qCt+1, q

It+1, η

Rt+1, η

Ct+1)

qCt+1 = R((n− 1)(ηRt qRt + ηCt qCt + (1− ηRt − ηCt )q

It )

qIt+1 = ηRt qRt + ηCt q

Ct + (1− ηRt − ηCt )q

It

ηR ,t+1 = KR (∆URt ,∆UCt )

ηC ,t+1 = KC (∆URt ,∆UCt ).

( q∗, ηR∗= e β(CC −CR )

e β(CC −CR )+1+e−β(C I −CC ) , ηC∗= e β(C I −CC )

e β(C I −CR )+e−β(C I −CC )+1)

Stabilitatea echilibrului determinata de:

CR > 0,C I = CC = 0 : λ1 = λ2 = λ3 = 0 and

λ4(n,CR β) = 3eCR β−neCR β

n+4eCR β+1

nivelul critic de instabilitate: n < ψ(CR∗β) = 7eC

R β+1eCR β−1

C I ,CC 6= 0 : costul relativ al heuristicii stabile (imitatie) relativ lacostul heuristicii instabile (best-reply)


rationali vs. jucatori "best-reply" vs. imitatori

Parametrii: n = 19, a = 17, b = 1, c = 1, CR = 1, CC = 0, C I = 0, β = 3.Conditii initiale: qR0 = 0.3, q

C0 = 0.1, q

I0 = 0.25, ηR0 = 0.5, ηC0 = 0.2.


Concluzii

pragul critic de instabilitate a echilibrului Cournot este monoton cuproportia jucatorilor rationali din populatie

ptr modelul specific joc rational vs. joc best-reply echilibrul CournotNash este stabil indiferent de structura pietei (nr. jucatorilor) cuconditia ca predictorul rational sa fie obtinut cu cost zero

acest resultat nu este insa generalizabil ptr alte ecologii de heuristici

e.g. modelul cu anticipatii rationale si heuristica tip gradient eq. CNdevine instabil chiar si in absenta costurilor informationale, daca n estesuficient de mare.

cadrul analitic adaptabil ptr studiul altor seturi de heuristici (ex.imitatie)


Documents

Teoria Evolutionista a Jocurilor cu Aplicatii in Modele de Concurenta