Matematikos ir Informatikos FakultetasEkonometrinės Analizės Katedra

Alfredas Račkauskas

Atsitiktiniai procesai(vadovėlis (1 variantas))

Vilnius, 2016

Įvadas

Teorija be praktikos - tuščiaPraktika be teorijos - akla.(Immanuel Kant)

Su neapibrėžtumais susiduriame nuolatos. Koks bus rytoj oras? Kaip keisis JAV dolerio kur-sas Euro atžvilgiu? Kiek kitą mėnesį išleisime maistui? Didės ar mažės kitais metais Lietuvosbendrasis vidaus produktas (BVP)? Tokie ir panašūs klausimai domina kiekvieną. Aišku, tikslausatsakymo į juos negali pasakyti niekas. Todėl dažnai į pagalbą pasitelkiame tikimybių teoriją, kuritiria neapibrėžtumus, jų pobūdį, dėsningumus ir gali pasiūlyti įvairių priemonių jiems nustatytibei modeliuoti. Sistemos būsenai vienu kuriuo nors laiko momentu aprašyti paprastai naudojamiatsitiktiniai dydžiai. Norėdami suprasti sistemos kitimą (evoliuciją) laike, atsitiktinį dydį turimepriskirti kiekvienam laiko momentui. Gautas atsitiktinių dydžių rinkinys yra atsitiktinis procesas(terminas „stochastinis procesas” yra lygiavertis). Jo pagalba sukonstruoti matematiniai modeliaisutinkami įvairiose srityse: ekonomikoje, finansuose, fizikoje, klimatologijoje, telekomunikacijoje,biologijoje ir t.t.

Atsitiktinių procesų teorija yra labai turininga ir gerai išvystyta, o jos užuomazgos siekia net1827 metus, kai anglų botanikas Robertas Braunas (Robert Brown) stebėjo žiedadulkės chaotiškąjudėjimą skystyje (vėliau pavadintą Brauno judesiu).

1 pav.: Chaotiškas dalelės judėjimas skystyje.

Šį nereguliarų tolydų judėjimą AlbertasEinšteinas (Albert Einstein) 1905 metais paaiš-kino šilumine molekulių osciliacija ir pirmasisją aprašė matematiškai. Pagal jo modelį dale-lės pozicija kiekvienu laiko momentu yra atsi-tiktinis dydis, o jos trajektorija turi būti nagri-nėjama kaip atsitiktinės laiko funkcijos grafi-kas. Dabar tai plačiai žinomas ir daug pritaiky-mų sulaukęs Brauno judesio procesas. VėliauEinšteino modelį apibendrino Norbertas Vyne-ris (Norbert Wiener). Todėl dažnai Brauno ju-desio procesas dar vadinamas Vynerio vardu.

Modeliavimas yra neatsiejama bet kuriomokslo dalis – tiek socialinio, tiek gamtos.Realaus pasaulio sistemos paprastai yra labaisudėtingos. Norėdami šias sistemas suprasti,prognozuoti jų elgesį ar kontroliuoti, turime jas

supaprastinti, t.y. sukurti modelį. Modelis – originalo atvaizdas, tapatus pasirinktu struktūros

3

lygmeniu arba pasirinktomis funkcijomis (TŽŽ). Egzistuoja daug jo formų: pavyzdžiui, verbali-niai/logistiniai (sistemų veiklos aiškinimas paradigmomis, kaip antai, nematomos rankos paradig-ma ekonomikoje), fizkiniai (sumažinto mastelio ir supaprastintos veiklos modeliai), geometriniai(lentelės, diagramos), algebriniai (algebrinės lygtys) ir pan. Sukurti matematinį modelį reiškianagrinėjamai sistemai suteikti matematinę išraišką. Čia gali pasireikšti du kraštutinumai: realisti-nis ir idealistinis. Realistinis modelis paprastai gana tiksliai aprašo tiriamą sistemą, bet būna tokssudėtingas, kad neįmanoma jo nei ištirti, nei įvertinti. Idealistinis modelis, su kuriuo lengva dirbti,gali būti gerokai nutolęs nuo realaus tiriamo fenomeno. Todėl geras modelis yra tam tikras komp-

2 pav.: Realistinis modelis ir „geras” modelis.

romisas tarp realaus ir idealaus. Rasti tinkamą kompromisą yra menas, kurio rezultatus nulemiažinios, įgūdžiai ir, be abejo, talentas.

Matematiniai modeliai būna arba deterministiniai, arba stochastiniai. Pirmieji postuluoja tiks-lią nagrinėjamų sistemų funkcinę priklausomybę ir neatsižvelgia į galimus neapibrėžtumus. Taigideterministiniai matematiniai modeliai nėra pats geriausias įrankis, pavyzdžiui, ekonominėms arsocialinėms sistemoms tirti. Modeliai aprašomi lygtimis, į kurias įeina atsitiktiniai procesai, va-dinami stochastiniais. Ekonometristams jie yra pagrindinis įrankis tiriant ekonomines sistemas,finansų makleriams padeda spręsti atsargų problemas ar sekti finansinių biržų būseną, komunika-cijų specialistams – atskirti informatyvius signalus nuo natūralių ar dirbtinų triukšmų, atpažintivaizdus, o biologams – suprasti genų mutacijos principus, augmenijos ir gyvūnijos populiacijųpasiskirstymus, epidemijų plitimą ir t.t.

Šis vadovėlis apima įvadinį atsitiktinių procesų teorijos kursą. Jame supažindinama su pagrin-dinėmis atsitiktinių procesų sąvokomis bei savybėmis, tarp kurių yra stacionarumas, ergodiškumas,reguliarumas ir kitos. Pristatomos svarbiausios atsitiktinių procesų klasės: diskretaus ir tolydauslaiko Markovo procesai, diskretaus ir tolydaus laiko martingalai, Puasono, atstatymo bei Braunojudesio procesai. Pateikti pavyzdžiai bei pratimai padės geriau suprasti atsitiktinių procesų teorijąir pasinaudoti ja sprendžiant įvairius matematinio modeliavimo uždavinius.

4

1 skyrius

Trumpai apie tikimybes

Tikimybinė erdvė yra atsitiktinio eksperimento matematinis modelis, aprašomas trejetu (Ω,F , P ):

1. Ω yra visų galimų eksperimento baigčių aibė (imčių erdvė);

2. F yra įvykių (baigčių aibės Ω poaibių) šeima, kuri sudaro σ-algebrą, t.y., turi šias savybes:

(a) Ω ∈ F ;

(b) jei A ∈ F , tai ir Ac = Ω \ A ∈ F ;

(c) jei A1, A2, . . . ∈ F , tai ir A1 ∪ A2 ∪ · · · ∈ F .

3. P yra tikimybė, kuri kiekvienam įvykiui A ∈ F nustato jo galimybę, išreikštą skaičiumiP (A) ∈ [0, 1], ir turi šias savybes:

(d) P (Ω) = 1;

(e) jei A1, A2, . . . ∈ F ir Ai ∩ Aj = ∅, kai i 6= j, tai

P (A1 ∪ A2 ∪ · · · ) = P (A1) + P (A2) + · · · .

Praktikoje atsitiktinių eksperimentų baigčių aibės gali būti labai įvairios ir sudėtingos. Todėl jųmatematiniai modeliai (tikimybinės erdvės) dažniausiai suskaitmeninami, išskiriant svarbiausiasbaigčių komponentes. Tam panaudojami atsitiktiniai dydžiai bei atsitiktiniai vektoriai. Šiameskyriuje priminsime pagrindines jų charakteristikas bei savybes.

1.1 Atsitiktiniai dydžiaiRealiųjų skaičių aibės R Borelio σ-algebra BR yra mažiausia σ-algebra, kuriai priklauso visi atvi-rieji intervalai (a, b), −∞ < a ≤ b < +∞:

BR = σ((a, b),−∞ < a ≤ b < +∞).

Aibės A ∈ BR vadinamos Borelio aibėmis. Galima įsitikinti, kad

BR = σ((−∞, b],−∞ < b < +∞).

5

• Atsitiktinis dydis, apibrėžtas tikimybinėje erdvėje (Ω,F , P ), yra (F ,BR)-matus (arba tiesiogmatus) atvaizdis X : Ω→ R, t.y., tokia funkcija, kad

(1.1) ω ∈ Ω : X(ω) ∈ A ∈ F

su kiekviena Borelio aibe A ⊂ R.

Pakanka, kad (??) savybė būtų teisinga arba intervalams (a, b), a, b ∈ R, arba pustiesėms (−∞, a], a ∈R. Atsitiktiniais dydžiais modeliuojame tas atsitiktinio eksperimento baigčių savybes, kurias gali-me aprašyti realiaisiais skaičiais.

• Jei X yra atsitiktinis dydis, o g : R→ R yra Borelio funkcija, t.y., tokia funkcija, kuriai

g−1(A) := x ∈ R : g(x) ∈ A ∈ BR

su kiekviena aibe A ∈ BR, tai g(X) yra atsitiktinis dydis.

Tolydžios funkcijos ir funkcijos, turinčios ne daugiau nei skaičią trūkio taškų aibę, yra Borelio.Visų atsitiktinių dydžių, apibrėžtų tikimybinėje erdvėje (Ω,F , P ), aibę įprasta žymėtiL0(Ω,F , P )

(arba tiesiog L0, jei tikimybinę erdvę nėra būtina pabrėžti).Du atsitiktiniai dydžiai X1 ir X2, apibrėžti toje pačioje tikimybinėje erdvėje, vadinami ekviva-

lenčiais (žymėsime X1b.t.= X2 arba X1 = X2 b.t., arba tiesiog X1 = X2), jei

P (ω : X1(ω) 6= X2(ω)) = 0.

Atsitiktinis dydis X apibrėžia σ-algebrą FX := X−1(B) : B ∈ BR ⊂ F , kuri vadinamaatsitiktinio dydžio X generuota σ-algebra, bei mačios erdvės (R,BR) tikimybinį matą PX :

PX(B) = P (ω : X(ω) ∈ B), B ∈ BR.

Tikimybinis matas PX vadinamas atsitiktinio dydžio X skirstiniu. Atsitiktiniai dydžiai X ir Y yravienodai pasiskirstę, jei PX = PY (t.y., PX(B) = PY (B), B ∈ BR).

Atsitiktinio dydžio aprašymui naudojamos įvairios neatsitiktinės charakteristikos. Bene svar-biausia tarp jų yra pasiskirstymo funkcija.

• Atsitiktinio dydžio X pasiskirstymo funkcija yra realioji realaus argumento funkcija FX :R→ R,

FX(x) = PX((−∞, x]) = P (ω ∈ Ω : X(ω) ≤ x), x ∈ R.

Pasiskirstymo funkcijos pilnai aprašo atsitiktinius dydžius: FX = FY (t.y., FX(x) = FY (x) suvisais x ∈ R) tada ir tik tada, kai PX = PY .

Atsitiktinio dydžio pasiskirstymo funkcija F turi šias savybes:

(i) limx→+∞ F (x) = 1, limx→−∞ F (x) = 0;

(ii) F yra nemažėjanti: jei x < y, tai F (x) ≤ F (y);

(iii) F yra tolydi iš dešinės: F (x+ h)→ F (x), jei h ↓ 0.

6

Be to, kiekviena nemažėjanti tolydi iš dešinės ir tenkinanti (i) sąlygą funkcija F : R→ R yra kurionors atsitiktinio dydžio X pasiskirstymo funkcija, t.y., egzistuoja tokia tikimybinė erdvė (Ω,F , P )ir toks joje apibrėžtas atsitiktinis dydis X , kad F = FX .

Taikymams (ekonometrijai, finansų matematikai ir kt.) paprastai pakanka tik diskrečiųjų irtolydžiųjų atsitiktinių dydžių.

• Atsitiktinis dydis X vadinamas diskrečiuoju, jeigu jo reikšmių aibė X(Ω) = xi yra baig-tinė arba skaiti.

Diskretūs atsitiktiniai dydžiai pilnai aprašomi įgyjamomis reikšmėmis x1, x2, . . . ir atitinkamomistų reikšmių tikimybėmis p1, p2, . . .:

pk = pX(xk) := P (ω : X(ω) = xk), k = 1, 2, . . . .

Skaičių rinkinys (pX(xk)) (arba trumpiau (pk)) vadinamas diskrečiojo atsitiktinio dydžio X reikš-mių tikimybių funkcija (arba tiesiog tikimybių funkcija). Ji pasižymi šiomis savybėmis:

(i) 0 ≤ pX(xk) ≤ 1 su visais k;

(ii) pX(x) = 0, jei x 6= xk;

(iii) ∑k pX(xk) = 1.

Jei X yra diskretus atsitiktinis dydis su reikšmėmis x1, x2, . . . ir atitinkamomis tikimybėmisp1, p2, . . . , tai jo skirstinys yra diskretusis matas

PX =∞∑k=1

pkδxk,

čia δx yra vadinamoji Dirako tikimybė:

δx(A) =

1, jei x ∈ A;0, jei x 6∈ A.

Atitinkamai jo pasiskirstymo funkcija yra

F (x) =∑

k: xk≤xpk, x ∈ R.

7

• Atsitiktinį dydį X su pasiskirstymo funkcija FX vadiname tolydžiuoju, jei egzistuoja tokianeneigiama Borelio funkcija fX : R→ R, kad

FX(x) =∫ x

−∞fX(t) dt, x ∈ R.

Jei nepasakyta kitaip, realaus argumento funkcijų integralai suprantami Lebego prasme. Funk-cija fX vadinama atsitiktinio dydžio X tankio funkcija (arba tiesiog tankiu). Ji pasižymi šiomissavybėmis:

(i) fX(x) ≥ 0 su visais x ∈ R;

(ii)∫∞−∞ fX(x) dx = 1;

(iii) fX yra atkarpomis tolydi funkcija;

(iv) P (ω : a < X(ω) ≤ b) =∫ ba fX(x) dx su visais a < b;

(v) Borelio aibei B ⊂ R, ∫Bf(x) dx = PX(B).

Atsitiktinio dydžio X vidurkis apibrėžiamas Lebego–Stiltjeso integralu:

E(X) =∫ ∞−∞

x dFX(x).

Jei g : R→ R yra Borelio funkcija ir E|g(X)| <∞, tuomet,

E(g(X)) =∫

Ωg(X(ω)) dP (ω) =

∫ ∞−∞

g(x) dFX(x).

Atskiru atveju, jei X yra tolydusis a.d. su tankio funkcija fX , tai

E(g(X)) =∫ ∞−∞

g(x) dPX(x) =∫ ∞−∞

g(x)fX(x) dx.

Jei X yra diskretusis a.d. su reikšmėmis (xk) ir tikimybių funkcija (pk), tuomet

E(g(X)) =∫ ∞−∞

g(x) dFX(x) =∑k

g(xk)pk.

Priminsime kitas svarbesnes diskrečiųjų bei tolydžiųjų atsitiktinių dydžių charakteristikas.

• n-tosios eilės momentas:

E(Xn) =

∫∞−∞ x

kfX(x)dx, kai X tolydusis a.d.;∑k x

nkpX(xk), kai X diskretusis a.d.;

• dispersija:

σ2X = var(X) := E(X − E(X))2 =

∫∞−∞(x− µX)2fX(x) dx, kai X tolydusis a.d.;∑k(xk − µX)2pX(xk), kai X diskretusis a.d.;

8

• standartinis nuokrypis yra σX ;

• charakteristinė funkcija yra argumento t ∈ R (bendru atveju) kompleksinė funkcija cX :

cX(t) := EeıtX = E cos(tX) + ıE sin(tX).

Čia ı =√−1.

1.1 pavyzdys. (Bernulio atsitiktinis dydis) Atsitiktinis dydis X , kuris įgyja tik dvi reikšmes, 0ir 1, vadinamas Bernulio atsitiktiniu dydžiu. Tikimybė, kad tas dydis įgis reikšmę 1 lygi p, oP (X = 0) = 1 − p. Bernulio a.d. aprašo vieno kurio nors įvykio „sėkmę”–„nesekmę”. Bernulioa.d. vidurkis ir dispersija yra atitinkamai E(X) = p ir var(X) = p(1− p).

1.2 pavyzdys. (Binominis atsitiktinis dydis) Jei atliekame n bandymų, kiekviename iš kurių įvy-kis pasirodo su tikimybe p ir nepasirodo su tikimybe 1− p, tuomet įvykio pasirodymų skaičius Xyra binominis atsitiktinis dydis (žymime X ∼ Bin(n, p)). Jo galimos reikšmės yra 0, 1, . . . , n iratitinkamos tikimybės

b(k;n, p) := P (X = k) =(n

k

)pk(1− p)n−k, k = 0, 1, . . . , n.

Be to, E(X) = np, var(X) = np(1− p).

1.3 pavyzdys. (Puasono atsitiktinis dydis) Puasono a.d. X su intensyvumu λ > 0 (žymėsimeX ∼ Pois(λ)) yra diskretusis atsitiktinis dydis, kurio reikšmės yra 0, 1, 2, 3, . . . , o atitinkamostikimybės

p(k;λ) := P (X = k) = λk

k! e−λ

su kiekvienu k = 0, 1, . . . . Puasono a.d. X ∼ Pois(λ) vidurkis yra lygus dispersijai: E(X) = λ,var(X) = λ.

1.4 pavyzdys. (Tolygusis atsitiktinis dydis) Atsitiktinis dydis X vadinamas tolygiuoju intervale(a, b) (žymėsime X ∼ Unif(a, b)), jei jo tankio funkcija yra

fX(x) =

1

b− a, kai a < x < b;

0 kitur.

Tolygiojo a.d. pasiskirstymo funkcija yra

FX(x) =

0, kai x ≤ a;x− ab− a

, kai a < x < b;

1 kai x ≥ b.

Kitos jo skaitinės charakteristikos yra: E(X) = (a+ b)/2, var(X) = (b− a)2/12.

9

Tolygūs atsitiktiniai dydžiai plačiai paplitę taikymuose dėl šios savybės: jei F yra bijekcija irU ∼ Unif(0, 1), tuomet a.d. F−1(U) pasiskirstymo funkcija yra F :

P (F−1(U) ≤ x) = P (U ≤ F (x)) = F (x).

Ši savybė išlieka ir tuo atveju, kai F nėra bijekcija, tik tuomet naudojama apibendrinta atvirkštinėfunkcija:

F−1(x) = infy : F (y) ≥ x, x ∈ (0, 1).

1.5 pavyzdys. (Eksponentinis atsitiktinis dydis) Atsitiktinis dydis X vadinamas eksponentiniusu parametru λ > 0 (žymėsime X ∼ Exp(λ)), jei jo tankio funkcija yra

fX(x) =

λe−λx, kai x > 0;0 kitur,

o pasiskirstymo funkcija -

FX(x) =

1− e−λx, kai x ≥ 0;0, kai x < 0.

Kitos charakteristikos yra: E(X) = 1/λ, var(X) = 1/λ2.

1.6 pavyzdys. (Normalusis atsitiktinis dydis) Atsitiktinis dydis X vadinamas normaliuoju suparametrais (µ, σ2) (žymėsime X ∼ N (µ, σ2)), jei jo tankio funkcija yra

fX(x) = 1√2πσ

exp− (x− µ)2

2σ2

, x ∈ R.

Parametrai µ ir σ2 yra atitinkamai a.d. X vidurkis ir dispersija. Atsitiktinis dydis X ∼ N (0, 1)vadinamas standartiniu normaliuoju. Jo pasiskirstymo funkcija žymima Φ:

Φ(x) = 1√2π

∫ x

−∞e−s

2/2 ds, x ∈ R.

10

Skaičiuojant a.d. X ∼ N (0, σ2) charakteristikas naudinga ši formulė: su visais u ∈ R

E expuX = expσ2u2/2.

1.7 pavyzdys. (Stabilusis atsitiktinis dydis) Atsitiktinis dydisX yra stabilus su parametrais (µ, α, λ, β) ∈R× (0, 2]× (0,∞)× [−1, 1] (žymėsime X ∼ S(µ, α, λ, β)), jei jo charakteristinė funkcija yra

cX(t) = expıtµ− λ|t|α(1− ıβsign(t)Q), Q =

tan(πα/2), jei α 6= 1,−2 log |t|/π, jei α = 1.

t ∈ R.

Bendru atveju stabilaus a.d. tankio funkcija neturi išreikštinės formos. Kai α = 1, a.d. X vadina-mas Koši. Standartinio Koši (X ∼ S(0, 1, 1, 0)) skirstinio tankio funkcija yra

f(x) = 1π(1 + x2) , x ∈ R.

Jei X ∼ S(µ, α, λ, β) ir 0 < α < 2, tai E|X|α =∞, bet E|X|r <∞ su visais 0 ≤ r < α.

1.2 Atsitiktiniai vektoriai

Jei X1, . . . , Xd yra atsitiktiniai dydžiai, apibrėžti vienoje tikimybinėje erdvėje (Ω,F , P ), tai jųsutvarkytas rinkinys X = (X1, . . . , Xd) vadinamas (d-mačiu) atsitiktiniu vektoriumi (a.v.). Jaismodeliuojame tas baigčių ω ∈ Ω savybes, kurioms aprašyti pakanka d skaičių.

Aibės Rd Borelio σ-algebra yra

BRd = BdR = σ(A1 × · · · × Ad : A1, . . . , Ad ∈ BR).

Aibės A ∈ BRd vadinamos (d-matėmis) Borelio aibėmis. Galima įsitikinti, kad

BRd = σ((a1, b1)× · · · × (ad, bd), a1, . . . , ad, b1, . . . , bd ∈ R)= σ((−∞, b1]× · · · × (−∞, bd], b1, . . . , bd ∈ R).

Atsitiktinis vektorius X = (X1, . . . , Xd) yra (F ,BRd)-matus atvaizdis:

X−1(B) ∈ F , kai B ∈ BRd .

Ir atvirkščiai, jei X : Ω→ Rd yra (F ,BRd)-matus atvaizdis, tuomet X = (X1, . . . , Xd) ir Xi, i =1, . . . , d, yra atsitiktiniai dyžiai.

• Jei funkcija g : Rd → Rm yra Borelio, t.y.,

g−1(A) ∈ BRd

su kiekviena aibeA ∈ BRm ir X yra d-matis a.v., tai g(X) yram-matis atsitiktinis vektorius.

11

Atskiru šio teiginio atveju gauname, kad su kiekviena Borelio funkcija g : Rd → R, g(X) yraatsitiktinis dydis, jei X yra atsitiktinis vektorius.

Tolydi funkcija arba funkcija turinti ne daugiau nei skačią trūkio taškų aibę yra Borelio. Taigipavyzdžiui, jei (X1, X2) yra atsitiktinis vektorius, tai X1 +X2, X1X2 yra atsitiktiniai dydžiai.

Atsitiktinis vektorius X = (X1, . . . , Xd) apibrėžia σ-algebrą FX := X−1(B) : B ∈ BRd ⊂F , kuri vadinama atsitiktinio vektoriaus X generuota σ-algebra, bei mačios erdvės (Rd,BRd) tiki-mybę PX :

PX(B) = P (ω : X(ω) ∈ B), B ∈ BRd ,

kuri vadinama atsitiktinio vektoriaus X skirstiniu.Atsitiktinio vektoriaus X = (X1, . . . , Xd) pasiskirstymo funkcija yra d kintamųjų funkcija

FX : Rd → R,

FX(x) = FX(x1, . . . , xd) = P (ω : X1(ω) ≤ x1, . . . , Xd ≤ xd),x = (x1, . . . , xd) ∈ Rd.

Atsitiktinio vektoriaus X = (X1, . . . , Xd) komponentės Xk marginalioji pasiskirstymo funkcijayra

Fk(xk) = limx1,...,xk−1,xk+1,...,xd→∞

FX(x1, . . . , xd), xk ∈ R.

Analogiškai apibrėžiame ir atsitiktinio vektoriaus X = (X1, . . . , Xd) koordinačių rinkinio, pavyz-džiui, (Xk1 , . . . , Xkq), k1, . . . , kq ∈ 1, . . . , d, marginaliąją pasiskirstymo funkciją Fk1,...,kq :

Fk1,...,kq(xk1 , . . . , xkq) = limxj→∞,j∈1,...,d\k1,...,kq

FX(x1, . . . , xd), xk1 , . . . , xkq ∈ R.

Atsitiktiniai vektoriai X = (X1, . . . , Xd),Y = (Y1, . . . , Yd) yra

• ekvivaletūs arba lygūs beveik tikrai (X = Y b.t. arba tiesiog X = Y ), jei

P (ω : X(ω) 6= Y (ω)) = 0;

• vienodai pasiskirstę (žymime XD= Y ), jei PX = PY arba FX = FY .

Atsitiktinis vektorius X ∈ Rd turi tankio funkciją fX jei fX : Rd → R yra tokia neneigiamaBorelio funkcija, kad

P (ai < Xi ≤ bi, i = 1, . . . , d) =∫ b1

a1· · ·

∫ bd

ad

fX(x1, . . . , xd) dx1 · · · dxd

su bet kuriais realiaisiais skaičiais ai < bi, i = 1, . . . , d. Integralas čia suprantamas Lebego prasme.Atsitiktinio vektoriaus X = (X1, . . . , Xd)

• vidurkis yra vektorius

µX = E(X) := (E(X1), . . . , E(Xd));

12

• kovariacinė matrica yra matrica

ΣX = (ΣX(i, j))1≤i,j≤d = (cov(Xi, Xj))1≤i,j≤d;

čiaΣX(i, j) = cov(Xi, Xj) := E(XiXj)− E(Xi)E(Xj)

yra atsitiktinių dydžių Xi ir Xj kovariacija, i, j = 1, . . . , d. Matrica ΣX yra simetrinė irneneigiamai apibrėžta, t.y., ΣX(i, j) = ΣX(j, i) ir

d∑i,j=1

ΣX(i, j)aiaj ≥ 0

su bet kuriais realiaisiais skaičiais a1, . . . , ad.

1.8 pavyzdys. (Normalusis atsitiktinis vektorius) Atsitiktinis vektorius X = (X1, . . . , Xd) turinormalųjį skirstinį su parametrais m ir Σ (žymėsime X ∼ N (m,Σ)), jei jo tankio funkcija yra

fX(x) = (2π det(Σ))−d/2 exp− 1

2

d∑i,j=1

(xi−mi)(xj−mj)Σ−1(i, j), x = (x1, . . . , xd) ∈ Rd.

Čia m = (m1, . . . ,md) ∈ Rd yra atsitiktinio vektoriaus X vidurkis, Σ = (Σ(i, j)) – kovariacinėmatrica, o Σ−1 = (Σ−1(i, j)) – jos atvirkštinė matrica. Kai m = 0, o Σ = I yra vienetinė matrica,a.v. X ∼ N (0, I) vadinamas standartiniu normaliuoju.

Jei X yra d-matis normalusis atsitiktinis vektorius su parametrais (m,Γ) , oA yra q×dmatrica,tuomet AX yra q-matis normalusis vektorius su parametrais Am ir AΓA′.

1.3 NepriklausomumasNepriklausomumo sąvoka yra bene svarbiausia tikimybių teorijoje.

• Vienoje tikimybinėje erdvėje apibrėžti atsitiktiniai dydžiai X1, . . . , Xm vadinami nepriklau-somais, jei

P (X1 ∈ B1, . . . , Xm ∈ Bm) = P (X1 ∈ B1) · · ·P (Xm ∈ Bm),

su bet kuriomis Borelio aibėmis B1, . . . , Bn ∈ BR. Atsitiktiniai dydžiai, sudarantys sekąX1, X2, . . . , yra nepriklausomi, jei su bet kuriuo m > 1 a.d. X1, . . . , Xm yra nepriklausomi.

Atsitiktiniai dydžiai X ir Y yra nepriklausomi tada ir tik tada, kai

P (X ≤ x, Y ≤ y) = P (X ≤ x)P (Y ≤ y) su visais x, y ∈ R.

Ši nepriklausomumo savybė sugeneruoja įvairius atsitiktinių dydžių priklausomumo modelius. Pa-vyzdžiui, atsitiktiniai dydžiai X ir Y yra vadinami neigiamai priklausomais, jei

P (X ≤ x, Y ≤ y) ≤ P (X ≤ x)P (Y ≤ y)ir

P (X ≥ x, Y ≥ y) ≤ P (X ≥ x)P (Y ≥ y)

su visais x, y ∈ R.

13

• Vienoje tikimybinėje erdvėje apibrėžti atsitiktiniai vektoriai X1 ∈ Rd1 , . . . ,Xm ∈ Rdm

vadinami nepriklausomais, jei

P (X1 ∈ B1, . . . ,Xm ∈ Bm) = P (X1 ∈ B1) · · ·P (Xm ∈ Bm)

su bet kuriomis Borelio aibėmis B1 ⊂ Rd1 , . . . , Bn ⊂ Rdm . Atsitiktiniai vektoriai, suda-rantys seką X1,X2, . . . , yra nepriklausomi, jei su bet kuriuo m > 1 a.v. X1, . . . ,Xm yranepriklausomi.

Jei vektoriai X = (X1, . . . , Xm) ir Y = (Y1, . . . , Yd) yra nepriklausomi, tai nepriklausomi yrair atsitiktiniai dydžiai h(X), g(Y ), kokios bebūtų Borelio funkcijos h : Rm → R ir g : Rd → R.

Atsitiktiniai dydžiai X ir Y , kuriems EX2 <∞ ir EY 2 <∞, vadinami nekoreliuotais, jei

E(XY ) = E(X)E(Y ).

Atsitiktinių dydžių koreliacija rodo tam tikrą tų dydžių tarpusavio priklausomybę. Jei jie yra ne-priklausomi, tai ir nekoreliuoti. Bet nebūtinai atvirkščiai. Pavyzdžiui, jei X ∼ N (0, 1), tai atsitik-tiniai dydžiai X1 = X ir X2 = X2 yra akivaizdžiai priklausomi, bet nekoreliuoti : E(X1X2) =E(X3) = 0 = E(X1)E(X2).

• Su bet kuriais m ≥ 1, d ≥ 1 atsitiktiniai vektoriai X = (X1, . . . , Xm) ir Y = (Y1, . . . , Yd),apibrėžti vienoje tikimybinėje erdvėje, yra nepriklausomi tada ir tik tada, kai

E(h(X1, . . . , Xm)g(Y1, . . . , Yd)) = Eh(X1, . . . , Xm)Eg(Y1, . . . , Yd)

bet kurioms aprėžtoms Borelio funkcijoms h : Rm → R ir g : Rd → R.

Tikimybių teorija nagrinėja įvairius atsitiktinių dydžių priklausomumo modelius. Jau minėjomeneigiamai priklausomus atsitiktinius dydžius. Kitas dažnai sutinkamas modelis yra paremtas m-priklausomumo samprata.

• Tegu sveikasis skaičius m ≥ 1. Atsitiktiniai dydžiai X1, X2, . . . vadinami m-priklausomais,jei atsitiktiniai dydžiai Xi ir Xj yra nepriklausomi, kai |i− j| ≥ m.

Pavyzdžiui, jei Y0, Y1, Y2, . . . yra nepriklausomi atsitiktiniai dydžiai, tai a.d.

Xj = Yj−1 + Yj, j = 1, 2, . . . ,

yra 2-priklausomi.

1.4 Sąlyginės charakteristikosTegu X yra atsitiktinis dydis, apibrėžtas tikimybinėje erdvėje (Ω,F , P ) ir E|X| < ∞. TeguG ⊂ F yra σ-algebra.

Atsitiktinio dydžioX sąlyginis vidurkis vieno kurio nors įvykioB ∈ F atžvilgiu yraE(X|B) =E(X1B)/P (B), kai P (B) > 0. Jei P (B) = 0 tuomet E(X|B) galime apibrėžti bet kaip.

14

Tegu Bi, i ∈ I ⊂ F yra pilna alternatyvų (alternatyvių įvykių) šeima (dar vadinama baigčiųaibės Ω skaidiniu), t.y., Bi ∩Bj = ∅, kai i 6= j, ir⋃

i∈IBi = Ω.

Šiuo atveju sąlyginį vidurkį E(X|G) apibrėžiame formule

E(X|G) =∑i∈I

E(X|Bi)1Bi.

Bendru atveju sąlyginio vidurkio E(X|G) apibrėžimas yra šis.

• Atsitiktinio dydžio X , kuriam E|X| < ∞, sąlyginiu vidurkiu σ-algebros G ⊂ F atžvil-giu vadinsime tokį su tikimybe vienas vienareikšmiškai apibrėžtą atsitiktinį dydį E(X|G),kuriam yra išpildytos šios sąlygos:

(i) E(X|G) yra G-matus;

(ii) E(X1G) = E((E(X|G)1G) su bet kuria aibe G ∈ G.

Tuo atveju, kai σ algebra G = FY yra kokio nors a.d. Y generuota σ algebra, vietoj E(X|FY )rašome E(X|Y ) ir vadiname a.d. X sąlyginiu vidurkiu a.d. Y atžvilgiu.

Sąlyginis vidurkis turi šias savybes.

(1) E(E(X|G)) = E(X).

(2) Jei c ∈ R ir X = c b.t., tai E(X|G) = c b.t.

(3) Jei a, b ∈ R, tai E(aX + bY |G) = aE(X|G) + bE(Y |G) b.t.

(4) Jei σ-algebros FX ir G yra nepriklausomos, tai E(X|G) = EX b.t.

(5) Jei a.d. X yra G-matus, tai E(X|G) = X b.t.

(6) Jei X ≤ Y b.t., tai E(X|G) ≤ E(Y |G) b.t.

(7) |E(X|G)| ≤ E(|X|| G) b.t.

(8) Dvigubo vidurkinimo taisyklė: jei σ-algebros G1 ir G2 tenkina G1 ⊂ G2 ⊂ F , tai

E(E(X|G2)|G1) = E(X|G1) b.t.

(9) Jei Y yra G-matus, taiE(XY |G) = Y E(X|G) b.t.

(10) Jenseno nelygybė: tegu h : R → R yra iškiloji funkcija (t.y., h(λx + (1 − λ)y) ≤ λh(x) +(1− λ)h(y) su visais λ ∈ [0, 1] ir x, y ∈ R), tuomet, jei E|h(X)| <∞, tai

h(E(X|G)) ≤ E(h(X)|G) b.t.

Atskiru atveju, jei p ≥ 1 ir E|X|p <∞, tai

|E(X|G)| ≤ (E(|X|p|G))1/p.

15

(11) Kvadratinio vidurkio prasme sąlyginis vidurkis E(X|G) yra geriausia a.d. X aproksimacijaG-mačiaisiais atsitiktiniais dydžiais: jeigu E(X2) <∞, ir

D = Y : Y yra G-matus a.d. ir EY 2 <∞,tai

E(X − E(X|G))2 ≤ E(X − Y )2 bet kuriam Y ∈ D.

(12) Atsitiktinio dydžioX aproksimacijos sąlyginiu vidurkiu E(X|G) paklaida ε = X−E(X|G)tenkina sąlygą

E(ε(E(X|G)) = 0.Tikrai,

E(εE(X|G)) = E((X − E(X|G))E(X|G)) = E(XE(X|G))− E(E(X|G)E(X|G)) = 0,nes E(XE(X|G)) = E(E(XE(X|G))|G) = −E(E(X|G)E(X|G)).

• Atsitiktinio dydžio X sąlyginis skirstinys σ-algebros G atžvilgiu yra

PX(A|G) = P (X ∈ A|G) = E(1A(X)|G), A ∈ BR.

Atsitiktinio dydžio X sąlyginį skirstinį FY atžvilgiu žymime PX|Y :

PX|Y (A) = PX(A|FY ), A ∈ BR.Jei atsitiktinis vektorius (X, Y ) yra aprašomas tankio funkcija fX,Y (x, y), (x, y) ∈ R2, tai atsitik-tinio dydžio X sąlyginė tankio funkcija (kai fiksuota dydžio Y reikšmė y) yra

fX|Y (x|y) = fX,Y (x, y)fY (y) , x, y ∈ R;

čia fY (y) yra atsitiktinio dydžio Y marginalioji tankio funkcija: fY (y) =∫∞−∞ fX,Y (x, y) dx, y ∈

R. Pažymėjęg(y) =

∫ ∞−∞

xfX|Y (x|y) dx, y ∈ R,

apibrėžiame Z = g(Y ). TuometE(X|Y ) = g(Y ).

Tarkime, a.d. X yra apibrėžtas tikimybinėje erdvėje (Ω,F , P ) ir yra kvadratu integruojamas,E(X2) <∞. Tegu G ⊂ F yra duota σ algebra.

• Atsitiktinio dydžio X sąlygine dispersija σ-algebros G atžvilgiu, kurią žymime var(X|G),vadinamas a.d. E((X − E(X|G))2|G):

var(X|G) = E((X − E(X|G))2|G).

Tuo atveju, kai G = FY , vietoj var(X|FY ) rašysime var(X|Y ). Taigi

var(X|Y ) = E((X − E(X|Y ))2|Y ).Galima įsitiktinti, kad

var(X|G) = E(X2|G)− (E(X|G))2, var(X|Y ) = E(X2|Y )− (E(X|Y ))2.

Be to,var(X) = var(E(X|Y )) + E(var(X|Y )).

16

1.5 Pratimai1.1 pratimas. Raskite FX , kai

(a) X : ω → 1A(ω), ω ∈ Ω, A ∈ F ;

(b) X : ω → a1A(ω) + b1B(ω), ω ∈ Ω, A,B ∈ F , a, b ∈ R.

1.2 pratimas. Įrodykite, kad atsitiktinių dydžių lygybė beveik tikrai yra ekvivalentumo sąryšis.

1.3 pratimas. Įrodykite, kad atsitiktinių dydžių X ir Y skirstiniai sutampa, jei sutampa jų pasi-skirstymo funkcijos.

1.4 pratimas. Įrodykite, kad λF + (1−λ)G yra pasiskirstymo funkcija, kai F ir G yra pasiskirs-tymo funkcijos, o λ ∈ [0, 1]. Ar sandauga FG yra pasiskirstymo funkcija?

1.5 pratimas. Tegu (Xn) yra atsitiktinių dydžių seka. Įsitikinkite, kad

(a) lim supn→∞Xn yra atsitiktinis dydis;

(b) lim infn→∞Xn yra atsitiktinis dydis;

(c) aibė ω : limn→∞Xn(ω) egzistuoja yra mati;

(d) X(ω) =

limn→∞Xn(ω), jei riba egzistuoja,0, kitur.

.

Įsitikinkite, kad X yra atsitiktinis dydis.

1.6 pratimas. Įrodykite, kad λf + (1− λ)g yra tankio funkcija, kai f ir g yra tankio funkcijos, oλ ∈ [0, 1]. Ar sandauga fg yra tankio funkcija?

1.7 pratimas. Atsitiktinių dydžių

X+ = max0, X, X− = −min0, X, |X| = X+ +X−, −X

pasiskirstymo funkcijas išreiškite atsitiktinio dydžio X pasiskirstymo funkcija FX .

1.8 pratimas. Tegu X, Y yra nepriklausomi eksponentiniai atsitiktiniai dydžiai su parametru λ.Raskite E|X − Y |.

1.9 pratimas. Tegu X yra Bernulio atsitiktinis dydis, P (X = 0) = 1 − p, P (X = 1) = p. TeguY = 1−X, o Z = XY . Raskite P (X = x, Y = y) ir P (X = x, Z = z), kai x, y, z ∈ [0, 1].

1.10 pratimas. Įsitikinkite, kad jei X1, . . . , Xd yra vienoje tikimybinėje erdvėje (Ω,F , P ) api-brėžti atsitiktiniai dydžiai, tai vektorius (X1, . . . , Xd) yra (F ,BRd)-matus.

1.11 pratimas. Tarkime, vektoriaus (X, Y ) pasiskirstymo funkcija yra F . Įrodykite, kad

P (a < X ≤ b, c < Y ≤ d) = F (b, d)− F (a, d)− F (b, c) + F (a, c),

kai a < b, c < d.

17

1.12 pratimas. Tegu τ yra eksponentinis atsitiktinis dydis su parametru λ. Raskite sąlyginį vi-durkį E(τ |τ < c).

1.13 pratimas. Raskite atsitiktinio dydžio Y sąlyginę tankio funkciją ir sąlyginį vidurkį X atžvil-giu, jei poros (X, Y ) tankio funkcija yra:

(a) f(x, y) = λ2e−λy, 0 ≤ x ≤ y <∞;

(b) f(x, y) = xe−x(y+1), x, y ≥ 0.

18