Projekt pn. „Wzmocnienie potencjału dydaktycznego UMK w Toruniu w dziedzinach matematyczno-przyrodniczych”

realizowany w ramach Poddziałania 4.1.1 Programu Operacyjnego Kapitał Ludzki

Procesy stochastyczneTreść wykładów

Adam Jakubowski

UMK Toruń 2012

Projekt współfinansowany przez Unię Europejską w ramach Europejskiego Funduszu Społecznego

Spis treści

Wstęp 1

1 Istnienie procesów stochastycznych 3Nieskończone ciągi zmiennych losowych . . . . . . . . . . . . . . . . . 3Procesy stochastyczne . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3Rozkłady skończenie wymiarowe . . . . . . . . . . . . . . . . . . . . . . 4Zgodność rozkładów skończenie wymiarowych . . . . . . . . . . . . 4Twierdzenie Kołmogorowa . . . . . . . . . . . . . . . . . . . . . . . . . . 5Istnienie ciągów niezależnych zmiennych losowych . . . . . . . . . . 5Istnienie procesów gaussowskich . . . . . . . . . . . . . . . . . . . . . . 6

2 Jednorodne łańcuchy Markowa 7Definicja łańcucha Markowa . . . . . . . . . . . . . . . . . . . . . . . . 7Istnienie łańcuchów Markowa . . . . . . . . . . . . . . . . . . . . . . . 8Podstawowe wnioski z definicji . . . . . . . . . . . . . . . . . . . . . . . 9Własność Markowa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

3 Rozkłady stacjonarne dla łańcuchów Markowa 11Rozkłady brzegowe łańcuchów Markowa . . . . . . . . . . . . . . . . 11Rozkłady stacjonarne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12Istnienie rozkładów stacjonarnych . . . . . . . . . . . . . . . . . . . . 12Równanie równowagi szczegółowej . . . . . . . . . . . . . . . . . . . . 13

4 Twierdzenie ergodyczne dla łańcuchów Markowa 15Kiedy rozkład stacjonarny jest jedyny? . . . . . . . . . . . . . . . . . 15Klasyfikacja stanów . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15Nieprzywiedlny łańcuch Markowa . . . . . . . . . . . . . . . . . . . . . 16Twierdzenie ergodyczne . . . . . . . . . . . . . . . . . . . . . . . . . . . 17Algorytm Metropolisa . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

5 Twierdzenia o powracaniu dla łańcuchów Markowa 19Powracalność a prawo wielkich liczb . . . . . . . . . . . . . . . . . . 19Powroty łańcucha Markowa do ustalonego stanu I . . . . . . . . . 19Stany powracające . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

i

ii Spis treści

Symetryczne błądzenie po płaszczyźnie i w przestrzeni . . . . . . . 21

6 Twierdzenia graniczne dla łańcuchów Markowa 23Prawo wielkich liczb dla łańcuchów Markowa . . . . . . . . . . . . 23Schemat dowodu prawa wielkich liczb dla łańcuchów Markowa . 23Centralne twierdzenie graniczne dla łańcuchów Markowa . . . . 25

7 Procesy stacjonarne 27Definicja procesu stacjonarnego . . . . . . . . . . . . . . . . . . . . . 27Przekształcenie zachowujące miarę . . . . . . . . . . . . . . . . . . . . 28Zbiory i funkcje T -niezmiennicze . . . . . . . . . . . . . . . . . . . . . . 29Przykłady przekształceń zachowujących miarę . . . . . . . . . . . . 30Ułamki łańcuchowe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

8 Indywidualne twierdzenie ergodyczne 31Indywidualne twierdzenie ergodyczne . . . . . . . . . . . . . . . . . . 31Maksymalne twierdzenie ergodyczne . . . . . . . . . . . . . . . . . . . 32Przekształcenia i procesy ergodyczne . . . . . . . . . . . . . . . . . . 32

9 Kompletna losowość - proces punktowy Poissona 35Punktowy proces Poissona . . . . . . . . . . . . . . . . . . . . . . . . . 35Proces Poissona . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36Momenty skoku procesu Poissona . . . . . . . . . . . . . . . . . . . . . 38Alternatywna konstrukcja procesu Poissona . . . . . . . . . . . . . 38

10 Systemy kolejkowe i inne modele oparte na procesie Poissona 39System obsługi masowej . . . . . . . . . . . . . . . . . . . . . . . . . . . 39Systemy kolejkowe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40O systemie M/G/1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40Model Cramera- Lundberga . . . . . . . . . . . . . . . . . . . . . . . . . 41

11 L2 procesy 43L2 procesy i ich charakterystyki . . . . . . . . . . . . . . . . . . . . . 43Funkcja kowariancji L2 procesu . . . . . . . . . . . . . . . . . . . . . . 43Przykłady procesów gaussowskich . . . . . . . . . . . . . . . . . . . . 44L2 procesy stacjonarne w szerokim sensie . . . . . . . . . . . . . . . . 45Miara i gęstość spektralna L2 procesu . . . . . . . . . . . . . . . . . 46

12 Wstęp do teorii martyngałów 47Pojęcie filtracji . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47Momenty zatrzymania . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48Gra sprawiedliwa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49Martyngał jako gra sprawiedliwa . . . . . . . . . . . . . . . . . . . . . 49

Spis treści iii

13 Zbieżność martyngałów 51Nierówność maksymalna dla podmartyngałów . . . . . . . . . . . . . 51Nierówność Dooba . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52Wnioski z twierdzenia Dooba . . . . . . . . . . . . . . . . . . . . . . . . 53

14 Proces Wienera 55Definicja procesu Wienera . . . . . . . . . . . . . . . . . . . . . . . . . 55Własności trajektorii procesu Wienera . . . . . . . . . . . . . . . . . 56Martyngałowe własności procesu Wienera . . . . . . . . . . . . . . . 57Proces Wienera jako granica błądzeń losowych . . . . . . . . . . . 57

Dodatek 59Wektory losowe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59Rozkłady łączne a rozkłady brzegowe . . . . . . . . . . . . . . . . . . 60Niezależność . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60Kryteria niezależności . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60Niezależność zdarzeń . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61Całka iloczynu niezależnych zmiennych losowych . . . . . . . . . . 61Wielowymiarowe rozkłady normalne . . . . . . . . . . . . . . . . . . . 62Przestrzenie funkcji całkowalnych . . . . . . . . . . . . . . . . . . . . 63Rodzaje zbieżności funkcji mierzalnych i relacje między nimi . . . 66Warunkowa wartość oczekiwana zmiennej losowej . . . . . . . . . . 66Transformata Laplace’a . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

Literatura 69

iv Spis treści

Wstęp

Przedmiot „Procesy stochastyczne” jest przedmiotem do wyboru dla wszystkich spe-cjalności studiów II stopnia na kierunku matematyka. Jednak szczególna rola przypadamu na specjalności „Zastosowania matematyki w ekonomii i finansach”, ze względu napowszechność stosowania metod stochastycznych w tych dziedzinach nauki i gospodarki.

Celem wykładu jest zapoznanie słuchaczy z podstawowymi klasami procesów stocha-stycznych. Podczas omawiana poszczególnych klas dyskutowane są zagadnienia istnie-nia/konstrukcji procesów oraz podstawowe własności i najważniejsze twierdzenia zwią-zane z daną klasą.. Po zaliczeniu wykładu i ćwiczeń słuchacz błędzie posiadał aparatmatematyczny umożliwiający modelowanie zjawisk losowych za pomocą procesów sto-chastycznych.

Przedmiot „Procesy stochastyczne” prowadzony jest w semestrze letnim, w wymiarze30 godzin wykładu i 30 godzin ćwiczeń rachunkowych.

Zaliczenie przedmiotu polega na uzyskaniu zaliczenia ćwiczeń rachunkowych orazzdaniu egzaminu ustnego z teorii.

Ćwiczenia dydaktyczne prowadzone są w oparciu o materiały dydaktyczne AdamJakubowski „Procesy stochastyczne. Materiały do ćwiczeń”, Toruń 2012.

Niniejsze opracowanie zawiera treści przekazywane w trakcie wykładów. Najważniej-sze definicje i twierdzenia przedstawiane są w postaci zrzutu ekranowego odpowiedniejtransparencji. Podstawowy materiał uzupełniany jest komentarzami i przykładami. Za-gadnienia omawiane na wykładach, wraz z ewentualnymi uzupełnieniami, są dostępnena:

https://plas.mat.umk.pl/moodle/

w kategorii Studia stacjonarne/Procesy stochastyczne.Całość materiału podzielono na 14 jednostek, z grubsza odpowiadających dwugo-

dzinnemu wykładowi.

Literatura podstawowa przedmiotu zawiera książki:

J. Jakubowski i R. Sztencel „Wstęp do teorii prawdopodobieństwa”, Script, Warszawa2004,

S. I. Resnick, Adventures in Stochastic Processes, Birkhauser, 1994.

1

2 Wstęp

Jako literatura uzupełniająca zalecane są książki:

A.A. Borowkow, Rachunek prawdopodobieństwa, PWN, Warszawa 1975.

O. Haggstrom, Finite Markov chains and algorithmic applications, Cambridge Univer-sity Press, Cambridge 2008.

Adam Jakubowski

1. Istnienie procesów stochastycznych

Nieskończone ciągi zmiennych losowych

1.1 Przykład (Skończony schemat Bernoullego) Ω = 0, 1N , F = 2Ω, P(A) = #A#ω ,

Xk

((ω1, ω2, . . . , ωN )

)= ωk, k = 1, 2, . . . , N . Zmienne Xk ; k = 1, 2, . . . , N tworzą

skończony schemat Bernoullego z prawdopodobieństwem sukcesu p = 1/2. Czy istniejeciąg nieskończony takich zmiennych?

1.2 Przykład (Funkcje Rademachera) Ω = [0, 1], F = B1, P = ` |[0,1], fn(x) =sign sin

(2πx

), n = 1, 2, . . .. Rozwijając wzór otrzymujemy

fn(x) =

(−1)i−1 jeśli i−1

2n ¬ x <i

2n , i = 1, 2, . . . , 2n,

−1 jeśli x = 1.

Rysunek przekonuje o niezależności!

Procesy stochastyczne

3

4 1. Istnienie procesów stochastycznych

Rozkłady skończenie wymiarowe

Zgodność rozkładów skończenie wymiarowych

Niech Xt ; t ∈ T będzie procesem stochastycznym i niech S1 ⊂ S2 ⊂ T. Jeżeli przezΠS2S1 oznaczymy naturalny „rzut po współrzędnych”

RS2 3 tss∈S2 7→ tss∈S1 ∈ RS1 ,

to mamy również

PXS1 = PXS2 (ΠS2S1

)−1. (1.1)

1.5 Definicja Własność (1.1) rozkładów skończenie wymiarowych procesu stochastycz-nego nazywamy „zgodnością”.

1.6 Wniosek Zgodność w sensie (1.1) jest warunkiem koniecznym dla istnienia procesustochastycznego o zadanych własnościach rozkładów skończenie wymiarowych.

Twierdzenie Kołmogorowa o istnieniu procesu stochastycznego 5

Twierdzenie Kołmogorowa

Istnienie ciągów niezależnych zmiennych losowych

6 1. Istnienie procesów stochastycznych

Istnienie procesów gaussowskich

Niech ~X =(X1, X2, . . . , Xn

)T będzie wektorem losowym.

• E ~X jest wektorem wartości oczekiwanych współrzędnych ~X:

E ~X =(EX1,EX2, . . . ,EXn

)T.

• Cov(~X)

jest symetryczną i nieujemnie określoną macierzą o współczynnikach

Cov(Xi, Xj

)= E

(Xi − EXi

)(Xj − EXj

), i, j = 1, 2, . . . , n.

1.10 Twierdzenie

• E ~X istnieje wtedy, i tylko wtedy, gdy E‖ ~X‖ < +∞.

• Cov(~X)

istnieje wtedy, i tylko wtedy, gdy E‖ ~X‖2 < +∞.

2. Jednorodne łańcuchy Markowa

Definicja łańcucha Markowa

7

8 2. Jednorodne łańcuchy Markowa

Istnienie łańcuchów Markowa

2.2 Twierdzenie Jeżeli P jest macierzą stochastyczną na E, a π jest rozkładem praw-dopodobieństwa na E, to istnieje jednorodny łańcuch Markowa X0, X1, X2, . . . o rozkła-dzie początkowym π i macierzy prawdopodobieństw przejścia P.

Dowód: Utożsamiamy elementy przestrzeni E z podzbiorem N i sprawdzamy zgod-ność rozkładów skończenie wymiarowych indeksowanych podzbiorami N i zadanych wzo-rami

µ0,1,2,...,m((i0, i1, i2, . . . , im−1, im)

)= πi0 · pi0,i1 · pi1,i2 · . . . · pim−1,im ,

gdzie µ0,1,2,...,m jest rozkładem na

Nm = (i0, i1, i2, . . . , im−1, im) ; i0, i1, . . . im ∈ N.

Podstawowe wnioski z definicji 9

Podstawowe wnioski z definicji

Własność Markowa

10 2. Jednorodne łańcuchy Markowa

Jak formalnie wyrazić własność Markowa?Definiujemy P

(B∣∣X0, X1, . . . , Xn

)jako∑

(i0,i1,...,in)∈En+1P(B∣∣X0 = io, X1 = i1, . . . , Xn = in

)1I X0=i0,X1=i1,...,Xn=in,

i podobnieP(B∣∣Xn

)=

∑i∈En+1

P(B∣∣Xn = i

)1I Xn=i.

2.3 Twierdzenie Dla dowolnych n,m ∈ N oraz dowolnego zbioru A ⊂ Em ma miejscerówność:

P((Xn+1, Xn+2, . . . , Xn+m) ∈ A

∣∣X0, X1, . . . , Xn)

=

= P((Xn+1, Xn+2, . . . , Xn+m) ∈ A

∣∣Xn).

3. Rozkłady stacjonarne dla łańcuchówMarkowa

Rozkłady brzegowe łańcuchów Markowa

Przypomnijmy podstawowe elementy definicji łańcuchów Markowa.

• E - przeliczalny zbiór stanów.

• P = piji,j∈E - macierz prawdopodobieństw przejścia, tzn. pij ­ 0, i, j ∈ E oraz∑j∈E

pij = 1, i ∈ E.

• π = πjj∈E - rozkład początkowy.

• Jednorodny łańcuch Markowa - proces stochastyczny X0, X1, X2, . . . o rozkładachskończenie wymiarowych danych wzorem

Pπ(X0 = i0, X1 = i1, X2 = i2, . . . , Xm−1 = im−1, Xm = im

)=

= πi0 · pi0,i1 · pi1,i2 · . . . · pim−1,im .

11

12 3. Rozkłady stacjonarne dla łańcuchów Markowa

Rozkłady stacjonarne

Istnienie rozkładów stacjonarnych

3.4 Uwaga Znaleźć rozkład stacjonarny dla P, to rozwiązać układ równań liniowych

∑i∈E

πi · pij = πj , j ∈ E,

przy dodatkowym warunku ∑i∈E

πi = 1.

Nie zawsze jest to możliwe.

3.5 Przykład Błądzenie symetryczne po kracie Z. Kładziemy: E = Z,

pij =

12 gdy j = i+ 1,12 gdy j = i− 1,

0 gdy |j − i| 6= 1.

Równanie równowagi szczegółowej 13

Równanie równowagi szczegółowej

14 3. Rozkłady stacjonarne dla łańcuchów Markowa

4. Twierdzenie ergodyczne dla łańcuchówMarkowa

Kiedy rozkład stacjonarny jest jedyny?

4.1 Przykład Macierz jednostkowa I wymiaru #E jest macierzą stochastyczną. Dlatej macierzy każdy rozkład jest stacjonarny i każdy rozkład spełnia równanie równowagiszczegółowej.

4.2 Problem Kiedy istnieje dokładnie jeden rozkład stacjonarny?Odpowiedź: gdy wszystkie wiersze macierzy Q są identyczne, tzn.

δij + pij + pij(2) + . . .+ pij(n− 1)n

→ πj , dla wszystkich i, j ∈ E.

W szczególności tak będzie, gdy

pij(n)→ πj ,

dla wszystkich i, j ∈ E.

Klasyfikacja stanów

15

16 4. Twierdzenie ergodyczne dla łańcuchów Markowa

Nieprzywiedlny łańcuch Markowa

Twierdzenie ergodyczne 17

Twierdzenie ergodyczne

Najważniejsze kroki w dowodzie

4.11 Lemat Niech a1, a2, . . . , am ∈ N będą takie, że

NWD a1, a2, . . . , am = 1.

Wówczas istnieje liczba N0 taka, że każdą liczbę n ­ N0 można przedstawić w postaci

n = l1a+l2a2 + . . .+ lmam,

gdzie l1, l2, . . . , lm∈ N.

4.12 Wniosek Jeśli łańcuch jest nieprzywiedlny i nieokresowy, to istnieje N0 takie, żedla n ­ N0 wszystkie elementy macierzy Pn są dodatnie.

Algorytm Metropolisa

4.13 Problem Na E (zwykle bardzo licznym) mamy mamy rozkład π. Szukamy P owłasnościach:

(i) π jest rozkładem stacjonarnym dla P.

(ii) Pn „szybko” zmierzają do π (jak w tw. ergod.).

18 4. Twierdzenie ergodyczne dla łańcuchów Markowa

4.14 Uwaga Sposób osiągnięcia powyższych celów wymyślony został przez fizyków bli-sko 60 lat temu. W najprostszej sytuacji można go opisać w postaci algorytmu Metro-polisa. Ten i inne podobne algorytmy stanowią podstawę dynamicznych metod MonteCarlo (ang. „Markov Chain Monte Carlo”).

5. Twierdzenia o powracaniu dla łańcuchówMarkowa

Powracalność a prawo wielkich liczb

5.1 Przykład Rozważmy błądzenie losowe po liczbach całkowitych:

pij =

p jeśli j = i+ 1,

1− p =: q jeśli j = i− 1,

0 jeśli |j − i| 6= 1.

Załóżmy, że rozpoczynamy błądzenie z i = 0. Jakie wnioski można wyciągnąć na pod-stawie prawa wielkich liczb nt. liczby powrotów trajektorii do stanu i = 0 ?

Powroty łańcucha Markowa do ustalonego stanu I

19

20 5. Twierdzenia o powracaniu dla łańcuchów Markowa

Stany powracające

Symetryczne błądzenie po płaszczyźnie i w przestrzeni 21

Symetryczne błądzenie po płaszczyźnie i w przestrzeni

22 5. Twierdzenia o powracaniu dla łańcuchów Markowa

6. Twierdzenia graniczne dla łańcuchówMarkowa

Prawo wielkich liczb dla łańcuchów Markowa

6.1 Problem Łańcuchy Markowa są przykładami ciągów zależnych zmiennych loso-wych. W badaniu ich własności statystycznych nie można więc stosować zwykłych prawwielkich liczb i centralnego twierdzenia granicznego. Jak wyglądają ich odpowiedniki?

6.2 Umowa Przypomnienie: przez Eµf(X0, X1, . . .) rozumiemy wartość oczekiwaną przyrozkładzie początkowym µ.

Schemat dowodu prawa wielkich liczb dla łańcuchów Mar-kowa

• Krok 1. Ma miejsce zbieżność:

Eµf(Xn)−→Eπf(X0).

23

24 6. Twierdzenia graniczne dla łańcuchów Markowa

StądEµf(X0) + Eµf(X1) + . . .+ Eµf(Xn−1)

n−→Eπf(X0).

• Krok 2. Oznaczmy

Sn(µ, f) = f(X0)− Eµ(f(X0)) + f(X1)− Eµ(f(X1))+

+ . . .+ f(Xn−1)− Eµ(f(Xn−1)).

Wystarczy pokazać, że

Pµ(∣∣∣Sn(µ, f)

n

∣∣∣ > ε)−→ 0, ε > 0.

• Krok 3. Pokażemy, żeVarµ

(Sn(µ, f)

)n2 −→ 0.

W tym celu wystarczy pokazać, że

Varµ(Sn(µ, f)

)n

−→σ2(π, f),gdzie szereg

σ2(π, f) = Varπ(f(X0)

)+ 2

∞∑k=1

Covπ(f(X0), f(Xk)

)jest zbieżny.

• Krok 4. Szereg

σ2(π, f) = Varπ(f(X0)

)+ 2

∞∑k=1

Covπ(f(X0), f(Xk)

)jest bezwzględnie zbieżny.

• Krok 5.Varµ

(f(Xn)

)−→Varπ

(f(X0)

).

• Krok 6.Covµ

(f(Xn−j), f(Xn)

)−→Covπ

(f(X0), f(Xj)

).

• Krok 6.

Varµ(Sn+1(µ, f)

)− Varµ

(Sn(µ, f)

)=

= Varπ(f(Xn)

)+ 2

n−1∑k=0

Covπ(f(Xk), f(Xn)

)−→σ2(π, f).

Centralne twierdzenie graniczne dla łańcuchów Markowa 25

Centralne twierdzenie graniczne dla łańcuchów Mar-kowa

26 6. Twierdzenia graniczne dla łańcuchów Markowa

7. Procesy stacjonarne

Definicja procesu stacjonarnego

27

28 7. Procesy stacjonarne

Przekształcenie zachowujące miarę

Zbiory i funkcje T -niezmiennicze 29

Zbiory i funkcje T -niezmiennicze

30 7. Procesy stacjonarne

Przykłady przekształceń zachowujących miarę

7.11 Przykład Obrót o kąt 2πα Tα : S1 → S1, Tα(s) = s · e2πiα, zachowuje miaręLebesgue’a na S1.

7.12 Przykład Przekształcenie piekarza T : [0, 1)× [0, 1)→ [0, 1)× [0, 1),

T (x, y) =

(2x, y/2) dla 0 ¬ x < 1

2

(2− 2x, 1− y/2) dla 12 ¬ x < 1.

T zachowuje miarę Lebesgue’a na [0, 1)2.

Ułamki łańcuchowe

7.13 Przykład Część ułamkowa odwrotności i miara Gaussa Niech X = [0, 1]\Q(liczby niewymierne z odcinka [0, 1]). Określamy T : X → X jako część ułamkowąodwrotności:

T (x) =1x−⌊1x

⌋=1x

.

T zachowuje miarę Gaussa o gęstości pT (x) = (ln 2)−1/(1 + x).

Niech f : X → N będzie określone wzorem

f(x) =⌊1x

⌋=

1x− T (x).

Wtedy

x =1

f(x) + T (x)=

1

f(x) +1

f(T (x)) + T (T (x))

= . . .

Tak więc wartości trajektorii procesu stacjonarnego f(x), f(T (x)), f(T 2(x)), . . . tokolejne redukty rozwinięcia liczby niewymiernej x w ułamek łańcuchowy

x =1

a1(x) +1

a2(x) +1

a3(x) +1

a4(x) + · · ·

Często zapisujemy powyższy związek w postaci

x = [0; a1(x), a2(x), a3(x), . . .],

lub, w notacji Pringsheima,

x = 0 +1 || a1(x)

+1 || a2(x)

+1 || a3(x)

+ · · · .

8. Indywidualne twierdzenie ergodyczne

Indywidualne twierdzenie ergodyczne

Komentarze i uzupełnienia do tw. ergodycznego

• I dla procesu stacjonarnego X0, X1, X2, . . . składa się ze zbiorów A ∈ F , które sąrówne P-p.w. zbiorowi postaci X−1(B), gdzie B jest podzbiorem R∞ niezmienni-czym dla przesunięcia w lewo.

• Pokażemy później, że dla ciągu niezależnych zmiennych losowych o jednakowychrozkładach, E

(X0∣∣I) = EX0. Stąd wynika, że prawo wielkich liczb Kołmogorowa

wynika z tw. ergodycznego.

• Przypomnijmy, że dla całkowalnej zmiennej losowej X : (ω,FP) → (R1,B1) i σ-algebry G ⊂ F , warunkowa wartość oczekiwana E

(X∣∣G) zmiennej X względem G

jest jedyną (z dokładnością do równości P-p.w.) zmienną losową Y , która spełnianastępujące warunki:

– Y jest G-mierzalna.

– EY 1IG = EX1IG dla każdego G ∈ G.

31

32 8. Indywidualne twierdzenie ergodyczne

Maksymalne twierdzenie ergodyczne

Przekształcenia i procesy ergodyczne

Przekształcenia i procesy ergodyczne 33

34 8. Indywidualne twierdzenie ergodyczne

9. Kompletna losowość - proces punktowyPoissona

Punktowy proces Poissona

35

36 9. Kompletna losowość - proces punktowy Poissona

Proces Poissona

9.3 Przykład Rozważmy następujące obiekty:

• G = [0, T ] ⊂ R+.

• U1, U2, U3, . . . - zmienne niezależne o rozkładzie jednostajnym na [0, T ].

• ν - niezależną od Uj zmienną losową o rozkładzie Poissona Po(λ ·T ), gdzie λ > 0.

Wtedy wzór R+ ⊃ A 7→ N(A) =∑νk=1 1IA(Uk) zadaje punktowy proces Poissona na

[0, T ]. OkreślamyNt := N([0, t]), t ∈ [0, T ]

. Proces stochastyczny Ntt∈[0,T ] ma następujące własności:

• Dla dowolnych 0 ¬ s < t ¬ T Nt −Ns ∼ Po(λ(t− s)).

• Dla dowolnych 0 ¬ t1 < t2 ¬ t3 < t4 ¬ . . . ¬ t2n−1 < t2n ¬ T zmienne losowe

Nt2 −Nt1 , Nt4 −Nt3 , . . . , Nt2n −Nt2n−1

są niezależne (czyli Nt jest procesem o przyrostach niezależnych).

• Trajektorie [0, T ] 3 t 7→ Nt(ω) ∈ N są niemalejące i prawostronnie ciągłe.

Proces Poissona 37

9.5 Twierdzenie Proces Poissona istnieje.

Idea dowodu: Dla każdego k ∈ N niech Nk będzie procesem punktowym Poissona zbudo-wanym na zbiorze Gk = [k−1, k) ⊂ R+, i niech procesy Nk, k = 1, 2, . . . będą niezależne.Kładziemy:

Nt =∞∑k=1

Nk([0, t]).

Wymagane własności dostajemy wprost z definicji. Stwierdzamy również, że:

9.6 Twierdzenie Prawie wszystkie trajektorie procesu Poissona startują z wartości 0,rosną „skokami” i ich skoki ∆Nt = Nt −Nt− są równe zero lub jeden.

38 9. Kompletna losowość - proces punktowy Poissona

Momenty skoku procesu Poissona

9.9 Uwaga Można pokazać, że rozkłady skończenie wymiarowe ciągu T1, T2, T3, . . . sąidentyczne z rozkładami skończenie wymiarowymi ciągu W1,W1+W2,W1+W2+W3, . . .,gdzie W1,W2,W3, . . . są niezależne i mają rozkład wykładniczy Ex(λ). Wynika stąd wszczególności, że w procesie Poissona czasy oczekiwania T1, T2 − T1, T3 − T2, . . . są nie-zależne i mają rozkład wykładniczy Ex(λ).

Alternatywna konstrukcja procesu Poissona

9.10 Twierdzenie Niech W1,W2, . . . ,Wr. . . . ∼ Ex(λ) będą niezależne. DefiniujemyNt(ω) = 0 na zbiorze ω ; 0 ¬ t < W1 oraz Nt(ω) = k na zbiorze

ω ; W1(ω) + . . .+Wk(ω) ¬ t < W1(ω) + . . .+Wk(ω) +Wk+1(ω).

Wtedy proces Ntt∈R+ jest procesem Poissona.

10. Systemy kolejkowe i inne modele opartena procesie Poissona

System obsługi masowej

10.1 Motywacja Dany jest system obsługi masowej (serwer sieciowy, kasa w super-markecie itp.), do którego w chwilach T1, T1 +T2, T1 +T2 +T3, . . . napływają zadania dorealizacji (programy do uruchomienia, klienci itp.). Realizacja k-tego zadania wymagaczasu Sk. Uzasadnione jest założenie, że zmienne S1, S2, S3 są niezależne o jednakowychrozkładach ν, i że proces Sk jest niezależny od procesu „na wejściu”. Badane są m.in.

• Liczba zadań Qt znajdujących się w systemie (czyli długość kolejki) w chwili t(łącznie z realizowanym zadaniem).

• Średnia długość kolejki

Qt =1t

∫ t

0Qs ds, Q∞ = lim

t→∞

1t

∫ t

0Qs ds.

• Średni czas oczekiwania na realizację zadania (średni czas spędzany przez klientaw kolejce).

• Średni czas między dwoma okresami, gdy nie ma kolejki.

39

40 10. Systemy kolejkowe i inne modele

Systemy kolejkowe

O systemie M/G/1

Niech Lν(θ) - transformata Laplace’a rozkładu czasu obsługi ν.

Dla każdego n ­ 0, niech Xn będzie liczbą klientów pozostających w systemie wchwili, gdy zakończono obsługę n-tego klienta. Mamy:

Xn+1 = Xn + Yn+1 − 1I Xn>0, n ­ 0,

gdzie Yn jest liczbą klientów, którzy przybyli podczas obsługi n-tego klienta.

10.4 Lemat Zmienne losowe Y1, Y2, Y3, . . . , są niezależne i mają jednakowe rozkłady ofunkcji generującej momenty

A(z) = EzYj = Lν(λ(1− z)

),

i wartości oczekiwanej EYj = λ ·∫∞

0 x dν(x)=: ρ. Co więcej, dla każdego n ­ 0, zmienneYn+1, Yn+2, Yn+3, . . . są niezależne od X0, X1, . . . , Xn.

Model Cramera-Lundberga 41

Model Cramera- Lundberga

• Żądania odszkodowań pojawiają się w momentach T1, T1 + T2, T1 + T2 + T3, . . .,gdzie Tj ∼ Ex(λ), j = 1, 2, 3, . . . i są niezależne.

• Wysokość odszkodowania w chwili T1 + T2 + . . . + Tj wynosi Xj , gdzie Xj jestciągiem niezależnych zmiennych losowych o jednakowym rozkładzie, o skończonychE(Xj) = µ i D2(Xj) = σ2, który jest niezależny od od Tj.

• N(t) = supn ­ 1 ; T1 + T2 + . . . + Tn ¬ t jest procesem Poissona opisującymliczbę żądań odszkodowań do momentu t,

•

S(t) =

∑N(t)i=1 Xi, jeśli N(t) > 0,

0, jeśli N(t) = 0,

oznacza skumulowane kwoty wypłat towarzystwa ubezpieczeniowego do momentut,

• U(t) = u + ct − S(t) jest procesem ryzyka (niepewności), gdzie u jest kapitałempoczątkowym towarzystwa ubezpieczeniowego, a c tempem zbierania składek.

• Prawdopodobieństwo ruiny w czasie T (może być T =∞) wyraża się wzorem

Ψ(u, T ) = P(ω ; ∃t∈(0,T ]U(t, ω) < 0

).

42 10. Systemy kolejkowe i inne modele

• Zadanie:Chcemy oszacować Ψ(u, T ) w zależności od c i parametrów modelu orazzminimalizować Ψ(u, T ) przy rozsądnym c.

10.6 LematEU(t) = u+ ct− µλt = u+ (c− µλ)t.

10.7 Wniosek Rozsądnym wyborem ubezpieczyciela jest

c ­ µλ.

Niech teraz T =∞. Wtedy

Ψ(u,∞) = P(ω ; ∃t>0U(t, ω) < 0

)= P

(ω ; ∃n∈N u+ c

(T1(ω) + . . .+ Tn(ω)

)−

n∑i=1

Xi(ω) < 0)

= P(ω ; ∃n∈N u+

n∑i=1

(cTi(ω)−Xi(ω)

)< 0

)Takie prawdopodobieństwa można przybliżać stosując metodę Monte Carlo.

11. L2 procesy

L2 procesy i ich charakterystyki

Przypomnijmy, że proces stochastyczny Xtt∈T nazywamy gaussowskim, jeśli każdaskończona liniowa kombinacja

α1Xt1 + α2Xt2 + . . .+ αmXtm

ma rozkład normalny na R1 (może to być rozkład zdegenerowany do punktu).Z własności rozkładów normalnych wynika, że:

• Każdy proces gaussowski jest L2 procesem.

• Funkcje mt i K(s, t) procesu gaussowskiego Xt w pełni określają jego rozkładyskończenie wymiarowe.

Funkcja kowariancji L2 procesu

11.2 Twierdzenie Funkcja kowariancji L2 procesu jest nieujemnie określona na T×T,tzn. dla każdego wyboru chwil t1, t2, . . . , tm ∈ T i dowolnych liczb zespolonych z1, z2, . . . , zm ∈

43

44 11. L2 procesy

C1 ∑1¬j,k¬m

K(tj , tk)zj zk ­ 0.

11.3 Przykład Funkcja R+×R+ 7→ K(s, t) = σ2 ·(s∧t) ∈ R jest nieujemnie określona,bo K(s, t) = 〈es, et〉H w pewnej przestrzeni Hilberta H.

Przykłady procesów gaussowskich

11.5 Definicja Procesem Wienera (niesłusznie czasami nazywanym ruchem Browna)nazywamy scentrowany (EWt = 0) proces gaussowski o funkcji kowariancji

EWsWt = σ2 · (s ∧ t).

11.6 Wniosek Proces Wienera ma niezależne przyrosty, tzn. dla dowolnych liczb 0 <t1 < t2 < t3 < . . . < tm niezależne są zmienne losowe

Wt1 ,Wt2 −Wt1 ,Wt3 −Wt2 , . . . ,Wtm −Wtm−1 .

11.7 Uwaga Funkcja kowariancji procesu Wienera jest identyczna z funkcją kowariancjiscentrowanego procesu Poissona Xt = Nt − t, t ∈ R+.

L2 procesy stacjonarne w szerokim sensie 45

11.8 Definicja Ułamkowym ruchem Browna z parametrem Hursta H ∈ (0, 1) nazywa-my scentrowany proces gaussowski BH

t t∈R+ o funkcji kowariancji

(∗) EBHs B

Ht =

12|t|2H + |s|2H − |t− s|2H

.

11.9 Uwaga Nie jest łatwo sprawdzić, że (∗) zadaje funkcję nieujemnie określoną.

11.10 Wniosek • Ułamkowy ruch Browna z parametrem H = 1/2 jest procesemWienera.

• Dla H > 1/2 przyrosty BHt są dodatnio skorelowane.

• Dla H < 1/2 przyrosty BHt są ujemnie skorelowane.

L2 procesy stacjonarne w szerokim sensie

46 11. L2 procesy

Miara i gęstość spektralna L2 procesu

12. Wstęp do teorii martyngałów

Pojęcie filtracji

47

48 12. Wstęp do teorii martyngałów

Momenty zatrzymania

Gra sprawiedliwa 49

Gra sprawiedliwa

Martyngał jako gra sprawiedliwa

50 12. Wstęp do teorii martyngałów

12.8 Przykład Niech Z0, Z1, . . . będzie ciągiem całkowalnych i niezależnych zmiennychlosowych. Kładziemy

Xj = Z0 + Z1 + . . .+ Zj , Fj = σXi ; i ¬ j(

= σZi ; i ¬ j).

12.9 Przykład Niech X ∈ 1(P) i niech Fj będzie filtracją. Kładziemy

Xj = E(X|Fj), j ∈ N.

Martyngał, który można w taki sposób przedstawić, nazywamy regularnym.

12.10 Definicja Niech Xj będzie procesem stochastycznym, a τ momentem zatrzy-mania. Procesem zatrzymanym w momencie τ nazywamy proces Xτ

j = Xτ∧j, czyli

Xτj (ω) = Xτ(ω)∧j(ω).

12.11 Twierdzenie

• Jeżeli Xj jest adaptowany do filtracji Fj, a τ jest momentem zatrzymaniawzględem tej filtracji, to proces zatrzymany Xτ

j też jest adaptowany do Fj.

• Jeżeli Xj jest Fj-martyngałem, a τ momentem zatrzymania względem Fj,to proces zatrzymany Xτ

j też jest Fj-martyngałem.

12.12 Wniosek Dla martyngału zatrzymanego w dowolnym momencie zatrzymania τ ¬N mamy

EXτ = EXτ∧N = EXτN = EXτ

0 = EXτ∧0 = EX0.

12.13 Twierdzenie Proces stochastyczny Xj jest grą sprawiedliwą dokładnie wtedy,gdy jest martyngałem.

13. Zbieżność martyngałów

Nierówność maksymalna dla podmartyngałów

13.2 Przykład Jeśli Yj jest martyngałem, to Xj = |Yj | jest podmartyngałem.

13.3 Przykład Jeśli Yj jest martyngałem, to Xj = Y 2j jest podmartyngałem.

51

52 13. Zbieżność martyngałów

Nierówność Dooba

Wnioski z twierdzenia Dooba 53

Wnioski z twierdzenia Dooba

13.7 Wniosek (Kołmogorow, Chińczyn) Jeżeli Z1, Z2, . . . są niezależnymi zmien-nymi losowymi, EZj = 0, j = 1, 2, . . ., to warunek

∞∑j=1

EX2j < +∞

pociąga zbieżność P-p.w. i w L2(P) szeregu∑∞j=1 Zj.

13.8 Lemat (Kronecker) Jeśli szereg liczbowy∑∞n=1

ann jest zbieżny, to

a1 + a2 + . . .+ ann

→ 0.

13.9 Twierdzenie (Kołmogorow) Jeżeli Z1, Z2, . . . są niezależnymi zmiennymi loso-wymi i jeśli

∞∑n=1

D2(Zn)n2 < +∞,

to P-p.w.(Z1 − EZ1) + (Z2 − EZ2) + . . .+ (Zn − EZn)

n→ 0.

54 13. Zbieżność martyngałów

14. Proces Wienera

Definicja procesu Wienera

Przypomnijmy, że zdefiniowaliśmy proces Wienera jako scentrowany proces gaussow-ski Wtt∈R+ o funkcji kowariancji

EWsWt = σ2 · (s ∧ t).

Z tej definicji wynika, że:

• W0 = 0 P-p.w.

• Przyrosty procesu Wienera

Wt1 ,Wt2 −Wt1 ,Wt3 −Wt2 , . . . ,Wtm −Wtm−1 ,

są niezależne.

• Przyrosty są również stacjonarne:

Wt −Ws ∼Wt−s ∼ N (0, σ2(t− s)).

• Proces Wienera jest martyngałem względem filtracji naturalnej Ft

14.1 Twierdzenie Niech Wtt∈R+ będzie procesem Wienera. Istnieje ciągła modyfi-kacja W ′tt∈R+ procesu Wt. Innymi słowy,

• Dla każdego t ∈ R+ zmienna losowa W ′t jest modyfikacją Wt, tzn.

P(Wt = W ′t) = 1,

• Prawie wszystkie trajektorie

Ω 3 ω 7→ W ′t(ω) ; t ∈ R+ ∈ (R1)R+

są ciągłe jako funkcje od t ∈ R+.

14.2 Uwagi • W ′t jest mierzalna względem uzupełnionej σ-algebry Ft.

• W ′t zadaje odwzorowanie z Ω do przestrzeni C(R+ : R1).

55

56 14. Proces Wienera

14.3 Twierdzenie Jeżeli proces stochastyczny Xt, ma przyrosty niezależne i stacjo-narne oraz ciągłe trajektorie, to Xt jest procesem Wienera dla pewnego σ2 ­ 0.

Powyższe twierdzenia pozwalają podać następującą, często bardziej przydatną, defi-nicję procesu Wienera.

Własności trajektorii procesu Wienera

Martyngałowe własności procesu Wienera 57

Martyngałowe własności procesu Wienera

Proces Wienera jako granica błądzeń losowych

Niech Z1, Z2, . . . , będzie ciągiem niezależnych zmiennych losowych o jednakowymrozkładzie,

EZj = 0,EZ2j = σ2.

Określamy procesy sum częściowych ciągu Zj

Sn(t) =1√n

[nt]∑j=1

Zj , t ∈ R+,

oraz procesy łamanych losowych

Sn(t) = Sn(k − 1n

) + n(t− k − 1

n

) 1√nZk, t ∈

[k − 1n

,k

n

), k = 1, 2, . . . .

14.7 Twierdzenie Rozkłady skończenie wymiarowe procesów Sn(t) i Sn(t) zmie-rzają do rozkładów skończenie wymiarowych procesu σ2Wt, gdzie Wt jest standar-dowym procesem Wienera.

W istocie można pokazać znacznie więcej.

58 14. Proces Wienera

Dodatek

Wektory losowe

15.1 Definicja Wektorem losowym nazywamy odwzorowanie

~X = (X1, X2, . . . , Xd)T : (Ω,F , P )→ Rd,

którego składowe X1, X2, . . . , Xd są zmiennymi losowymi.

15.2 Definicja Rozkład P ~X wektora losowego ~X, to prawdopodobieństwo na Rd zadanewzorem

P ~X((a1, b1]× (a2, b2]× . . .× (ad, bd]) =

= P (a1 < X1 ¬ b1, a2 < X2 ¬ b2, . . . , ad < Xd ¬ bd).

15.3 Uwaga Podobnie jak w przypadku jednowymiarowym, znajomość rozkładu wek-tora losowego pozwala obliczać wartości oczekiwane funkcji od wektora losowego Ef( ~X).

15.4 Definicja

1. Wektor losowy ~X ma rozkład dyskretny, jeśli istnieją x1,x2, . . . ∈ Rd i prawdopo-dobieństwa p1, p2, . . . ­ 0,

∑∞j=1 pj = 1, takie, że P ( ~X = xj) = pj , j = 1, 2, . . ..

2. Wektor losowy ~X ma rozkład absolutnie ciągły o gęstości p(x), jeśli dla każdegoA postaci (a1, b1]× (a2, b2]× . . .× (ad, bd]

P ( ~X ∈ A) =∫Ap(x) dx.

(Wtedy p(x) ­ 0 `d-prawie wszędzie i∫p(x) dx = 1).

59

60 Dodatek

Rozkłady łączne a rozkłady brzegowe

15.5 Definicja Rozkład P ~X wektora losowego ~X = (X1, X2, . . . , Xd)T nazywamy roz-kładem łącznym zmiennych losowych X1, X2, . . . , Xd. Rozkłady (jednowymiarowe) PX1 ,PX2 , . . . , PXd składowych wektora losowego nazywamy rozkładami brzegowymi rozkładuP ~X .

15.6 Uwaga Na ogół rozkłady brzegowe nie determinują rozkładu łącznego, tzn. istniejewiele rozkładów na Rd o tych samych rozkładach brzegowych (przykład!).

Niezależność

15.7 Definicja Zmienne losowe X1, X2, . . . , Xd są niezależne (lub stochastycznie nieza-leżne), jeśli

Ef1(X1)f2(X2) · · · fd(Xd) = Ef1(X1) · Ef2(X2) · · · · Efd(Xd).

dla dowolnego układu f1, f2, . . . , fd funkcji ograniczonych na R1 i takich, że f1(X1),f2(X2), . . . , fd(Xd) są zmiennymi losowymi.

Rodzina zmiennych losowych Xii∈I jest niezależna, jeśli każda jej skończona pod-rodzina składa się ze zmiennych losowych niezależnych.

15.8 Twierdzenie Niech X1, X2, . . . , Xd będą zmiennymi losowymi określonymi na tejsamej przestrzeni probabilistycznej (Ω,F , P ). Następujące warunki są równoważne:

(i) Zmienne X1, X2, . . . , Xd są niezależne.

(ii) Dla dowolnych liczb x1, x2, . . . , xd ma miejsce równość

P (X1 ¬ x1, X2 ¬ x2, . . . , Xd ¬ xd)= P (X1 ¬ x1)P (X2 ¬ x2) · · ·P (Xd ¬ xd).

Kryteria niezależności

15.9 Definicja Dystrybuantą wektora losowego ~X nazywamy funkcję

Rd 3 x = (x1, x2, . . . , xd)T 7→ F ~X(x) = P (X1 ¬ x1, X2 ¬ x2, . . . , Xd ¬ xd).

15.10 Uwaga Na mocy warunku (ii) twierdzenia 15.8, zmienne losowe są niezależnedokładnie wtedy, gdy dystrybuanta ich rozkładu łącznego jest iloczynem dystrybuantrozkładów brzegowych. W dalszym ciągu nie będziemy jednak zajmować się dystrybu-antami rozkładów na Rd, gdyż są one znacznie mniej wygodnym narzędziem niż dystry-buanty na R1.

Niezależność zdarzeń 61

15.11 Fakt Jeżeli zmienne losowe X1, X2, . . . , Xd są niezależne, to dla (prawie) dowol-nych funkcji g1, g2, . . . , gd, zmienne losowe

g1(X1), g2(X2), . . . , gd(Xd)

też są niezależne.

15.12 Twierdzenie Niech rozkłady zmiennych X1, X2, . . . , Xd będą dyskretne.Zmienne losowe X1, X2, . . . , Xd są niezależne dokładnie wtedy, gdy dla dowolnych

x1, x2, . . . , xd ∈ R1 ma miejsce związek

P (X1 = x1, X2 = x2, . . . , Xd = xd)

= P (X1 = x1)P (X2 = x2) · · ·P (Xd = xd).

15.13 Twierdzenie Niech rozkłady zmiennych X1, X2, . . . , Xd będą absolutnie ciągłe zgęstościami p1(x), p2(x), . . . , pd(x).

Zmienne losowe X1, X2, . . . , Xd są niezależne dokładnie wtedy, gdy rozkład łącznytych zmiennych jest absolutnie ciągły i jego gęstość ma postać

p ~X(x1, x2, . . . , xd) = p1(x1)p2(x2) · · · pd(xd).

Niezależność zdarzeń

15.14 Definicja Rodzina zdarzeń Aii∈I jest niezależna, jeśli funkcje charakterystycz-ne IAii∈I tych zdarzeń są niezależne.

15.15 Twierdzenie Zdarzenia Aii∈I są niezależne dokładnie wtedy, gdy dla dowol-nego skończonego podzbioru I0 ⊂ I

P

( ⋂i∈I0

Ai

)= Πi∈I0P (Ai).

15.16 Definicja Zmienne losowe Xii∈I są niezależne parami, jeśli dla każdych i, j ∈ I,i 6= j, zmienne Xi i Xj są niezależne. Podobnie, zdarzenia Aii∈I sa niezależne parami,jeśli każde dwa zdarzenia Ai i Aj , i 6= j są niezależne.

15.17 Przykład Istnieją zdarzenia niezależne parami, ale zależne zespołowo (mówi otym np. przykład Bernsteina).

Całka iloczynu niezależnych zmiennych losowych

15.18 Twierdzenie (O mnożeniu wartości oczekiwanych) Jeżeli zmienne losoweX i Y są niezależne i całkowalne, to iloczyn XY jest całkowalną zmienną losową i

EXY = EX · EY.

62 Dodatek

15.19 Uwaga Bez założenia o niezależności warunek dostateczny dla całkowalności ilo-czynu XY odwołuje się do tzw. nierówności Holdera.

15.20 Wniosek Niech X1, X2, . . . , Xd będą niezależne. Jeżeli funkcje fi sa takie, że

E|fi(Xi)| < +∞, i = 1, 2, . . . , d,

toEf1(X1)f2(X2) · · · fd(Xd) = Ef1(X1) · Ef2(X2) · · · · Efd(Xd).

Wielowymiarowe rozkłady normalne

15.21 Definicja NiechX1, X2, . . . , Xd będą zmiennymi losowymi określonymi na wspól-nej przestrzeni probabilistycznej (Ω,F , P ). Mówimy, że rozkład łączny zmiennychX1, X2,. . . , Xd jest normalny, albo że wektor ~X = (X1, X2, . . . , Xd)T ma d-wymiarowy roz-kład normalny, jeśli dowolna kombinacja liniowa α1X1 + α2X2 + · · ·+ αdXd zmiennychX1, X2, . . . , Xd ma jednowymiarowy rozkład normalny, tzn.

α1X1 + α2X2 + · · ·+ αdXd ∼ N (m~α, σ2~α),

gdzie ~α = (α1, α2, . . . , αd)T .

15.22 Uwaga Dopuszczamy przypadek σ2~α = 0. Z definicji N (m, 0) = δm.

15.23 Definicja Rodzinę zmiennych losowych Xii∈I nazywamy gaussowską, jeśli dlakażdego skończonego podzbioru i1, i2, . . . , im ⊂ I zmienne Xi1 , Xi2 , . . . , Xid mają łącz-ny rozkład normalny.

15.24 Uwaga Biorąc ~α = (0, . . . , 0, 1, 0, . . . , 0)T , otrzymujemy, że składowe Xk mająrozkład N (mk, σ

2k). W ogólności,

m~α = E(α1X1 + α2X2 + · · ·+ αdXd) = E〈~α, ~X〉 = 〈~α,E ~X〉.

Podobnieσ2~α = Var (〈~α, ~X〉) = 〈~α,Cov ( ~X) ~α〉.

15.25 Twierdzenie Jeżeli m ∈ Rd i Σ jest odwzorowaniem liniowym na Rd, syme-trycznym i nieujemnie określonym, to istnieje wektor losowy ~X o rozkładzie normalnym,który spełnia związki

E ~X = m, Cov ( ~X) = Σ.

15.26 Uwaga Niech µ będzie rozkładem na Rd. Funkcja charakterystyczna µ określonajest wzorem

Rd 3 y 7→ φµ(y) :=∫Rdei〈y,x〉 dµ(x).

Funkcje charakterystyczne na Rd mają własności podobne jak w przypadku jednowy-miarowym. W szczególności, identyfikują rozkłady, tj. φµ = φν pociąga µ = ν

Przestrzenie funkcji całkowalnych 63

15.27 Twierdzenie Rozkład wektora losowego ~X jest normalny wtedy i tylko wtedy,gdy istnieje m ∈ Rd i odwzorowanie liniowe Σ : Rd → Rd, symetryczne i nieujemnieokreślone, takie że

Eei〈y,~X〉 = ei〈y,m〉−(1/2)〈y,Σy〉.

W takim przypadku, E ~X = m, Cov ( ~X) = Σ.

15.28 Uwaga Na mocy powyższego twierdzenia wielowymiarowy rozkład normalny wy-znaczony jest przez wartość oczekiwaną i operator kowariancji. Dlatego uprawnione jestoznaczenie ~X ∼ N (m,Σ).

15.29 Twierdzenie Wielowymiarowy rozkład normalny N (m,Σ) jest absolutnie ciągłydokładnie wtedy, gdy det Σ 6= 0 (tj. odwzorowanie Σ jest nieosobliwe). W takim przypadkujego gęstość wyraża się wzorem

pm,Σ(x) =1

(√

2π)d1√

det Σexp

(− 1

2〈x−m,Σ−1 (x−m〉

).

15.30 Twierdzenie Niech zmienne losowe X1, X2, . . . , Xd maja łączny rozkład normal-ny. Wówczas X1, X2, . . . , Xd są niezależne wtedy i tylko wtedy, gdy są nieskorelowane(czyli macierz Σ jest diagonalna).

Przestrzenie funkcji całkowalnych

15.31 Definicja Niech (Ω,F , µ) będzie przestrzenią z miarą. Określamy przestrzeńfunkcji całkowalnych.

L1(Ω,F , µ) = L1(µ) = f : (Ω,F)→ (R1,B1) ;∫|f | dµ < +∞.

Niech f ∼ g oznacza, że f = g µ-prawie wszędzie. Relacja ∼ jest relacją równoważnościw L1(µ). Określamy przestrzeń L1(µ) jako przestrzeń ilorazową L1(µ)/ ∼.

15.32 Lemat Niech ‖f‖1 =∫|f | dµ. Nieujemna funkcja ‖ · ‖1 jest półnormą na prze-

strzeni L1(µ), tzn. spełnia następujące dwa warunki.

1. ‖f + g‖1 ¬ ‖f‖1 + ‖g‖1, f, g ∈ L1(µ).

2. ‖a · f‖1 = |a|‖f‖1, f ∈ L1(µ), a ∈ R1.

Funkcja ‖ · ‖1 nie jest na ogół normą, gdyż ‖f‖1 = 0 pociąga jedynie f = 0 µ-prawiewszędzie. Stąd jednak wynika, że określając funkcję ‖·‖1 : L1(µ)→ R+ wzorem ‖[f ]∼‖1 =‖f‖1, definiujemy normę na L1(µ).

15.33 Twierdzenie Przestrzeń (L1(µ), ‖ · ‖1) jest zupełna (tzn. każdy ciąg Cauchy’egow normie ‖ · ‖1 jest zbieżny). Przestrzeń ta jest więc tzw. przestrzenią Banacha.

64 Dodatek

15.34 Definicja Niech (Ω,F , µ) będzie przestrzenią z miarą. Określamy przestrzeńfunkcji całkowalnych z kwadratem.

L2(Ω,F , µ) = L2(µ) = f : (Ω,F)→ (R1,B1) ;∫|f |2 dµ < +∞.

Podobnie jak w przypadku przestrzeni L1, określamy L2(µ) jako przestrzeń ilorazowąL2(µ)/ ∼, gdzie f ∼ g dokładnie wtedy, gdy f = g µ-prawie wszędzie.

15.35 Lemat Niech 〈f, g〉 =∫f · g dµ i ‖f‖2 =

√∫|f |2 dµ. Funkcja 〈f, g〉 jest formą

dwuliniową i symetryczną, a ‖·‖2 jest półnormą na przestrzeni L2(µ). Tak więc określając〈[f ]∼, [g]∼〉 = 〈f, g〉 otrzymujemy iloczyn skalarny na przestrzeni L2(µ).

15.36 Uwaga Dla funkcji całkowalnych z kwadratem o wartościach zespolonych iloczynskalarny w L2(µ) zadajemy wzorem

〈f, g〉 =∫fg dµ.

15.37 Twierdzenie Przestrzeń (L2(µ), ‖ · ‖2) jest zupełna (jest więc przestrzenią Hil-berta).

15.38 Przykład Jeżeli µ jest miarą Lebesgue’a na Rd, to odpowiednie przestrzeniefunkcyjne oznaczamy symbolami L1(Rd) i L2(Rd). Podobnie, jeśli rozważamy miaręLebesgue’a na podzbiorze A ⊂ Rd, piszemy L2(A), np. L2(0, 1), L2(0, 2π) itp.

15.39 Uwaga L1(R1) 6⊂ L2(R1) i L2(R1) 6⊂ L1(R1).

15.40 Przykład Niech Λ będzie miarą liczącą na N. Przestrzeń L1(Λ) = f : N →R1 ;

∑∞j=1 |f(j)| < +∞ oznaczamy przez l1. Podobnie, przestrzeń L2(Λ) = f : N →

R1 ;∑∞j=1 |f(j)|2 < +∞ oznaczamy przez l2.

15.41 Fakt l1 ⊂ l2, ale l2 6⊂ l1.

15.42 Fakt Jeśli µ jest miarą skończoną, to L2(µ) ⊂ L1(µ).

15.43 Definicja Przestrzeń Lp(µ), 0 < p < +∞, dla przestrzeni z miarą (Ω,F , µ)określamy jako

Lp(µ) = f : (Ω,F)→ (R1,B1) ;∫|f |p dµ < +∞.

Podobnie jak w przypadku przestrzeni L1 i L2, określamy Lp(µ) jako przestrzeń ilorazowąLp(µ)/ ∼, gdzie f ∼ g wtedy, gdy f = g µ-prawie wszędzie.

15.44 Uwagi

Przestrzenie funkcji całkowalnych 65

1. Dla 0 < p < 1, przestrzenie Lp(µ) są zupełnymi przestrzeniami metrycznymi zmetryką dp(f, g) =

∫|f − g|p dµ.

2. Dla 1 ¬ p < +∞, przestrzenie Lp(µ) są zupełnymi przestrzeniami unormowanymi(przestrzeniami Banacha) z normą określoną wzorem

‖f‖p =(∫|f |p dµ

)1/p.

Fakt, że tak określona funkcja spełnia nierówność trójkąta nie jest oczywisty.

15.45 Fakt (Nierówność Minkowskiego) Niech p ∈ [1,∞). Jeżeli‖f‖p, ‖g‖p < +∞, to

‖f + g‖p ¬ ‖f‖p + ‖g‖p.

Nierówność Minkowskiego wynika z kolei z

15.46 Fakt (Nierówność Holdera) Niech p, q > 1 będą takie, że

1p

+1q

= 1.

Dla dowolnych funkcji numerycznych na (Ω,F , µ)

∫|f | · |g| dµ ¬

(∫|f |p dµ

)1/p (∫|g|q dµ

)1/q.

15.47 Wniosek Jeżeli f ∈ Lp(µ) i g ∈ Lq(µ), gdzie 1/p+ 1/q = 1, to f · g ∈ L1(µ).

15.48 Uwaga Można pokazać, że nierówność Holdera wynika z nierówności Jensena.

15.49 Fakt (Nierówność Jensena) Niech φ : R1 → R1 będzie funkcją wypukłą. Niechµ będzie miarą probabilistyczną na (R1,B1) taką, że∫

|x| dµ(x) < +∞.

Wówczas

φ(∫x dµ(x)) ¬

∫φ(x) dµ(x).

15.50 Wniosek Jeżeli µ jest miarą probabilistyczną na R1 i 1 ¬ p ¬ r < +∞, to∫|x|p dµ(x) ¬

∫|x|r dµ(x).

66 Dodatek

Rodzaje zbieżności funkcji mierzalnych i relacje międzynimi

Ciągi funkcji mierzalnych rozważane w niniejszym paragrafie są określone na wspólnejprzestrzeni z miarą (Ω,F , µ).

15.51 Definicja Mówimy, że fn → f0 µ-prawie wszędzie, jeśli istnieje zbiór Ω0 ∈ Ftaki, że µ(Ωc

0) = 0 i dla każdego ω ∈ Ω0, fn(ω)→ f0(ω).

15.52 Definicja Ciąg fn jest zbieżny do f0 według miary, jeśli dla każdego ε > 0

µω ; |fn(ω)− f0(ω)| > ε → 0, gdy n→ +∞.

Zapisujemy: fn−→µ f0.

15.53 Definicja Zbieżność w Lp, 0 < p < +∞, to zbieżność w przestrzeni Lp(µ). Takwięc fn −→Lp f0 wtedy i tylko wtedy, gdy∫

|fn − f0|p dµ→ 0, gdy n→ +∞.

15.54 Fakt Jeżeli µ jest miarą skończoną, to zbieżność w Lr, r > 0 pociąga zbieżnośćw Lp, 0 < p ¬ r.

15.55 Fakt Zbieżność w Lp pociąga zbieżność według miary.

15.56 Uwaga Zbieżność według miary nie pociąga zbieżności w L1 ani zbieżności pra-wie wszędzie.

15.57 Fakt Jeżeli miara µ jest skończona, to zbieżność µ-prawie wszędzie pociąga zbież-ność według miary µ. Jeśli miara µ jest nieskończona, zbieżność prawie wszędzie niepociąga w ogólności zbieżności według miary.

15.58 Twierdzenie (Riesza-Fischera) Ciąg zbieżny według miary zawiera podciągzbieżny prawie wszędzie.

15.59 Wniosek Niech µ będzie miarą skończoną. Wówczas ciąg fn jest zbieżny we-dług miary do f0 wtedy i tylko wtedy, gdy w każdym podciągu fnk ciągu fn możnaznaleźć podciąg fnkl zbieżny do f0 prawie wszędzie.

Warunkowa wartość oczekiwana zmiennej losowej

15.60 Definicja Niech (Ω,F ,P) będzie przestrzenią probabilistyczną i niech G ⊂ F .Jeżeli E|X|2 < +∞, to E

(X∣∣G) jest rzutem zmiennej X na podprzestrzeń L2(Ω,G,P)

zmiennych losowych G–mierzalnych i całkowalnych z kwadratem.

Transformata Laplace’a 67

15.61 Uwaga Z definicji wynika, że dla dowolnego Y ∈ L2(Ω,G,P) X − E(X∣∣G)⊥Y ,

tzn.〈X − E

(X∣∣G), Y 〉 = E

(X − E

(X∣∣G))Y = 0.

lub równoważnieEXY = EE

(X∣∣G))Y.

Dla spełnienia powyższej równości wystarczy, aby była ona prawdziwa tylko dla Y po-staci Y = 1IC , gdzie C ∈ G.

15.62 Definicja Warunkową wartość oczekiwaną zmiennej losowej Y ∈ L1(Ω,F ,P)względem G ⊂ F określamy jako jedyną (P -p.w.) G–mierzalną zmienną losową Z taką,że dla dowolnego C ∈ G

EX1IC = EZ1IC .

15.63 Wniosek Niech G ⊂ H ⊂ F . Wtedy

E(E(X∣∣H)∣∣G) = E

(X∣∣G).

15.64 Wniosek Jeżeli Y jest G–mierzalna, |Y | ¬ K dla pewnej stałej K > 0 oraz Xjest całkowalna, to wtedy

E(Y ·X

∣∣G) = Y · E(X∣∣G).

Transformata Laplace’a

15.65 Definicja Jeżeli X ­ 0, to transformatą Laplace’a zmiennej losowej X (w istociejej rozkładu) nazywamy funkcję

R+ 3 θ 7→ LX(θ) = Ee−θX =∫ +∞

0e−θx dPX(x) ∈ R+.

15.66 Twierdzenie Jeżeli LX = LY , to PX = PY (tzn. transformata Laplace’a iden-tyfikuje rozkłady).

15.67 Twierdzenie Jeżeli X i Y są niezależnymi zmiennymi losowymi, to

LX+Y (θ) = LX(θ) · LY (θ).

15.68 Fakt Niech zmienna losowa X ma rozkład gamma Γ(α, λ) o gęstości

gα,λ(s) =λα

Γ(α)sα−1e−λs1I (0,∞)(s).

Wtedy transformata Laplace’a X ma postać

LX(θ) =(

λ

θ + λ

)α.

68 Dodatek

Literatura

Literatura podstawowa

1. J. Jakubowski i R. Sztencel „Wstęp do teorii prawdopodobieństwa”, Script, War-szawa 2004.

2. S. I. Resnick, Adventures in Stochastic Processes, Birkhauser, 1994.

Literatura uzupełniająca

1. A.A. Borowkow, Rachunek prawdopodobieństwa, PWN, Warszawa 1975.

2. O. Haggstrom, Finite Markov chains and algorithmic applications, Cambridge Uni-versity Press, Cambridge 2008.

69