Diskrete Wahrscheinlichkeitstheorie · 2016. 7. 7. · Fr 12:00{14:00 und Fr 14:00{15:00 (Interims H orsaal 1) P ichtvorlesung Bachelor IN, Bioinformatik ... Band 2 , Springer Verlag,

SS 2016

Diskrete Wahrscheinlichkeitstheorie

Susanne Albers

Fakultat fur Informatik

TU Munchen

http://wwwalbers.in.tum.de/lehre/2016SS/dwt/index.html.de

Sommersemester 2016

DWT

c Susanne Albers


Kapitel 0 Organisatorisches

Vorlesungen:

Fr 12:0014:00 und Fr 14:0015:00 (Interims Horsaal 1)P ichtvorlesung Bachelor IN, BioinformatikModulnr.: IN0018

Ubung:

2SWS Tutorubung: siehe Webseite zur UbungUbungsleitung: Marinus Gottschau, Dennis Kraft, Sebastian Schraink, Richard Stotz

Umfang:

3V+2TU, 6 ECTS-Punkte

Sprechstunde:

nach Vereinbarung

DWT 1/460c Susanne Albers

Ubungsaufgaben:

Ausgabe jeweils am Freitag auf der Webseite der Vorlesung, ab 18:00 UhrAbgabe eine Woche spater, jeweils Montag bis 10:00 Uhr, Briefkasten WestseiteUntergeschoss FMI MagistraleVorbereitung in der Tutorubungvorauss. 12 Ubungsblatter, das letzte am 08. Juli 2016, jedes 20 PunkteBonusregelung: Werden bei den ersten sechs und zweiten sechs Ubungsblatternjeweils mindestens 50% der insgesamt erreichbaren Punkte erzielt, so verbessert sichdie Note einer bestandenen Klausur um 1/3 Notenstufe.

Klausur:

Klausur am 03. August 2016, 10:3012:30 UhrWiederholungsklausur am 11. Oktober 2016, 13:3015:30 Uhrbei den Klausuren sind keine Hilfsmittel auer einem handbeschriebenenDIN-A4-Blatt zugelassen


Vorkenntnisse:

Einfuhrung in die Informatik I/IIDiskrete Strukturen

Weiterfuhrende Vorlesungen:

Eziente Algorithmen und DatenstrukturenRandomisierte AlgorithmenOnline- und ApproximationsalgorithmenKomplexitatstheorie. . .

Webseite:




1. Vorlesungsinhalt

Diskrete Wahrscheinlichkeitsraume

Wahrscheinlichkeitsraum, Ereignis, Zufallsvariablespezielle VerteilungenUngleichungen von Markov und Chebyshev

Kontinuierliche Wahrscheinlichkeitsraume

Normalverteilung, ExponentialverteilungZentraler Grenzwertsatz

Statistik

SchatzvariablenKondenzintervalleTesten von Hypothesen

Stochastische Prozesse

MarkovkettenWarteschlangen


2. Literatur

T. Schickinger, A. Steger:Diskrete Strukturen - Band 2,Springer Verlag, 2001

M. Greiner, G. Tinhofer:Stochastik fur Informatiker,Carl Hanser Verlag, 1996

H. Gordon:Discrete Probability,Springer-Verlag, 1997

M. Mitzenmacher, E. Upfal:Probability and Computing: Randomized Algorithms and Probabilistic Analysis,Cambridge University Press, 2005

DWT 2 Literatur 5/460c Susanne Albers

R. Motwani, P. Raghavan:Randomized Algorithms,Cambridge University Press, 1995

M. Hofri:Probabilistic Analysis of Algorithms,Springer Verlag, 1987

L. Fahrmeir, R. Kunstler, I. Pigeot, G. Tutz:Statistik - Der Weg zur Datenanalyse,Springer-Verlag, 1997


3. Einleitung

Was bedeutet Zufall?

Unkenntnis uber den Ausgang eines durchgefuhrten Experiments

Ein Experiment wird vielfach mit eventuell sich anderndem Ergebnis ausgefuhrt

Ereignisse stehen in keinem kausalen Zusammenhang

physikalischer Zufall (Rauschen, Kernzerfall)


Zufall in der diskreten InformatikDie Eingabe fur einen bestimmten Algorithmus wird aus einer groen Mengemoglicher Eingaben zufallig gewahlt:

average case

Kombination von Worst-Case- und Average-Case-Analyse, in der Eingaben gemaeiner Verteilung leicht pertubiert werden:

smoothed analysis

Der Algorithmus verwendet Zufallsbits, um mit groer Wahrscheinlichkeit gewisseProblemsituationen zu vermeiden:

Randomisierung


Kapitel I Diskrete Wahrscheinlichkeitsraume

1. Grundlagen

Denition 1

1 Ein diskreter Wahrscheinlichkeitsraum ist durch eine Ergebnismenge = f!1; !2; : : :g von Elementarereignissen gegeben.

2 Jedem Elementarereignis !i ist eine (Elementar-)Wahrscheinlichkeit Pr[!i]zugeordnet, wobei wir fordern, dass 0 Pr[!i] 1 undX

!2Pr[!] = 1:


3 Eine Menge E heit Ereignis. Die Wahrscheinlichkeit Pr[E] eines Ereignissesist durch

Pr[E] :=X!2E

Pr[!]

deniert.


Beispiel 2

Zwei faire Wurfel (einer wei, einer schwarz) werden geworfen. Wir sind an derGesamtzahl der angezeigten Augen interessiert:

= f (1; 1); (1; 2); (1; 3); (1; 4); (1; 5); (1; 6);

(2; 1); (2; 2); (2; 3); (2; 4); (2; 5); (2; 6);

(3; 1); (3; 2); (3; 3); (3; 4); (3; 5); (3; 6);

(4; 1); (4; 2); (4; 3); (4; 4); (4; 5); (4; 6);

(5; 1); (5; 2); (5; 3); (5; 4); (5; 5); (5; 6);

(6; 1); (6; 2); (6; 3); (6; 4); (6; 5); (6; 6) g


1 Die Wahrscheinlichkeit Pr((i; j)) eines jeden Elementarereignisses (i; j) ist 136 .

2 Die Wahrscheinlichkeit Pr(E) des Ereignisses

E = fDie Gesamtzahl der Augen ist 10g

ist 112 .


Wir hatten aber auch sagen konnen:

= f2; 3; 4; : : : ; 10; 11; 12g

Die Wahrscheinlichkeiten der Elementarereignisse sind dann aber nicht mehr gleich. Esist z.B.

1 Pr(2) = 136 ;

2 Pr(4) = 112 ;

3 Pr(7) = 16 .


Beispiel 3

Eine faire Munze wird so lange geworfen, bis die gleiche Seite zweimal hintereinanderfallt. Dann ist

= fhh, tt, htt, thh, thtt, hthh, hthtt, ththh, : : :g

Frage: Was sind die Wahrscheinlichkeiten der einzelnen Elementarereignisse?


E heit komplementares Ereignis zu E.Allgemein verwenden wir bei der Denition von Ereignissen alle bekannten Operatorenaus der Mengenlehre. Wenn also A und B Ereignisse sind, dann sind auch A [B,A \B, A nB etc. Ereignisse.Zwei Ereignisse A und B heien disjunkt oder auch unvereinbar, wenn A \B = ; gilt.

DWT 1 Grundlagen 15/460c Susanne Albers

Denition 4

relative Haugkeit von E :=absolute Haugkeit von E

Anzahl aller Beobachtungen

=Anzahl Eintreten von E

Anzahl aller Beobachtungen:


Denition 5Ein Wahrscheinlichkeitsraum mit = f!1; : : : ; !ng heit endlicherWahrscheinlichkeitsraum.

Bei unendlichen Wahrscheinlichkeitsraumen werden wir gewohnlich nur den Fall = N0 betrachten. Dies stellt keine groe Einschrankung dar, da wir statt einerErgebnismenge = f!1; !2; : : :g auch N0 als Ergebnismenge verwenden konnen,indem wir !i mit i 1 identizieren. Wir sagen, dass durch die Angabe derElementarwahrscheinlichkeiten ein Wahrscheinlichkeitsraum auf deniert ist.


Beispiel 6

Wir beobachten die an einer Strae in Bayern vorbeifahrenden Autos. Dabei gelte:

1 Es fahren doppelt so viele Autos von links nach rechts wie von rechts nach links.

2 Von zehn Autos haben zwei die Farbe hellelfenbein, die ubrigen eine andereLackierung.

Das Ereignis \Wir beobachten ein von links nach rechts fahrendes Auto" hat dieWahrscheinlichkeit 2

3 .

Das Ereignis \Das nachste Auto ist ein Taxi von rechts" passiert mitWahrscheinlichkeit

1

3 15:

DWT 1 Grundlagen 18/460c Susanne Albers

Beispiel 7 (Unendlicher Wahrscheinlichkeitsraum)

Wir betrachten eine Munze, die mit Wahrscheinlichkeit p Kopf zeigt und mitWahrscheinlichkeit q := 1 p Zahl.Wir fuhren Versuche aus, indem wir die Munze wiederholt solange werfen, bis Zahl fallt.Das Ergebnis eines solchen Versuchs ist die Anzahl der durchgefuhrten Munzwurfe.Damit ergibt sich hier als Ergebnismenge

= N = f1; 2; 3; : : :g :


Beispiel 7 (Forts.)

Sei, fur i 2 N, !i das Elementarereignis

!i b= Die Munze wird i-mal geworfen :

Dann gilt:Pr[!i] = pi1q ;

und X!2

Pr[!] =1Xi=1

pi1q = q 1Xi=0

pi =q

1 p= 1 :

(wie es sein soll!)


Lemma 8Fur Ereignisse A;B;A1; A2; : : : gilt:

1 Pr[;] = 0, Pr[] = 1.

2 0 Pr[A] 1.

3 Pr[ A] = 1 Pr[A].

4 Wenn A B, so folgt Pr[A] Pr[B].


Lemma 8 (Forts.)

5 (Additionssatz) Wenn die Ereignisse A1; : : : ; An paarweise disjunkt sind (also wenn furalle Paare i 6= j gilt, dass Ai \Aj = ;), so folgt

Pr

"n[i=1

Ai

#=

nXi=1

Pr[Ai]:

Fur disjunkte Ereignisse A, B erhalten wir insbesondere

Pr[A [B] = Pr[A] + Pr[B] :

Fur eine unendliche Menge von disjunkten Ereignissen A1; A2; : : : gilt analog

Pr

" 1[i=1

Ai

#=

1Xi=1

Pr[Ai] :


Beweis:Die Aussagen folgen unmittelbar aus Denition 1, den Eigenschaften der Addition undder Denition der Summe.


Eigenschaft 5 in Lemma 8 gilt nur fur disjunkte Ereignisse. Fur den allgemeinen Fallerhalten wir folgenden

Satz 9 (Siebformel, Prinzip der Inklusion/Exklusion)

Fur Ereignisse A1; : : : ; An (n 2) gilt:

Pr

"n[i=1

Ai

#=

nXi=1

Pr[Ai]X

1i1<i2nPr[Ai1 \Ai2 ] + : : :

+ (1)l1X

1i1<:::<ilnPr[Ai1 \ : : : \Ail ] + : : :

+ (1)n1 Pr[A1 \ : : : \An] :


Satz 9 (Forts.)

Insbesondere gilt fur zwei Ereignisse A und B

Pr[A [B] = Pr[A] + Pr[B] Pr[A \B] :

Fur drei Ereignisse A1, A2 und A3 erhalten wir

Pr[A1 [A2 [A3] = Pr[A1] + Pr[A2] + Pr[A3]

Pr[A1 \A2] Pr[A1 \A3]

Pr[A2 \A3]

+Pr[A1 \A2 \A3] :


Beweis:Wir betrachten zunachst den Fall n = 2. Dazu setzen wir C := A nB = A n (A \B).Gema dieser Denition gilt, dass C und A \B sowie C und B disjunkt sind. Deshalbkonnen wir Eigenschaft 5 von Lemma 8 anwenden:

Pr[A] = Pr[C [ (A \B)] = Pr[C] + Pr[A \B] :

Wegen A [B = C [B folgt daraus

Pr[A [B] = Pr[C [B] = Pr[C] + Pr[B] =

Pr[A] Pr[A \B] + Pr[B]

und wir haben die Behauptung fur n = 2 gezeigt.


Beweis (Forts.):

Der Fall n = 3:

A1 A2

A3Ω

Man beachte, dass durch die im Satz angegebene Summe jedes Flachenstuckinsgesamt genau einmal gezahlt wird.


Beweis (Forts.):

Der allgemeine Fall kann nun durch Induktion uber n gezeigt werden (was wir aber hiernicht ausfuhren!).

Satz 9 ndet man manchmal auch unter der Bezeichung Satz von Poincare-Sylvester,nach dem Franzosen

Jules Henri Poincare (18541912)

und dem Englander

James Joseph Sylvester (18141897)

benannt.


Boolesche Ungleichung:Die folgende Abschatzung ist nach George Boole (18151864) benannt:

Korollar 10Fur Ereignisse A1; : : : ; An gilt

Pr

"n[i=1

Ai

#

nXi=1

Pr[Ai] :

Analog gilt fur eine unendliche Folge von Ereignissen A1; A2; : : :, dass

Pr

" 1[i=1

Ai

#

1Xi=1

Pr[Ai] :


Beweis:Zunachst betrachten wir die linke Seite der Ungleichung fur den endlichen Fall underhalten

Pr

"n[i=1

Ai

#=

X!2Sn

i=1 Ai

Pr[!] :

Fur die rechte Seite giltnXi=1

Pr[Ai] =nXi=1

X!2Ai

Pr[!] :

Jedes Elementarereignis kommt links also genau einmal und rechts mindestens einmalvor.


1.1 Wahl der Wahrscheinlichkeiten

Frage: Wie konnen Wahrscheinlichkeiten sinnvoll festgelegt werden?

Prinzip von Laplace (Pierre Simon Laplace (17491827)): Wenn nichts dagegenspricht, gehen wir davon aus, dass alle Elementarereignisse gleich wahrscheinlich sind.Also:

Pr[E] =jEjjj


1.2 Historische Anfange der Wahrscheinlichkeitstheorie

Die ersten Hinweise auf mathematische Untersuchungen zu Problemen derWahrscheinlichkeitstheorie nden sich in einem Briefwechsel zwischen denfranzosischen Mathematikern

Pierre Fermat (16011665)

und

Blaise Pascal (16231662).

Pascal beschaftigte sich neben der Mathematik auch mit Fragestellungen aus demBereich der Physik und auch aus der Informatik! Sein Vater hatte als Steuerinspektorin Rouen umfangreiche Rechnungen durchzufuhren und so wurde Pascal zum Bau einermechanischen Rechenmaschine, der so genannten Pascaline, motiviert.

DWT 1.2 Historische Anfange der Wahrscheinlichkeitstheorie 32/460c Susanne Albers

In dem Briefwechsel taucht bereits der Ansatz Pr[E] = jEj=jj zur Berechnung derWahrscheinlichkeit von E auf. Auch den Begri des Erwartungswerts kann man dortschon nden. Weder Fermat noch Pascal publizierten ihre Uberlegungen zurWahrscheinlichkeitstheorie. Der Niederlander

Christiaan Huygens (16291695)

entwickelte ebenfalls Methoden zum Arbeiten mit Wahrscheinlichkeiten aus. Erpublizierte im Jahre 1657 auch eine kleine Arbeit mit dem Titel

"De ratiociniis in ludo

aleae\ (Uber die Gesetzmaigkeiten beim Wurfelspiel).


2. Bedingte Wahrscheinlichkeiten

Beispiel 11

A und B spielen Poker (52 Karten, 5 Karten pro Spieler, keine getauschten Karten).A halt vier Asse und eine Herz Zwei in der Hand. B kann dieses Blatt nur uberbieten,wenn er einen Straight Flush (funf Karten einer Farbe in aufsteigender Reihenfolge)hat. Die Wahrscheinlichkeit fur das Ereignis F :=

"B hat einen Straight Flush\ betragt

Pr[F ] =jF jjj =

3 8 + 75255

=31

1533939= 2;02:: 105:

DWT 2 Bedingte Wahrscheinlichkeiten 34/460c Susanne Albers

Beispiel 11 (Forts.)

A hat die Karten allerdings gezinkt und wei, dass B nur Kreuz in der Hand halt.Bezeichne nun 0 den Wahrscheinlichkeitsraum aller Moglichkeiten fur B und F 0 dasEreignis, dass B einen Straight Flush der Farbe Kreuz hat:

Pr[F 0] =jF 0jj0j =

8125

= 8

792 0;01 !!


Fur Pr[AjB] erforderliche Eigenschaften:

1 Pr[BjB] = 1;

2 Pr[Aj] = Pr[A];

3 fur festes B ist Pr[AjB] proportional zu Pr[A \B].

Denition 12A und B seien Ereignisse mit Pr[B] > 0. Die bedingte Wahrscheinlichkeit Pr[AjB]von A gegeben B ist deniert als

Pr[AjB] :=Pr[A \B]

Pr[B]:


Die bedingten Wahrscheinlichkeiten Pr[jB] bilden fur ein beliebiges Ereignis B mit Pr[B] > 0 einen neuen Wahrscheinlichkeitsraum uber .Es ist leicht nachzurechnen, dass dadurch die Denition eines diskretenWahrscheinlichkeitsraums erfullt ist:X

!2Pr[!jB] =

X!2

Pr[! \B]

Pr[B]=X!2B

Pr[!]

Pr[B]=

Pr[B]

Pr[B]= 1:

Damit gelten alle Rechenregeln fur Wahrscheinlichkeiten auch fur bedingteWahrscheinlichkeiten. Beispielsweise:

Pr[;jB] = 0 sowie Pr[ AjB] = 1 Pr[AjB] :


Beispiel 13 (Reskalierung bei bedingten Wahrscheinlichkeiten)

Betrachte folgenden gezinkten Wurfel:

0,0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0 1 2 3 4 5 6 7

Pr[x



Wir betrachten nun den durch B := f3; 4; 5g gegebenen bedingtenWahrscheinlichkeitsraum:

0,0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0 1 2 3 4 5 6 7

Pr[x

0,0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0 1 2 3 4 5 6 7

Pr[xjB


Was genau war die Bedingung?

Beispiel 14 (Zweikinderproblem)

Wir nehmen an, dass bei der Geburt eines Kindes beide Geschlechter gleichwahrscheinlich sind. Wir wissen, dass eine bestimmte Familie zwei Kinder hat und einesdavon ein Madchen ist. Wie gro ist die Wahrscheinlichkeit, dass beide Kinder derFamilie Madchen sind?

Naturlich 12 .

Wirklich?



Eigentlich gilt: := fmm;mj; jm; jjg

undM := fmm;mj; jmg :

Wir bedingen auf M , und damit gilt fur A := fmmg:

Pr[AjM ] =Pr[A \M ]

Pr[M ]=

1=4

3=4=

1

3:


Beispiel 15 (Ziegenproblem)

Sie nehmen an einer Spielshow im Fernsehen teil, bei der Sie eine von dreiverschlossenen Turen auswahlen sollen. Hinter einer Tur wartet der Preis, ein Auto,hinter den beiden anderen stehen Ziegen. Sie zeigen auf eine Tur, sagen wir Nummereins. Sie bleibt vorerst geschlossen. Der Moderator wei, hinter welcher Tur sich dasAuto bendet; mit den Worten \Ich gebe Ihnen mal einen kleinen Hinweis" onet ereine andere Tur, zum Beispiel Nummer drei, und eine Ziege schaut heraus undmeckert. Er fragt: \Bleiben Sie bei Nummer eins, oder wahlen sie Nummer zwei? "

Frage: Welche Strategie ist gunstiger:

S1 Der Spieler bleibt immer bei seiner ursprunglichen Wahl.

S2 Der Spieler wechselt stets die ausgewahlte Tur.


Beispiel (Forts.)

Wir betrachten hier eine Diskussion des Ziegenproblems mit Hilfe von bedingtenWahrscheinlichkeiten. Wir betrachten bei jeder Variante den Fall, dass der Spieler

a) die \richtige",

b) eine falsche Tur gewahlt hat.

Ersteres geschieht mit Wahrscheinlichkeit 13 , Letzteres mit Wahrscheinlichkeit 2

3 .Mit der vom Moderator gegebenen Information ergeben sich fur die beiden Strategiendie folgenden Gewinnwahrscheinlichkeiten:

S1 S2

a) ? ?b) ? ?


Haug verwendet man die Denition der bedingten Wahrscheinlichkeit in der Form

Pr[A \B] = Pr[BjA] Pr[A] = Pr[AjB] Pr[B] : (1)

Damit:

Satz 16 (Multiplikationssatz)

Seien die Ereignisse A1; : : : ; An gegeben. Falls Pr[A1 \ : : : \An] > 0 ist, gilt

Pr[A1 \ : : : \An] =

Pr[A1] Pr[A2jA1] Pr[A3jA1 \A2] : : :: : : Pr[AnjA1 \ : : : \An1] :


Beweis:Zunachst halten wir fest, dass alle bedingten Wahrscheinlichkeiten wohldeniert sind,da Pr[A1] Pr[A1 \A2] : : : Pr[A1 \ : : : \An] > 0.

Die rechte Seite der Aussage im Satz konnen wir umschreiben zu

Pr[A1]

1 Pr[A1 \A2]

Pr[A1] Pr[A1 \A2 \A3]

Pr[A1 \A2] : : : Pr[A1 \ : : : \An]

Pr[A1 \ : : : \An1]:

Oensichtlich kurzen sich alle Terme bis auf Pr[A1 \ : : : \An].


Beispiel 17 (Geburtstagsproblem)

Wie gro ist die Wahrscheinlichkeit, dass in einer m-kopgen Gruppe zwei Personenam selben Tag Geburtstag haben?

Umformulierung:Man werfe m Balle zufallig und gleich wahrscheinlich in n Korbe. Wie gro ist dieWahrscheinlichkeit, dass nach dem Experiment jeder Ball allein in seinem Korb liegt?

Fur das Geburtstagsproblem: n = 365


Oensichtlich muss m n sein, damit uberhaupt jeder Ball allein in einem Korb liegenkann.Wir nehmen an, dass die Balle nacheinander geworfen werden. Ai bezeichne dasEreignis

"Ball i landet in einem noch leeren Korb\. Das gesuchte Ereignis

"Alle Balle

liegen allein in einem Korb\ bezeichnen wir mit A. Nach Satz 16 konnen wir Pr[A]berechnen durch

Pr[A] = Pr [\mi=1Ai]

= Pr[A1] Pr[A2jA1] : : : Pr[Amj \m1i=1 Ai]:

Unter der Bedingung, dass die ersten j 1 Balle jeweils in einem leeren Korb gelandetsind, bedeutet Aj , dass der j-te Ball in eine der n (j 1) leeren Korbe fallen muss,die aus Symmetriegrunden jeweils mit derselben Wahrscheinlichkeit gewahlt werden.


Daraus folgt

Pr[Aj j \j1i=1 Ai] =n (j 1)

n= 1 j 1

n:

Mit der Abschatzung 1 x ex und wegen Pr[A1] = 1 erhalten wir

Pr[A] =mYj=1

1 j 1

n

mYj=2

e(j1)=n = e(1=n)Pm1

j=1 j

= em(m1)=(2n) =: f(m) :


0,0

0,2

0,4

0,6

0,8

1,0

0 50 100 150 200 250 300 350

f(m)

Verlauf von f(m) fur n = 365


Ausgehend von der Darstellung der bedingten Wahrscheinlichkeit in Gleichung 1 zeigenwir:

Satz 18 (Satz von der totalen Wahrscheinlichkeit)

Die Ereignisse A1; : : : ; An seien paarweise disjunkt und es gelte B A1 [ : : : [An.Dann folgt

Pr[B] =nXi=1

Pr[BjAi] Pr[Ai] :

Analog gilt fur paarweise disjunkte Ereignisse A1; A2; : : : mit B S1i=1Ai, dass

Pr[B] =1Xi=1

Pr[BjAi] Pr[Ai] :


Beweis:Wir zeigen zunachst den endlichen Fall. Wir halten fest, dass

B = (B \A1) [ : : : [ (B \An) :

Da fur beliebige i; j mit i 6= j gilt, dass Ai \Aj = ;, sind auch die Ereignisse B \Ai

und B \Aj disjunkt. Wegen (1) folgt Pr[B \Ai] = Pr[BjAi] Pr[Ai] (auch fur denFall, dass Pr[Ai] = 0!). Wir wenden nun den Additionssatz (Lemma 8, Teil 5) an

Pr[B] = Pr[B \A1] + : : :+ Pr[B \An] =

Pr[BjA1] Pr[A1] + : : :+ Pr[BjAn] Pr[An]

und haben damit die Behauptung gezeigt. Da der Additionssatz auch fur unendlichviele Ereignisse A1; A2; : : : gilt, kann dieser Beweis direkt auf den unendlichen Fall

ubertragen werden.


Mit Hilfe von Satz 18 erhalten wir leicht einen weiteren nutzlichen Satz:

Satz 19 (Satz von Bayes)

Die Ereignisse A1; : : : ; An seien paarweise disjunkt, mit Pr[Aj ] > 0 fur alle j. Ferner seiB A1 [ : : :[An ein Ereignis mit Pr[B] > 0. Dann gilt fur ein beliebiges i = 1; : : : ; n

Pr[AijB] =Pr[Ai \B]

Pr[B]=

Pr[BjAi] Pr[Ai]Pnj=1 Pr[BjAj ] Pr[Aj ]

:

Analog gilt fur paarweise disjunkte Ereignisse A1; A2; : : : mit B S1i=1Ai, dass

Pr[AijB] =Pr[Ai \B]

Pr[B]=

Pr[BjAi] Pr[Ai]P1j=1 Pr[BjAj ] Pr[Aj ]

:


Mit dem Satz von Bayes dreht man gewissermaen die Reihenfolge der Bedingung um.Gegeben die Wahrscheinlichkeit von B unter den Bedingungen Ai (sowie dieWahrscheinlichkeiten der Ai selbst), berechnet man die Wahrscheinlichkeit von Ai

bedingt auf das Ereignis B.

Thomas Bayes (17021761) war ein bekannter Theologe und Mitglied der RoyalSociety. Als sein bedeutendstes Werk gilt sein Beitrag zur Wahrscheinlichkeitstheorie

"Essay Towards Solving a Problem in the Doctrine of Chances\. Diese Arbeit wurdeerst 1763 publiziert.


3. Unabhangigkeit

Bei einer bedingten Wahrscheinlichkeit Pr[AjB] kann der Fall auftreten, dass dieBedingung auf B, also das Vorwissen, dass B eintritt, keinen Ein uss auf dieWahrscheinlichkeit hat, mit der wir das Eintreten von A erwarten. Es gilt alsoPr[AjB] = Pr[A], und wir nennen dann die Ereignisse A und B unabhangig.


Beispiel 20 (Zweimaliges Wurfeln)

:= f(i; j) j 1 i; j 6g :Alle Elementarereignisse erhalten nach dem Prinzip von Laplace dieWahrscheinlichkeit 1

36 .Wir denieren die Ereignisse

A := Augenzahl im ersten Wurf ist gerade;

B := Augenzahl im zweiten Wurf ist gerade;

C := Summe der Augenzahlen beider Wurfe betragt 7:

Es gilt Pr[A] = Pr[B] = 12 und Pr[C] = 1

6 . Wie gro ist Pr[BjA]?


Beispiel 20 (Forts.)Nach unserer Intuition beein usst der Ausgang des ersten Wurfs den zweiten Wurfnicht. Daher gewinnen wir durch das Eintreten von A keine Information in Bezug aufdas Ereignis B hinzu:

B \A = f(2; 2); (2; 4); (2; 6); (4; 2); (4; 4); (4; 6); (6; 2); (6; 4); (6; 6)g:

Daraus folgt

Pr[BjA] = Pr[B \A]Pr[A]

=93612

=1

2= Pr[B] :

Das Eintreen des Ereignisses B hat mit dem Ereignis A"nichts zu tun\.

DWT 3 Unabhangigkeit 56/460c Susanne Albers

Denition 21Die Ereignisse A und B heien unabhangig, wenn gilt

Pr[A \B] = Pr[A] Pr[B] :

Falls Pr[B] 6= 0, so konnen wir diese Denition zu

Pr[A] =Pr[A \B]

Pr[B]= Pr[AjB]

umschreiben.


Beispiel 20 (Zweimaliges Wurfeln, Forts.)

Zur Erinnerung:




Bei den Ereignissen A und B ist die Unabhangigkeit klar, da oensichtlich keinkausaler Zusammenhang zwischen den Ereignissen besteht. Wie steht es mit A und C?

A \ C = f(2; 5); (4; 3); (6; 1)g

und damit

Pr[A \ C] = 3

36=

1

2 16= Pr[A] Pr[C] bzw. Pr[CjA] = Pr[C] :



Also sind auch A und C (und analog B und C) unabhangig.

Bemerkung: Im Beispiel ist A \ C 6= ;.Es gilt sogar allgemein fur zwei unabhangige Ereignisse A und B mit Pr[A];Pr[B] > 0,dass sie gar nicht disjunkt sein konnen, da ansonsten

0 = Pr[;] = Pr[A \B] 6= Pr[A] Pr[B] :


Beispiel 20 (Zweimaliges Wurfeln (Forts.))

Zur Erinnerung:




Wir betrachten das Ereignis A \B \ C. Wenn A \B eintritt, so sind beidegewurfelten Augenzahlen gerade und somit ergibt auch die Summe davon eine geradeZahl. Daraus folgt Pr[A \B \ C] = 0 bzw. Pr[CjA \B] = 0 6= Pr[C]. Das EreignisA \B liefert uns also Information uber das Ereignis C.


Denition 22Die paarweise verschiedenen Ereignisse A1; : : : ; An heien unabhangig, wenn fur alleTeilmengen I = fi1; : : : ; ikg f1; : : : ; ng mit i1 < i2 < : : : < ik gilt, dass

Pr[Ai1 \ : : : \Aik ] = Pr[Ai1 ] : : : Pr[Aik ]: (2)

Eine unendliche Familie von paarweise verschiedenen Ereignissen Ai mit i 2 N heitunabhangig, wenn (2) fur jede endliche Teilmenge I N erfullt ist.


Lemma 23Die (paarweise verschiedenen) Ereignisse A1; : : : ; An sind genau dann unabhangig,wenn fur alle (s1; : : : ; sn) 2 f0; 1gn gilt, dass

Pr[As11 \ : : : \Asn

n ] = Pr[As11 ] : : : Pr[Asn

n ]; (3)

wobei A0i =

Ai und A1i = Ai.


Beweis:Zunachst zeigen wir, dass aus (2) die Bedingung (3) folgt. Wir beweisen dies durchInduktion uber die Anzahl der Nullen in s1; : : : ; sn. Wenn s1 = : : : = sn = 1 gilt, so istnichts zu zeigen. Andernfalls gelte ohne Einschrankung s1 = 0. Aus dem Additionssatzfolgt dann

Pr[ A1 \As22 \ : : : \Asn

n ] = Pr[As22 \ : : : \Asn

n ]

Pr[A1 \As22 \ : : : \Asn

n ]:

Darauf konnen wir die Induktionsannahme anwenden und erhalten

Pr[ A1 \As22 \ : : : \Asn

n ]

= Pr[As22 ] : : : Pr[Asn

n ] Pr[A1] Pr[As22 ] : : : Pr[Asn

n ]

= (1 Pr[A1]) Pr[As22 ] : : : Pr[Asn

n ];

woraus die Behauptung wegen 1 Pr[A1] = Pr[ A1] folgt.


Beweis (Forts.):

Fur die Gegenrichtung zeigen wir nur, dass aus (3) Pr[A1 \A2] = Pr[A1] Pr[A2]folgt. Es gilt wegen des Satzes von der totalen Wahrscheinlichkeit, dass

Pr[A1 \A2] =X

s3;:::;sn2f0;1gPr[A1 \A2 \As3

3 \ : : : \Asnn ]

=X

s3;:::;sn2f0;1gPr[A1] Pr[A2] Pr[As3

3 ] : : : Pr[Asnn ]

= Pr[A1] Pr[A2] X

s3=0;1

Pr[As33 ] : : :

Xsn=0;1

Pr[Asnn ]

= Pr[A1] Pr[A2];

und es folgt die Behauptung.


Aus der Darstellung in Lemma 23 folgt die wichtige Beobachtung, dass fur zweiunabhangige Ereignisse A und B auch die Ereignisse A und B (und analog auch Aund B bzw. A und B) unabhangig sind!Ebenso folgt:


Lemma 24Seien A, B und C unabhangige Ereignisse. Dann sind auch A \B und C bzw. A [Bund C unabhangig.

Beweis:Die Unabhangigkeit von A \B und C folgt unmittelbar aus Denition 22.Aus

Pr[(A [B) \ C] = Pr[(A \ C) [ (B \ C)]= Pr[A \ C] + Pr[B \ C] Pr[A \B \ C]= Pr[C] (Pr[A] + Pr[B] Pr[A \B])

= Pr[A [B] Pr[C]

folgt die Unabhangigkeit von A [B und C.


4. Zufallsvariablen

4.1 Grundlagen

Anstatt der Ereignisse selbst sind wir oft an"Auswirkungen\ oder

"Merkmalen\ der

(Elementar)Ereignisse interessiert.

Denition 25Sei ein Wahrscheinlichkeitsraum auf der Ergebnismenge gegeben. Eine Abbildung

X : ! R

heit (numerische) Zufallsvariable.Eine Zufallsvariable X uber einer endlichen oder abzahlbar unendlichenErgebnismenge heit diskret.


Bei diskreten Zufallsvariablen ist der Wertebereich

WX := X() = fx 2 R; 9 ! 2 mit X(!) = xg

ebenfalls wieder endlich (bzw. abzahlbar unendlich).


Beispiel 26

Wir werfen eine ideale Munze drei Mal. Als Ergebnismenge erhalten wir := fH;Tg3.Die Zufallsvariable Y bezeichne die Gesamtanzahl der Wurfe mit Ergebnis

"Head\.

Beispielsweise gilt also Y (HTH) = 2 und Y (HHH) = 3. Y hat den WertebereichWY = f0; 1; 2; 3g.

DWT 4.1 Grundlagen 69/460c Susanne Albers

Fur WX = fx1; : : : ; xng bzw. WX = fx1; x2; : : :g betrachten wir (fur ein beliebiges1 i n bzw. xi 2 N) das Ereignis

Ai := f! 2 ; X(!) = xig = X1(xi):

Bemerkung: Anstelle von Pr[X1(xi)] verwendet man haug auch die SchreibweisePr[

"X = xi\]. Analog setzt man

Pr["X xi\] =

Xx2WX :xxi

Pr["X = x\]

= Pr[f! 2 ; X(!) xig] :

Oft lasst man auch die Anfuhrungszeichen weg.


Denition 27

Die FunktionfX : R 3 x 7! Pr[X = x] 2 [0; 1] (4)

nennt man (diskrete) Dichte(funktion) der Zufallsvariablen X.

Die Funktion

FX : R 3 x 7! Pr[X x] =X

x02WX :x0xPr[X = x0] 2 [0; 1] (5)

heit Verteilung(sfunktion) der Zufallsvariablen X.


Beispiel 28

Fur die Zufallsvariable Y erhalten wir

Pr[Y = 0] = Pr[TTT ] =1

8;

Pr[Y = 1] = Pr[HTT ] + Pr[THT ] + Pr[TTH] =3

8;

Pr[Y = 2] = Pr[HHT ] + Pr[HTH] + Pr[THH] =3

8;

Pr[Y = 3] = Pr[HHH] =1

8:


0,0

0,2

0,4

0,6

0,8

1,0

0 1 2 3

fY

0,0

0,2

0,4

0,6

0,8

1,0

0 1 2 3

FY

Dichte und Verteilung von Y

Bemerkung: Man kann statt auch den zugrunde liegenden Wahrscheinlichkeitsraum

uber WX betrachten.

DWT 4.1 Grundlagen 73/460c Susanne Albers

4.2 Erwartungswert und Varianz

Denition 29Zu einer Zufallsvariablen X denieren wir den Erwartungswert E[X] durch

E[X] :=Xx2WX

x Pr[X = x] =Xx2WX

x fX(x) ;

sofernP

x2WXjxj Pr[X = x] konvergiert.

Beispiel 30

E[Y ] =3Xi=0

i Pr[Y = i]

= 1 Pr[Y = 1] + 2 Pr[Y = 2] + 3 Pr[Y = 3]

= 1 38+ 2 3

8+ 3 1

8=

3

2:


Beispiel 31

Eine Munze wird so lange geworfen, bis sie zum ersten Mal"Head\ zeigt. Sei k die

Anzahl der durchgefuhrten Wurfe. Wenn k ungerade ist, zahlt der Spieler an dieBank k Euro. Andernfalls (k gerade) zahlt die Bank k Euro an den Spieler.

G :=

(k falls k ungerade;

k falls k gerade:

Wie schon gesehen, gilt dann

Pr["Anzahl Wurfe = k\] = (1=2)k :

Damit erhalten wir

E[G] =1Xk=1

(1)k1 k 1

2

k:


Da

1Xk=1

j(1)k1 kj 1

2

k

1Xk=1

k 1

2

k;

existiert der Erwartungswert E[G].Es gilt

E[G] =1Xj=1

"(2j 1)

1

2

2j1 2j

1

2

2j#

=1Xj=1

1

2

2j1 [(2j 1) j]

=1

21Xj=1

(j 1) 1

4

j1=

1

2

14

1 14

2 =2

9:

DWT 4.2 Erwartungswert und Varianz 76/460c Susanne Albers

Wird jedoch, um das Risiko zu steigern, der zu zahlende Betrag von k Euro jeweils auf2k Euro erhoht, also

G0 :=

(2k falls k ungerade;

2k falls k gerade ;

dann existiert E[G0] nicht, da

E[G0] =1Xk=1

(1)k1 2k 1

2

k=

1Xk=1

(1)k1 = +1 1 + 1 1 + : : : :


Berechnung des Erwartungswerts:

E[X] =Xx2WX

x Pr[X = x] =Xx2WX

x fX(x)

=Xx2WX

xX

!2:X(!)=x

Pr[!]

=X!2

X(!) Pr[!] :

Bei unendlichen Wahrscheinlichkeitsraumen ist dabei analog zur Denition desErwartungswerts erforderlich, dass

P!2 jX(!)j Pr[!] konvergiert (absolute

Konvergenz).


Satz 32 (Monotonie des Erwartungswerts)

Seien X und Y Zufallsvariablen uber dem Wahrscheinlichkeitsraum mitX(!) Y (!) fur alle ! 2 . Dann gilt E[X] E[Y ].

Beweis:

E[X] =X!2

X(!) Pr[!] X!2

Y (!) Pr[!] = E[Y ] :


Aus Satz 32 folgt insbesondere, dass a E[X] b gilt, wenn fur die Zufallsvariable Xdie Eigenschaft a X(!) b fur alle ! 2 erfullt ist.


4.2.1 Rechenregeln fur den Erwartungswert

Oft betrachtet man eine Zufallsvariable X nicht direkt, sondern wendet noch eineFunktion darauf an:

Y := f(X) = f X ;

wobei f : D ! R eine beliebige Funktion sei mit WX D R.

Beobachtung: f(X) ist wieder eine Zufallsvariable.


Aus

Pr[Y = y] = Pr[f! j f(X(!)) = yg] =X

x : f(x)=y

Pr[X = x]

folgt

E[f(X)] = E[Y ] =Xy2WY

y Pr[Y = y]

=Xy2WY

y X

x : f(x)=y

Pr[X = x] =Xx2WX

f(x) Pr[X = x]

=X!2

f(X(!)) Pr[!] :


Satz 33 (Linearitat des Erwartungswerts, einfache Version)

Fur eine beliebige Zufallsvariable X und a; b 2 R gilt

E[a X + b] = a E[X] + b :

Beweis:

E[a X + b] =Xx2WX

(a x+ b) Pr[X = x]

= a Xx2WX

x Pr[X = x] + b Xx2WX

Pr[X = x]

= a E[X] + b :


Satz 34Sei X eine Zufallsvariable mit WX N0. Dann gilt

E[X] =1Xi=1

Pr[X i] :

Beweis:

E[X] =1Xi=0

i Pr[X = i] =1Xi=0

iXj=1

Pr[X = i]

=1Xj=1

1Xi=j

Pr[X = i] =1Xj=1

Pr[X j] :


Denition 35Sei X eine Zufallsvariable und A ein Ereignis mit Pr[A] > 0. Die bedingteZufallsvariable XjA besitzt die Dichte

fXjA(x) := Pr[X = x j A] = Pr["X = x\ \A]Pr[A]

:

Die Denition von fXjA ist zulassig, da

Xx2WX

fXjA(x) =Xx2WX

Pr["X = x\ \A]Pr[A]

=Pr[A]

Pr[A]= 1 :

Der Erwartungswert E[XjA] der Zufallsvariablen XjA berechnet sich entsprechend:

E[XjA] =Xx2WX

x fXjA(x) :


Satz 36Sei X eine Zufallsvariable. Fur paarweise disjunkte Ereignisse A1; : : : ; An mit A1 [ : : :[An = und Pr[A1]; : : : ; Pr[An] > 0 gilt

E[X] =nXi=1

E[XjAi] Pr[Ai] :

Fur paarweise disjunkte Ereignisse A1; A2; : : : mitS1i=1Ak = und Pr[A1],

Pr[A2]; : : : > 0 gilt analog

E[X] =1Xi=1

E[XjAi] Pr[Ai];

sofern die Erwartungswerte auf der rechten Seite alle existieren und die SummeP1i=1 jE[XjAi]j Pr[Ai] konvergiert.


Beweis:

E[X] =Xx2WX

x Pr[X = x] =Xx2WX

x nXi=1

Pr[X = xjAi] Pr[Ai]

=nXi=1

Pr[Ai]Xx2WX

x Pr[X = xjAi] =nXi=1

Pr[Ai] E[XjAi]:

Der Beweis fur den unendlichen Fall verlauft analog.


Beispiel 37

Wir werfen eine Munze so lange, bis zum ersten Mal"Kopf\ erscheint. Dies geschehe

in jedem Wurf unabhangig mit Wahrscheinlichkeit p. Wir denieren dazu dieZufallsvariable X :=

"Anzahl der Wurfe\. Wir haben bereits gesehen, dass

Pr[X = k] = p(1 p)k1

und damit

E[X] =1Xk=1

k p(1 p)k1 = p 1

(1 (1 p))2=

1

p:


Beispiel 37

Andere Berechnungsmethode: (gestutzt auf Satz 36)Deniere das Ereignis

K1 := "Im ersten Wurf fallt Kopf\ :

Oensichtlich gilt E[XjK1] = 1.Nehmen wir nun an, dass im ersten Wurf nicht

"Kopf\ gefallen ist. Wir starten das

Experiment neu.


Beispiel 37

Sei X 0 die Anzahl der Wurfe bis zum ersten Auftreten von"Kopf\ im neu gestarteten

Experiment. Wegen der Gleichheit der Experimente gilt E[X 0] = E[X]. Damit schlieenwir

E[Xj K1] = 1 + E[X 0] = 1 + E[X]

und erhalten mit Satz 36:

E[X] = E[XjK1] Pr[K1] + E[Xj K1] Pr[ K1]

= 1 p+ (1 + E[X]) (1 p) :

Daraus ergibt sich wiederum E[X] = 1=p.


4.2.2 Varianz

Wir betrachten die beiden folgenden Zufallsexperimente:

1 Wir wurfeln (mit einem fairen Wurfel), bei gerader Augenzahl erhalten wir 1 Euro,bei ungerader Augenzahl mussen wir 1 Euro bezahlen.

2 Wir wurfeln (mit einem fairen Wurfel), bei 6 Augen erhalten wir 5 Euro,ansonsten mussen wir 1 Euro bezahlen.

Beobachtung:In beiden Fallen ist der erwartete Gewinn = 0.

Dennoch sind die"Schwankungen\ im ersten Fall geringer als im zweiten.


Eine nahe liegende Losung ware,E[jX j]

zu berechnen, wobei = E[X] sei. Dies scheitert jedoch meist an der"unhandlichen\

Betragsfunktion. Aus diesem Grund betrachtet man stattdessen E[(X )2], also diequadratische Abweichung vom Erwartungswert.

Denition 38Fur eine Zufallsvariable X mit = E[X] denieren wir die Varianz Var[X] durch

Var[X] := E[(X )2] =Xx2WX

(x )2 Pr[X = x] :

Die Groe :=pVar[X] heit Standardabweichung von X.


Satz 39Fur eine beliebige Zufallsvariable X gilt

Var[X] = E[X2] E[X]2 :

Beweis:Sei := E[X]. Nach Denition gilt

Var[X] = E[(X )2] = E[X2 2 X + 2]

=Xx2WX

(x2 2 x+ 2) Pr[X = x]

=Xx2WX

x2 Pr[X = x]Xx2WX

2 x Pr[X = x] +Xx2WX

2 Pr[X = x]

= E[X2] 2 E[X] + 2

= E[X2] E[X]2 :


Beispiel 40

1 Wir wurfeln (mit einem fairen Wurfel), bei gerader Augenzahl erhalten wir 1 Euro,bei ungerader Augenzahl mussen wir 1 Euro bezahlen. Es ist

= 0 und Var[X] =1

2 12 + 1

2 (1)2 = 1 :

2 Wir wurfeln (mit einem fairen Wurfel), bei 6 Augen erhalten wir 5 Euro,ansonsten mussen wir 1 Euro bezahlen.Es ist

= 0 und Var[X] =1

6 52 + 5

6 (1)2 = 5 :


Satz 41Fur eine beliebige Zufallsvariable X und a; b 2 R gilt

Var[a X + b] = a2 Var[X] :


Beweis:Aus der in Satz 33 gezeigten Linearitat des Erwartungswerts folgt E[Y + b] = E[Y ] + b.Zusammen mit der Denition der Varianz ergibt sich damit sofort

Var[Y + b] = E[(Y + b E[Y + b])2] = E[(Y E[Y ])2] = Var[Y ] :

Weiter folgt mit Satz 39:

Var[a X] = E[(aX)2] E[aX]2 = a2E[X2] (aE[X])2 = a2 Var[X] ;

und daraus zusammen die Behauptung.


Der Erwartungswert und die Varianz gehoren zu den so genannten Momenten einerZufallsvariablen:

Denition 42Fur eine Zufallsvariable X nennen wir E[Xk] das k-te Moment und E[(X E[X])k]das k-te zentrale Moment.

Der Erwartungswert ist also identisch zum ersten Moment, wahrend die Varianz demzweiten zentralen Moment entspricht.


4.3 Mehrere Zufallsvariablen

Beispiel 43

Aus einem Skatblatt mit 32 Karten ziehen wir zufallig eine Hand von zehn Kartensowie einen Skat von zwei Karten. Unter den Karten gibt es vier Buben. DieZufallsvariable X zahlt die Anzahl der Buben in der Hand, wahrend Y die Anzahl derBuben im Skat angibt. Die Werte von X und Y hangen oensichtlich starkvoneinander ab. Beispielsweise muss Y = 0 sein, wenn X = 4 gilt.

Wie kann man mit mehreren Zufallsvariablen uber demselben Wahrscheinlichkeitsraumrechnen, auch wenn sie, wie im obigen Beispiel, sehr voneinander abhangig sind?Wir untersuchen Wahrscheinlichkeiten der Art

Pr[X = x; Y = y] = Pr[f!; X(!) = x; Y (!) = yg] :

DWT 4.3 Mehrere Zufallsvariablen 96/460c Susanne Albers

Beispiel 44

Wenn wir nur die Zufallsvariable X betrachten, so gilt fur 0 x 4

Pr[X = x] =

4x

2810x

3210

:

Allgemein nennt man Zufallsvariablen mit der Dichte

Pr[X = x] =

bx

arxa+b

r

hypergeometrisch verteilt. Durch diese Dichte wird ein Experiment modelliert, bei demr Elemente ohne Zurucklegen aus einer Grundmenge der Machtigkeit a+ b mit bbesonders ausgezeichneten Elementen gezogen werden.



Die Zufallsvariable Y ist fur sich gesehen ebenfalls hypergeometrisch verteilt mit b = 4,a = 28 und r = 2.Fur X und Y zusammen gilt jedoch z.B.

Pr[X = 4; Y = 1] = 0;

und allgemein

Pr[X = x; Y = y] =

4x

2810x

4xy

28(10x)2y

3210

222

:

Bemerkung: Die Schreibweise Pr[X = x; Y = y] stellt eine Abkurzung vonPr[

"X = x ^ Y = y\] dar. Ein anderes Beispiel ist

Pr[X x; Y y1;pY = y2] :


Die FunktionfX;Y (x; y) := Pr[X = x; Y = y]

heit gemeinsame Dichte der Zufallsvariablen X und Y .Aus der gemeinsamen Dichte fX;Y kann man ableiten

fX(x) =Xy2WY

fX;Y (x; y) bzw. fY (y) =Xx2WX

fX;Y (x; y) :

Die Funktionen fX und fY nennt man Randdichten.


Die Ereignisse"Y = y\ bilden eine Partitionierung des Wahrscheinlichkeitsraumes, und

es gilt daher

Pr[X = x] =Xy2WY

Pr[X = x; Y = y] = fX(x) :

Die Dichten der einzelnen Zufallsvariablen entsprechen also genau den Randdichten.

Fur zwei Zufallsvariablen deniert man die gemeinsame Verteilung

FX;Y (x; y) = Pr[X x; Y y] = Pr[f!; X(!) x; Y (!) yg]=Xx0x

Xy0y

fX;Y (x0; y0) :


Die Randverteilung ergibt sich gema

FX(x) =Xx0x

fX(x0) =

Xx0x

Xy2WY

fX;Y (x0; y)

sowieFY (y) =

Xy0y

fY (y0) =

Xy0y

Xx2WX

fX;Y (x; y0) :


4.3.1 Unabhangigkeit von Zufallsvariablen

Denition 45Die Zufallsvariablen X1; : : : ; Xn heien unabhangig, wenn fur alle(x1; : : : ; xn) 2WX1 : : :WXn gilt

Pr[X1 = x1; : : : ; Xn = xn] = Pr[X1 = x1] : : : Pr[Xn = xn] :

Alternativ:fX1;:::;Xn(x1; : : : ; xn) = fX1(x1) : : : fXn(xn) :

Bei unabhangigen Zufallsvariablen ist also die gemeinsame Dichte gleich dem Produktder Randdichten. Ebenso gilt

FX1;:::;Xn(x1; : : : ; xn) = FX1(x1) : : : FXn(xn) :


Satz 46Seien X1; : : : ; Xn unabhangige Zufallsvariablen und S1; : : : ; Sn beliebige Mengen mitSi WXi . Dann sind die Ereignisse

"X1 2 S1\, . . . , "

Xn 2 Sn\ unabhangig.

Beweis:

Pr[X1 2 S1; : : : ; Xn 2 Sn]

=Xx12S1

: : :X

xn2SnPr[X1 = x1; : : : ; Xn = xn]

Unabh.=

Xx12S1

: : :X

xn2SnPr[X1 = x1] : : : Pr[Xn = xn]

=

0@ Xx12S1

Pr[X1 = x1]

1A : : : Xxn2Sn

Pr[Xn = xn]

!= Pr[X1 2 S1] : : : Pr[Xn 2 Sn] :


Satz 47Seien f1; : : : ; fn reellwertige Funktionen (fi : R! R fur i = 1; : : : ; n). Wenn dieZufallsvariablen X1; : : : ; Xn unabhangig sind, dann gilt dies auch furf1(X1); : : : ; fn(Xn).

Beweis:Sei zi 2Wfi(Xi) fur i = 1; : : : ; n und Si = fx; fi(x) = zig.

Pr[f1(X1) = z1; : : : ; fn(Xn) = zn]

= Pr[X1 2 S1; : : : ; Xn 2 Sn]

Unabh.= Pr[X1 2 S1] : : : Pr[Xn 2 Sn]

= Pr[f1(X1) = z1] : : : Pr[fn(Xn) = zn] :


4.3.2 Zusammengesetzte Zufallsvariablen

Beispiel 48

Ein Wurfel werde zweimal geworfen. X bzw. Y bezeichne die Augenzahl im erstenbzw. zweiten Wurf. Sei Z := X + Y die Summe der gewurfelten Augenzahlen.

Fur Z gilt z.B.:Pr[Z = 1] = Pr[;] = 0, Pr[Z = 4] = Pr[f(1; 3); (2; 2); (3; 1)g] = 3

36 .


Fur die Verteilung der Summe zweier unabhangiger Zufallsvariablen gilt der folgendeSatz:

Satz 49Fur zwei unabhangige Zufallsvariablen X und Y sei Z := X + Y . Es gilt

fZ(z) =Xx2WX

fX(x) fY (z x) :


Beweis:Mit Hilfe des Satzes von der totalen Wahrscheinlichkeit folgt, dass

fZ(z) = Pr[Z = z] =Xx2WX

Pr[X + Y = z j X = x] Pr[X = x]

=Xx2WX

Pr[Y = z x] Pr[X = x]

=Xx2WX

fX(x) fY (z x) :

Den AusdruckP

x2WXfX(x) fY (z x) aus Satz 49 nennt man in Analogie zu den

entsprechenden Begrien bei Potenzreihen auch Faltung oder Konvolution der DichtenfX und fY .


Beispiel (Forts.)

Berechne die Dichte von Z = X + Y :

Pr[Z = z] =Xx2WX

Pr[X = x] Pr[Y = z x]

=6X

x=1

1

6 Pr[Y = z x] =

minf6;z1gXx=maxf1;z6g

1

36:

Fur 2 z 7 erhalten wir

Pr[Z = z] =z1Xi=1

1

36=z 1

36:

Und fur 7 < z 12:

Pr[Z = z] =13 z

36:


4.3.3 Momente zusammengesetzter Zufallsvariablen

Satz 50 (Linearitat des Erwartungswerts)

Fur Zufallsvariablen X1; : : : ; Xn und X := a1X1 + + anXn mit a1; : : : ; an 2 R gilt

E[X] = a1E[X1] + + anE[Xn] :

Beweis:

E[X] =X!2

(a1 X1(!) + : : :+ an Xn(!)) Pr[!]

= a1

X!2

X1(!) Pr[!]

!+ + an

X!2

Xn(!) Pr[!]

!

= a1 E[X1] + : : :+ an E[Xn] :


Beispiel 51

n betrunkene Seeleute torkeln nach dem Landgang in ihre Kojen. Sie haben vollig dieOrientierung verloren, weshalb wir annehmen, dass jede Zuordnung der Seeleute zu denn Betten gleich wahrscheinlich ist (genau ein Seemann pro Bett). Wie viele Seeleuteliegen im Mittel im richtigen Bett?Die Anzahl der Seeleute im richtigen Bett zahlen wir mit der Zufallsvariablen X, dieals Summe der Zufallsvariablen X1; : : : ; Xn dargestellt wird, wobei

Xi :=

(1 falls Seemann i in seinem Bett liegt,

0 sonst.

Oenbar gilt X := X1 + +Xn.


Beispiel 51

Fur die Variablen Xi erhalten wir Pr[Xi = 1] = 1n , da jedes Bett von Seemann i mit

gleicher Wahrscheinlichkeit aufgesucht wird.Daraus folgt

E[Xi] = 0 Pr[Xi = 0] + 1 Pr[Xi = 1] =1

n;

und somit

E[X] =nXi=1

E[Xi] =nXi=1

1

n= 1 :

Im Mittel hat also nur ein Seemann sein eigenes Bett aufgesucht.


Satz 52 (Multiplikativitat des Erwartungswerts)

Fur unabhangige Zufallsvariablen X1; : : : ; Xn gilt

E[X1 Xn] = E[X1] E[Xn] :

Beweis:Wir beweisen den Fall n = 2. Der allgemeine Fall ist analog.

E[X Y ] =Xx2WX

Xy2WY

xy Pr[X = x; Y = y]

Unabh:=

Xx2WX

Xy2WY

xy Pr[X = x] Pr[Y = y]

=Xx2WX

x Pr[X = x]Xy2WY

y Pr[Y = y]

= E[X] E[Y ] :


Dass fur die Gultigkeit von Satz 52 die Unabhangigkeit der Zufallsvariablen wirklichnotwendig ist, sieht man beispielsweise am Fall Y = X fur eine Zufallsvariable miteiner von Null verschiedenen Varianz. Dann gilt

E[X Y ] = E[X2] 6= (E[X])2 = E[X] E[Y ] :


Denition 53Zu einem Ereignis A heit die Zufallsvariable

IA :=

(1 falls A eintritt;

0 sonst

Indikatorvariable des Ereignisses A.

Beobachtung:Fur die Indikatorvariable IA gilt nach Denition

E[IA] = 1 Pr[A] + 0 Pr[ A] = Pr[A] :

Ebenso giltE[IA1 : : : IAn ] = Pr[A1 \ : : : \An];

da das Produkt von Indikatorvariablen genau dann gleich 1 ist, wenn alleentsprechenden Ereignisse eintreten.


Beispiel (Forts.)

Wir betrachten wieder das Beispiel der total betrunkenen Matrosen.Sei Ai das Ereignis, dass der i-te Seemann im richtigen Bett liegt. Mit der Notationder Indikatorvariablen sei Xi = IAi . Dann gilt fur beliebige i; j 2 f1; : : : ; ng, i 6= j:

E[XiXj ] = E[IAiIAj ] = Pr[Ai \Aj ] =1

n(n 1);

sowieE[X2

i ] = 02 Pr[ Ai] + 12 Pr[Ai] = Pr[Ai] = 1=n:


Beispiel (Forts.)

Daraus folgt wegen der Linearitat des Erwartungswerts fur X = X1 + +Xn:

E[X2] = E

24 nXi=1

X2i +

nXi=1

Xj 6=i

XiXj

35= n 1

n+ n(n 1) 1

n(n 1)= 2 :

Fur die Varianz erhalten wir somit den Wert

Var[X] = E[X2] E[X]2 = 2 1 = 1:


Einfacher Beweis fur Satz 9 mit Hilfe von Indikatorvariablen:Zur Erinnerung:Satz 9 (Siebformel, Prinzip der Inklusion/Exklusion)Fur Ereignisse A1; : : : ; An (n 2) gilt:

Pr

"n[i=1

Ai

#=

nXi=1

Pr[Ai]X

1i1<i2nPr[Ai1 \Ai2 ] + : : :

+ (1)l1X

1i1<:::<ilnPr[Ai1 \ : : : \Ail ] + : : :

+ (1)n1 Pr[A1 \ : : : \An] :


Beweis:Zur Erinnerung: Zu Ereignissen A1; : : : ; An wollen wir die Wahrscheinlichkeit Pr[B]des Ereignisses B := A1 [ : : : [An ermitteln.Wir betrachten die Indikatorvariablen Ii := IAi der Ereignisse A1; : : : ; An und dieIndikatorvariable I B des Ereignisses B.Das Produkt

Qni=1(1 Ii) ist genau dann gleich 1, wenn I1 = : : : = In = 0, d.h.

wenn B nicht eintritt. Somit gilt I B =Qn

i=1(1 Ii) und wir erhalten:

I B = 1X

1inIi +

X1i1<i2n

Ii1Ii2 + : : :+ (1)nI1 : : : In ;

also

IB = 1 I B

=X

1inIi

X1i1<i2n

Ii1Ii2 + : : :+ (1)n1I1 : : : In :


Beweis:Wegen der Eigenschaften von Indikatorvariablen gilt

Pr[B] = 1 Pr[ B] = 1 E[I B]:

Mit Hilfe von Satz 50"verteilen\ wir den Erwartungswert auf die einzelnen Produkte

von Indikatorvariablen. Wenn wir nun E[Ii] durch Pr[Ai] und allgemein E[Ii1 : : : Iik ]durch Pr[Ai1 \ : : : \Aik ] ersetzen, haben wir Satz 9 (dieses Mal vollstandig) bewiesen.


Satz 54Fur unabhangige Zufallsvariablen X1; : : : ; Xn und X := X1 + : : :+Xn gilt

Var[X] = Var[X1] + : : :+Var[Xn] :

Beweis:Wir betrachten nur den Fall n = 2 mit den Zufallsvariablen X und Y .

E[(X + Y )2] = E[X2 + 2XY + Y 2] = E[X2] + 2E[X]E[Y ] + E[Y 2]

E[X + Y ]2 = (E[X] + E[Y ])2 = E[X]2 + 2E[X]E[Y ] + E[Y ]2

Wir ziehen die zweite Gleichung von der ersten ab und erhalten

E[(X + Y )2] E[X + Y ]2 = E[X2] E[X]2 + E[Y 2] E[Y ]2 :Mit Hilfe von Satz 39 folgt die Behauptung.


Fur abhangige Zufallsvariablen X1; : : : ; Xn gilt Satz 54 im Allgemeinen nicht. AlsBeispiel funktioniert wiederum der Fall X = Y :

Var[X + Y ] = 0 6= 2 Var[X] = Var[X] + Var[Y ] :


5. Wichtige diskrete Verteilungen

Wir diskutieren nun einige wichtige diskrete Verteilungen. Bei diesen Verteilungenhandelt es sich um Funktionen, die von gewissen Parametern abhangen. Eigentlichbetrachten wir also immer eine ganze Familie von ahnlichen Verteilungen.


5.1 Bernoulli-Verteilung

Eine Zufallsvariable X mit WX = f0; 1g und der Dichte

fX(x) =

(p fur x = 1;

1 p fur x = 0:

heit Bernoulli-verteilt. Den Parameter p nennen wir Erfolgswahrscheinlichkeit.Eine solche Verteilung erhalt man z.B. bei einer einzelnen Indikatorvariablen. Es giltmit q := 1 p

E[X] = p und Var[X] = pq;

wegen E[X2] = p und Var[X] = E[X2] E[X]2 = p p2.


Der Name der Bernoulli-Verteilung geht zuruck auf den Schweizer Mathematiker JakobBernoulli (16541705). Wie viele andere Mathematiker seiner Zeit hatte auch Bernoullinach dem Wunsch seines Vaters ursprunglich Theologe werden sollen. Sein Werk arsconjectandi stellt eine der ersten Arbeiten dar, die sich mit dem Teil der Mathematikbeschaftigen, den wir heute als Wahrscheinlichkeitstheorie bezeichnen.

DWT 5.1 Bernoulli-Verteilung 122/460c Susanne Albers

5.2 Binomialverteilung

Eine Bernoulli-verteilte Zufallsvariable entspricht der Verteilung einerIndikatorvariablen. Haug betrachtet man jedoch Summen von Indikatorvariablen.

Denition 55Sei X := X1 + : : :+ Xn als Summe von n unabhangigen, Bernoulli-verteiltenZufallsvariablen mit gleicher Erfolgswahrscheinlichkeit p deniert. Dann heit Xbinomialverteilt mit den Parametern n und p. In Zeichen schreiben wir

X Bin(n; p) :


Es gilt WX = f0; : : : ; ng. Die Binomialverteilung besitzt die Dichte

fX(x) := b(x;n; p) =

n

x

pxqnx

mit q := 1 p. Da die Binomialverteilung eine sehr wichtige Rolle spielt, fuhren wir furdie Dichtefunktion die Abkurzung b(x;n; p) ein.

Mit den Satzen uber Erwartungswert und Varianz von Summen unabhangigerZufallsvariablen erhalten wir sofort

E[X] = np und Var[X] = npq :

DWT 5.2 Binomialverteilung 124/460c Susanne Albers

0,0

0,1

0,2

0,3

0,4

0 1 2 3 4 5 6 7 8 9 10

b(x; 10; 0:1)

0,0

0,1

0,2

0,3

0,4

0 1 2 3 4 5 6 7 8 9 10

b(x; 10; 0:4)

0,0

0,1

0,2

0,3

0,4

0 1 2 3 4 5 6 7 8 9 10

b(x; 10; 0:7)

0,0

0,1

0,2

0,3

0,4

0 1 2 3 4 5 6 7 8 9 10

b(x; 10; 0:9)

Dichte der Binomialverteilung

DWT 5.2 Binomialverteilung 125/460c Susanne Albers

Satz 56Wenn X Bin(nx; p) und Y Bin(ny; p) unabhangig sind, dann gilt furZ := X + Y , dass Z Bin(nx + ny; p).

Beweis:Die Aussage folgt sofort, wenn man gema der Denition der Binomialverteilung Xund Y als Summen von Indikatorvariablen darstellt. Z ist dann oensichtlich wiedereine Summe von unabhangigen Indikatorvariablen.


5.3 Geometrische Verteilung

Man betrachte ein Experiment, das so lange wiederholt wird, bis Erfolg eintritt. Gelingtein einzelner Versuch mit Wahrscheinlichkeit p, so ist die Anzahl der Versuche bis zumErfolg geometrisch verteilt.

Denition 57Eine geometrisch verteilte Zufallsvariable X mit Parameter (Erfolgswahrscheinlichkeit)p 2 (0; 1] und q := 1 p hat die Dichte

fX(i) = pqi1 fur i 2 N :

Fur Erwartungswert und Varianz geometrisch verteilter Zufallsvariablen gilt

E[X] =1

pund Var[X] =

q

p2:

DWT 5.3 Geometrische Verteilung 127/460c Susanne Albers

Es gilt

E[X] =1Xi=1

i pqi1 = p 1Xi=1

i qi1 = p 1

(1 q)2=

1

p:

Ferner ist

E[X2] =1Xi=1

i2 pqi1

= p 1X

i=1

i(i+ 1) qi1 1Xi=1

i qi1!

= p

2

p3 1

p2

=

2 p

p2;

und damit Var[X] =q

p2:


0,0

0,2

0,4

0,6

0,8

1 2 3 4 5 6 7 8 9 10

p = 0;8

0,0

0,2

0,4

0,6

0,8

1 2 3 4 5 6 7 8 9 10

p = 0;6

0,0

0,2

0,4

0,6

0,8

1 2 3 4 5 6 7 8 9 10

p = 0;4

0,0

0,2

0,4

0,6

0,8

1 2 3 4 5 6 7 8 9 10

p = 0;2

Dichte der geometrischen Verteilung


Sei X wieder geometrisch verteilt mit Erfolgswahrscheinlichkeit p. Dann ist Pr[X = k]die Wahrscheinlichkeit, dass wir bei einem binaren Experiment mitErfolgswahrscheinlichkeit p genau in der k-ten unabhangigen Wiederholung das ersteMal erfolgreich sind.

Wie gro ist die Wahrscheinlichkeit Pr[X > y + x j X > x]?

Da bei den ersten x Versuchen kein Erfolg eintrat, stellen wir uns vor, dass das

"eigentliche\ Experiment erst ab dem (x+ 1)-ten Versuch beginnt. Die Zeit bis zumersten Erfolg bei diesem neuen Experiment nennen wir X 0. Damit X > y + x gilt,muss X 0 > y gelten. Es ist intuitiv, dass X 0 wieder geometrisch verteilt ist mitErfolgswahrscheinlichkeit p, dass also fur x; y 2 N gilt:

Pr[X > y + x j X > x] = Pr[X 0 > y]: (6)


Formal gilt

Pr[X > x] =1X

i=x+1

(1 p)i1p = (1 p)xp 1Xi=0

(1 p)i

= (1 p)xp 1

1 (1 p)= (1 p)x ;

sowie

Pr[X > y + x j X > x] =Pr[X > y + x;X > x]

Pr[X > x]

=Pr[X > y + x]

Pr[X > x]

= (1 p)y+x (1 p)x = (1 p)y

= Pr[X > y] :


Diese Eigenschaft nennt man Gedachtnislosigkeit, da eine geometrisch verteilteZufallsvariable gewissermaen vergisst, dass sie schon x Misserfolge hinter sich hat undsich deshalb zum Zeitpunkt y + x genauso verhalt wie ursprunglich zur Zeit y.


Warten auf den n-ten Erfolg.Wir betrachten n unabhangige Zufallsvariablen X1; : : : ; Xn, die jeweils geometrischverteilt sind mit Parameter p, und bestimmen die Dichte der ZufallsvariablenZ := X1 + +Xn. Damit bezeichnet Z also die Anzahl der Versuche bis zum n-tenerfolgreichen Experiment (einschlielich).

Falls Z = z ist, so werden also genau n erfolgreiche und z n nicht erfolgreicheExperimente durchgefuhrt. Dafur gibt es genau

z1n1Moglichkeiten, von denen jede

mit Wahrscheinlichkeit pn(1 p)zn eintritt. Es gilt also

fZ(z) =

z 1

n 1

pn(1 p)zn :

Die Zufallsvariable Z nennt man negativ binomialverteilt mit Ordnung n.


Das Coupon-Collector-ProblemIn manchen Branchen legen Firmen den Verpackungen ihrer Produkte oft kleine Bilderoder andere Gegenstande bei, um den Kaufer zum Sammeln anzuregen. Wenn esinsgesamt n verschiedene solche Beilagen gibt, wie viele Packungen muss man imMittel erwerben, bis man eine vollstandige Sammlung besitzt? Hierbei nehmen wir an,dass bei jedem Kauf jede Beilage mit gleicher Wahrscheinlichkeit auftritt.Bezeichne

X die Anzahl der zu tatigenden Kaufe und

Phase i die Schritte vom Erwerb der (i 1)-ten Beilage (ausschlielich) bis zumErwerb der i-ten Beilage (einschlielich).


Sei etwa n = 4, und seien die Beilagen mit den Zahlen 1; 2; 3; 4 identiziert. EinExperiment ist z.B.:

2|z1

; 2; 1|z2

; 2; 2; 3| z 3

; 1; 3; 2; 3; 1; 4| z 4

:

Beobachtung:Phase i endet genau dann, wenn wir eine der n i+ 1 Beilagen erhalten, die wir nochnicht besitzen.

Somit ist Xi geometrisch verteilt mit Parameter p = ni+1n und es gilt E[Xi] =

nni+1 .


Damit folgt aber sofort

E[X] =nXi=1

E[Xi]

=nXi=1

n

n i+ 1

= n nXi=1

1

i= n Hn;

wobei Hn :=Pn

i=11i die n-te harmonische Zahl bezeichnet. Da Hn = lnn+O(1),

folgt E[X] = n lnn+O(n).


5.4 Poisson-Verteilung

Die Poisson-Verteilung kann verwendet werden, um die Anzahl von Ereignissen zumodellieren, welche mit konstanter Rate und unabhangig voneinander in einemZeitintervall auftreten.

Eine Poisson-verteilte Zufallsvariable X mit dem Parameter 0 hat denWertebereich WX = N0 und besitzt die Dichte

fX(i) =ei

i!fur i 2 N0:

fX ist eine zulassige Dichte, da

1Xi=0

fX(i) =1Xi=0

ei

i!

= e e = 1 :


Fur den Erwartungswert erhalten wir

E[X] =1Xi=0

i ei

i!

= e1Xi=1

i1

(i 1)!

= e1Xi=0

i

i!

= ee = :

DWT 5.4 Poisson-Verteilung 138/460c Susanne Albers

Da

E[X(X 1)] =1Xi=0

i(i 1) ei

i!

= 2e1Xi=2

i2

(i 2)!

= 2e1Xi=0

i

i!

= 2ee = 2

und

E[X(X 1)] + E[X] E[X]2

= E[X2] E[X] + E[X] E[X]2 = Var[X] ;


folgtVar[X] = E[X(X 1)] + E[X] E[X]2 = 2 + 2 = : (7)

Dafur, dass eine Zufallsvariable X Poisson-verteilt mit Parameter ist, schreiben wirauch

X Po().


0,0

0,1

0,2

0,3

0,4

0,5

0,6

0 1 2 3 4 5 6 7 8 9 10

Po(0;5)

0,0

0,1

0,2

0,3

0,4

0,5

0,6

0 1 2 3 4 5 6 7 8 9 10

Po(1)

0,0

0,1

0,2

0,3

0,4

0,5

0,6

0 2 4 6 8 10

Po(2)

0,0

0,1

0,2

0,3

0,4

0,5

0,6

0 1 2 3 4 5 6 7 8 9 10

Po(5)

Dichte der Poisson-Verteilung


5.4.1 Poisson-Verteilung als Grenzwert der Binomialverteilung

Wir betrachten eine Folge von binomialverteilten Zufallsvariablen Xn mitXn Bin(n; pn), wobei pn = =n. Fur ein beliebiges k mit 0 k n ist dieWahrscheinlichkeit, dass Xn den Wert k annimmt, gleich

b(k;n; pn) =

n

k

pkn (1 pn)

nk

=(n pn)k

k! n

k

nk (1 pn)

k (1 pn)n

=k

k! n

k

nk1

n

k1

n

n:


Wir betrachten nun n!1 und erinnern uns, dass

limn!1

nk

nk= 1;

limn!1(1

n)k = 1; und

limn!1(1

n)n = e :

Damit folgt

limn!1 b(k;n; pn) = lim

n!1

n

k

pkn (1 pn)

nk = e k

k!:


Die Wahrscheinlichkeit b(k;n; pn) konvergiert also fur n!1 gegen dieWahrscheinlichkeit, dass eine Poisson-verteilte Zufallsvariable mit Parameter denWert k annimmt. Insgesamt folgt somit, dass die Verteilung einer ZufallsvariablenX Bin(n; =n) sich fur n!1 der Poisson-Verteilung Po() annahert.


Vergleich von Binomial- und Poisson-Verteilung


Ist also n im Vergleich zu hinreichend gro, so kann man die Poisson-Verteilung alsApproximation der Binomialverteilung verwenden.

Diese Tatsache wird manchmal auch als Gesetz seltener Ereignisse bezeichnet, da dieWahrscheinlichkeit eines einzelnen Treers pn = =n relativ klein sein muss, wenn dieApproximation gute Ergebnisse liefern soll.


Die folgenden Voraussetzungen mussen erfullt sein, damit die Annahme derPoisson-Verteilung gerechtfertigt ist:

Die Ereignisse treten nie zur gleichen Zeit auf.

Die Wahrscheinlichkeit, dass ein Ereignis in einem (kleinen) Zeitintervall auftritt,ist proportional zur Lange des Intervalls.

Die Anzahl der Ereignisse in einem festen Zeitintervall hangt nur von dessenLange ab, nicht aber von der Lage auf der Zeitachse.

Wenn man zwei disjunkte Zeitintervalle betrachtet, so sind die Anzahlen derEreignisse in diesen Zeitraumen voneinander unabhangig.


Beispiel 58

Wir wollen wissen, wie oft eine bestimmte Gegend im Durchschnitt von einerNaturkatastrophe (z.B. Vulkanausbruch) getroen wird. Aus Statistiken entnehmenwir, dass so ein Ereignis im Mittel 104-mal pro Jahr auftritt. Wir interessieren unsnun fur die Wahrscheinlichkeit, dass die Region in einem Jahr mehr als einmal voneinem solchen Ungluck heimgesucht wird.Die Voraussetzungen scheinen erfullt zu sein, die Anzahl X der Katastrophen durcheine Poisson-Verteilung mit Parameter = 104 zu modellieren.Damit gilt

Pr[X 2] = 1 Pr[X = 0] Pr[X = 1] = 1 e e

1 0;999900005 0;000099990 = 5 109:


Summe von Poisson-verteilten Zufallsvariablen

Satz 59Sind X und Y unabhangige Zufallsvariablen mit X Po() und Y Po(), dann gilt

Z := X + Y Po(+ ) :


Beweis:

fZ(z) =

1Xx=0

fX(x) fY (z x) =

zXx=0

ex

x!ezx

(z x)!

= e(+) (+ )z

z!

zXx=0

z!

x!(z x)!

+

x

+

zx

= e(+) (+ )z1

z!

zXx=0

z

x

px(1 p)zx;

wobei p := + .

Da die Summe gleich 1 ist, folgt

fZ(z) = e(+) (+ )z1

z!:


Erlauterungen und Beispiele zur Poisson-Verteilung

In der Wikipedia nden sich ein paar weitere Details und Beispiele.

Eine Anwendung der Poisson-Verteilung auf die Fuball-Bundesliga wird in einemArtikel prasentiert, der im Spektrum der Wissenschaft, Heft Juni 2010, erschienenist.


6. Abschatzen von Wahrscheinlichkeiten

6.1 Die Ungleichungen von Markov und Chebyshev

Satz 60 (Markov-Ungleichung)

Sei X eine Zufallsvariable, die nur nicht-negative Werte annimmt. Dann gilt fur allet 2 R mit t > 0, dass

Pr[X t] E[X]

t:

Aquivalent dazu:Pr[X t E[X]] 1=t :


Beweis:

t Pr[X t] = t X

x2WX ; xtPr[X = x]

X

x2WX ; xtx Pr[X = x]

Xx2WX

x Pr[X = x]

= E[X] :


Alternativer Beweis:

Es giltE[X] = E[XjX < t] Pr[X < t] + E[XjX t] Pr[X t] :

Wegen E[XjX < t] Pr[X < t] 0 und E[XjX t] t folgt sofort

E[X] t Pr[X t] :

DWT 6.1 Die Ungleichungen von Markov und Chebyshev 154/460c Susanne Albers

Die Markov-Ungleichung ist nach Andrey Andreyevich Markov (18561922) benannt,der an der Universitat von St. Petersburg bei Chebyshev studierte und spater dortarbeitete. Neben seiner mathematischen Tatigkeit el Markov durch heftige Protestegegen das Zaren-Regime auf, und nur sein Status als vermeintlich harmloserAkademiker schutzte ihn vor Repressalien durch die Behorden. Im Jahr 1913organisierte er parallel zum dreihundertjahrigen Geburtstag der Zarenfamilie Romanoveine Feier zum zweihundertjahrigen Geburtstag des Gesetzes der groen Zahlen (s.u.).


Die folgende Abschatzung ist nach Pavnuty Lvovich Chebyshev (18211894) benannt,der ebenfalls an der Staatl. Universitat in St. Petersburg wirkte.

Satz 61 (Chebyshev-Ungleichung)

Sei X eine Zufallsvariable, und sei t 2 R mit t > 0. Dann gilt

Pr[jX E[X]j t] Var[X]

t2:

Aquivalent dazu:Pr[jX E[X]j t

pVar[X]] 1=t2 :


Beweis:Wir stellen fest, dass

Pr[jX E[X]j t] = Pr[(X E[X])2 t2] :

SetzeY := (X E[X])2 :

Dann gilt E[Y ] = Var[X], und damit mit der Markov-Ungleichung:

Pr[jX E[X]j t] = Pr[Y t2] E[Y ]

t2=

Var[X]

t2:


Beispiel 62

Wir werfen 1000-mal eine faire Munze und ermitteln die Anzahl X der Wurfe, in denen

"Kopf\ fallt.

X ist binomialverteilt mit X Bin(1000; p = 12), also gilt

E[X] =1

2n = 500 und Var[X] =

1

4n = 250:

Wie gro ist die Wahrscheinlichkeit, dass mehr als 550-mal"Kopf\ fallt?


Beispiel 62

Chebyshev-Ungleichung:

Pr[X 550] Pr[jX 500j 50] 250

502= 0;1 :

Setze nun n = 10000 und betrachte wieder eine maximal 10%-ige Abweichung vomErwartungswert:

E[X] = 5000 und Var[X] = 2500, und damit

Pr[X 5500] Pr[jX 5000j 500] 2500

5002= 0;01 :


6.2 Gesetz der groen Zahlen

Wir haben diskutiert, wie Wahrscheinlichkeiten als Grenzwerte von relativenHaugkeiten aufgefasst werden konnen.

Satz 63 (Gesetz der groen Zahlen)

Gegeben sei eine Zufallsvariable X. Ferner seien "; > 0 beliebig aber fest. Dann giltfur alle n Var[X]

"2:

Sind X1; : : : ; Xn unabhangige Zufallsvariablen mit derselben Verteilung wie X undsetzt man

Z :=X1 + : : :+Xn

n;

so giltPr[jZ E[X]j ] ":


Beweis:Fur Z gilt

E[Z] =1

n (E[X1] + : : :+ E[Xn]) =

1

n n E[X] = E[X];

sowie

Var[Z] =1

n2 (Var[X1] + : : :+Var[Xn]) =

1

n2 n Var[X] =

Var[X]

n:

Mit der Chebyshev-Ungleichung erhalten wir

Pr[jZ E[X]j ] = Pr[jZ E[Z]j ] Var[Z]

2=

Var[X]

n2 ";

nach Wahl von n.


Wahrscheinlichkeit und relative Haugkeit.Sei X eine Indikatorvariable fur ein Ereignis A, Pr[A] = p. Somit ist XBernoulli-verteilt mit E[X] = p.Z = 1

n(X1 + : : :+Xn) gibt die relative Haugkeit an, mit der A bei nWiederholungen des Versuchs eintritt, denn

Z =Anzahl der Versuche, bei denen A eingetreten ist

Anzahl aller Versuche:

Mit Hilfe des obigen Gesetzes der groen Zahlen folgt

Pr[jZ pj ] ";

fur genugend groes n. Also nahert sich die relative Haugkeit von A bei hinreichendvielen Wiederholungen des Experiments mit beliebiger Sicherheit beliebig nahe an die

"wahre\ Wahrscheinlichkeit p an.

DWT 6.2 Gesetz der groen Zahlen 161/460c Susanne Albers

Die obige Variante eines Gesetzes der groen Zahlen geht auf Jakob Bernoulli zuruck,der den Satz in seinem Werk ars conjectandi zeigte.

Es soll betont werden, dass das Gesetz der groen Zahlen die

relative Abweichung j 1nP

iXi pjund nicht die

absolute Abweichung jPiXi npjabschatzt!

DWT 6.2 Gesetz der groen Zahlen 162/460c Susanne Albers

6.3 Cherno-Schranken

6.3.1 Cherno-Schranken fur Summen von 01Zufallsvariablen

Die hier betrachtete Art von Schranken ist nach Herman Cherno (1923) benannt.Sie nden in der komplexitatstheoretischen Analyse von Algorithmen eine sehr haugeVerwendung.

Satz 64Seien X1; : : : ; Xn unabhangige Bernoulli-verteilte Zufallsvariablen mit Pr[Xi = 1] = piund Pr[Xi = 0] = 1 pi. Dann gilt fur X :=

Pni=1Xi und := E[X] =

Pni=1 pi,

sowie jedes > 0, dass

Pr[X (1 + )]

e

(1 + )1+

:


Beweis:Fur t > 0 gilt

Pr[X (1 + )] = Pr[etX et(1+)] :

Mit der Markov-Ungleichung folgt

Pr[X (1 + )] = Pr[etX et(1+)] E[etX ]

et(1+):

Wegen der Unabhangigkeit der Zufallsvariablen X1; : : : ; Xn gilt

E[etX ] = E

"exp

nXi=1

tXi

!#= E

"nYi=1

etXi

#=

nYi=1

E[etXi ]:

Weiter ist fur i 2 f1; : : : ; ng:E[etXi ] = et1pi + et0(1 pi) = etpi + 1 pi = 1 + pi(e

t 1) ;

DWT 6.3 Cherno-Schranken 164/460c Susanne Albers

Beweis (Forts.):

und damit

Pr[X (1 + )] Qn

i=1(1 + pi(et 1))

et(1+)

Qn

i=1 exp(pi(et 1))

et(1+)

=exp(

Pni=1 pi(e

t 1))

et(1+)=e(e

t1)

et(1+)=: f(t) :

Wir wahlen nun t so, dass f(t) minimiert wird, namlich

t = ln(1 + ) :

Damit wird

f(t) =e(e

t1)

et(1+)=

e

(1 + )(1+):


Beispiel 65

Wir betrachten wieder das Beispiel, dass wir eine faire Munze n-mal werfen undabschatzen wollen, mit welcher Wahrscheinlichkeit

"Kopf\

n

2(1 + 10%)

oder ofter fallt.

n Chebyshev Cherno

1000 0;1 0;088910000 0;01 0;308 1010

n14n

(0;1 12n)2

e0;1

(1+0;1)1+0;1

12n


Satz 66Seien X1; : : : ; Xn unabhangige Bernoulli-verteilte Zufallsvariablen mit Pr[Xi = 1] = piund Pr[Xi = 0] = 1 pi. Dann gilt fur X :=

Pni=1Xi und := E[X] =

Pni=1 pi,

sowie jedes 0 < < 1, dass

Pr[X (1 )]

e

(1 )1

:

Beweis:Analog zum Beweis von Satz 64.

Bemerkung: Abschatzungen, wie sie in Satz 64 und Satz 66 angegeben sind, nenntman auch tail bounds, da sie Schranken fur die tails, also die vom Erwartungswert weitentfernten Bereiche angeben. Man spricht hierbei vom upper tail (vergleiche Satz 64)und vom lower tail (vergleiche Satz 66).Die Cherno-Schranken hangen exponentiell von ab!


Lemma 67Fur 0 < 1 gilt

(1 )1 e+2=2 und (1 + )1+ e+

2=3:

Beweis:Wir betrachten

f(x) = (1 x) ln(1 x) und g(x) = x+ 1

2x2 :

Es gilt fur 0 x < 1:

g0(x) = x 1 ln(1 x) 1 = f 0(x)sowie

f(0) = 0 = g(0) ;

also im angegebenen Intervall f(x) g(x).Die Herleitung der zweiten Ungleichung erfolgt analog.


Korollar 68Seien X1; : : : ; Xn unabhangige Bernoulli-verteilte Zufallsvariablen mit Pr[Xi = 1] = piund Pr[Xi = 0] = 1 pi. Dann gelten folgende Ungleichungen fur X :=

Pni=1Xi und

:= E[X] =Pn

i=1 pi:

1 Pr[X (1 + )] e2=3 fur alle 0 < 1,

2 Pr[X (1 )] e2=2 fur alle 0 < 1,

3 Pr[jX j ] 2e2=3 fur alle 0 < 1,

4 Pr[X (1 + )]

e1+

(1+)und

5 Pr[X t] 2t fur t 2e.


Beweis:1 und 2 folgen direkt aus Satz 64 bzw. 66 und Lemma 67.Aus 1 und 2 zusammen folgt 3.Die Abschatzung 4 erhalten wir direkt aus Satz 64, da fur den Zahler gilt

e e(1+) :

5 folgt aus 4, indem man t = (1 + ) setzt, t 2e:e

1 +

(1+)

e

t=

t1

2

t:


Beispiel 69

Wir betrachten wieder balls into bins und werfen n Balle unabhangig und gleichverteiltin n Korbe. Sei

Xi := Anzahl der Balle im i-ten Korb

fur i = 1; : : : ; n, sowie X := max1inXi.Fur die Analyse von Xi (i 2 f1; : : : ; ng beliebig) verwenden wir Aussage 5 vonKorollar 68, mit p1 = : : : = pn = 1

n , = 1 und t = 2 log n. Es folgt

Pr[Xi 2 log n] 1=n2:

Daraus ergibt sich

Pr[X 2 log n] = Pr[X1 2 log n _ : : : _Xn 2 log n] n 1

n2=

1

n:

Es gilt also mit Wahrscheinlichkeit 1 1=n, dass X < 2 log n ist.


Literatur:

Torben Hagerup, Christine Rub:A guided tour of Cherno boundsInf. Process. Lett. 33, pp. 305308 (1990)


7. Erzeugende Funktionen

7.1 Einfuhrung

Denition 70Fur eine Zufallsvariable X mit WX N0 ist die (wahrscheinlichkeits-)erzeugendeFunktion deniert durch

GX(s) :=1Xk=0

Pr[X = k] sk = E[sX ] :

Die obige Denition gilt fur allgemeine s 2 R, wir werden uns aber auf s 2 [1; 1]konzentrieren.

Eine wahrscheinlichkeitserzeugende Funktion ist also die (gewohnliche) erzeugendeFunktion der Folge (fi)i2N0 mit fi := Pr[X = i].

DWT 7.1 Einfuhrung 172/460c Susanne Albers

Bei wahrscheinlichkeitserzeugenden Funktionen haben wir kein Problem mit derKonvergenz, da fur jsj < 1 gilt

jGX(s)j =1Xk=0

Pr[X = k] sk

1Xk=0

Pr[X = k] jskj 1Xk=0

Pr[X = k] = 1 :


Beobachtung:Sei Y := X + t mit t 2 N0. Dann gilt

GY (s) = E[sY ] = E[sX+t] = E[st sX ] = st E[sX ] = st GX(s) :

Ebenso lasst sich leicht nachrechnen, dass

G0X(s) =

1Xk=1

k Pr[X = k] sk1, also

G0X(0) = Pr[X = 1], sowie

G(i)X (0) = Pr[X = i] i!, also

G(i)X (0)=i! = Pr[X = i] :


Satz 71 (Eindeutigkeit der w.e. Funktion)

Die Dichte und die Verteilung einer Zufallsvariablen X mit WX N sind durch ihrewahrscheinlichkeitserzeugende Funktion eindeutig bestimmt.

Beweis:Folgt aus der Eindeutigkeit der Potenzreihendarstellung.


Bernoulli-VerteilungSei X eine Bernoulli-verteilte Zufallsvariable mit Pr[X = 0] = 1 p undPr[X = 1] = p. Dann gilt

GX(s) = E[sX ] = (1 p) s0 + p s1 = 1 p+ ps :

Gleichverteilung auf f0; : : : ; ngSei X auf f0; : : : ; ng gleichverteilt, d.h. fur 0 k n ist Pr[X = k] = 1=(n+ 1).Dann gilt

GX(s) = E[sX ] =nX

k=0

1

n+ 1 sk = sn+1 1

(n+ 1)(s 1):


BinomialverteilungFur X Bin(n; p) gilt nach der binomischen Formel

GX(s) = E[sX ] =nX

k=0

n

k

pk(1 p)nk sk = (1 p+ ps)n :

Geometrische VerteilungSei X eine geometrisch verteilte Zufallsvariable mit Erfolgswahrscheinlichkeit p. Danngilt

GX(s) = E[sX ] =1Xk=1

p(1 p)k1 sk

= ps 1Xk=1

((1 p)s)k1 =ps

1 (1 p)s:


Poisson-VerteilungFur X Po() gilt

GX(s) = E[sX ] =1Xk=0

ek

k! sk = e+s = e(s1):


Beispiel 72

Sei X binomialverteilt mit X Bin(n; =n), Fur n!1 folgt

GX(s) =

1

n+s

n

n=

1 +

(s 1)

n

n! e(s1) :

Man kann beweisen, dass aus der Konvergenz der wahrscheinlichkeitserzeugendenFunktion die Konvergenz der Verteilung folgt.


7.1.1 Zusammenhang zwischen der w.e. Funktion und den Momenten

Da

GX(s) :=1Xk=0

Pr[X = k] sk = E[sX ] ;

gilt

G0X(1) =

1Xk=1

k Pr[X = k] = E[X] :


Beispiel 73

Sei X binomialverteilt mit X Bin(n; p), also

GX(s) = (1 p+ ps)n :

Dann gilt

G0X(s) = n (1 p+ ps)n1 p

und somit

E[X] = G0X(1) = np :


Beispiel 73

Ebenso ergibt sich

E[X(X 1) : : : (X i+ 1)] = G(i)X (1) ;

also etwa

Var[X] = E[X(X 1)] + E[X] E[X]2

= G00X(1) +G0

X(1) (G0X(1))

2 :

Andere Momente von X kann man auf ahnliche Art und Weise berechnen.


Momenterzeugende Funktionen

Denition 74Zu einer Zufallsvariablen X ist die momenterzeugende Funktion gema

MX(s) := E[eXs]

deniert.

Es gilt

MX(s) = E[eXs] = E

" 1Xi=0

(Xs)i

i!

#=

1Xi=0

E[Xi]

i! si

und fur Zufallsvariablen X mit WX N0

MX(s) = E[eXs] = E[(es)X ] = GX(es) :


7.2 Summen von Zufallsvariablen

Satz 75 (Erzeugende Funktion einer Summe)

Fur unabhangige Zufallsvariablen X1; : : : ; Xn und die ZufallsvariableZ := X1 + : : :+Xn gilt

GZ(s) = GX1(s) : : : GXn(s) :

Ebenso giltMZ(s) =MX1(s) : : : MXn(s) :

Beweis:Wegen der Unabhangigkeit von X1; : : : ; Xn gilt

GZ(s) = E[sX1+:::+Xn ] = E[sX1 ] : : : E[sXn ] = GX1(s) : : : GXn(s):


Beispiel 76

Seien X1; : : : Xk mit Xi Bin(ni; p) unabhangige Zufallsvariable undZ := X1 + : : :+Xk. Dann gilt

GZ(s) =kYi=1

(1 p+ ps)ni = (1 p+ ps)Pk

i=1 ni

und somitZ Bin(

kXi=1

ni; p)

(vgl. Satz 56).Seien X1; : : : ; Xk Po() unabhangige Zufallsvariablen. Dann folgt furZ := X1 + : : :+Xk

GZ(s) =kYi=1

e(s1) = ek(s1)

und somit Z Po(k) (vgl. Satz 59).

DWT 7.2 Summen von Zufallsvariablen 184/460c Susanne Albers

7.2.1 Zufallige Summen

Wir betrachten die Situation, dass Z := X1 + : : :+XN , wobei N ebenfalls eineZufallsvariable ist.

Satz 77Seien X1; X2; : : : unabhangige und identisch verteilte Zufallsvariablen mit derwahrscheinlichkeitserzeugenden Funktion GX(s). N sei ebenfalls eine unabhangigeZufallsvariable mit der wahrscheinlichkeitserzeugenden Funktion GN (s). Dann besitztdie Zufallsvariable Z := X1 + : : :+XN die wahrscheinlichkeitserzeugendeFunktion GZ(s) = GN (GX(s)).


Beweis:Nach Voraussetzung ist WN N0. Deshalb folgt mit Satz 36

GZ(s) =1Xn=0

E[sZ j N = n] Pr[N = n]

=1Xn=0

E[sX1+:::+Xn ] Pr[N = n]

=1Xn=0

E[sX1 ] : : : E[sXn ] Pr[N = n]

=1Xn=0

(GX(s))n Pr[N = n]

= E[(GX(s))N ]

= GN (GX(s)) :


8. Formelsammlung

8.1 Gesetze zum Rechnen mit Ereignissen

Im Folgenden seien A und B, sowie A1; : : : ; An Ereignisse. Die Notation A ]B stehtfur A[B und zugleich A\B = ; (disjunkte Vereinigung). A1 ] : : :]An = bedeutetalso, dass die Ereignisse A1; : : : ; An eine Partition der Ergebnismenge bilden.

Pr[;] = 0

0 Pr[A] 1

Pr[ A] = 1 Pr[A]

A B =) Pr[A] Pr[B]

DWT 8.1 Gesetze zum Rechnen mit Ereignissen 187/460c Susanne Albers

8i 6= j : Ai \Aj = ; =)Pr [Sni=1Ai] =

Pni=1 Pr[Ai]

Additionssatz

Pr[A[B] = Pr[A] + Pr[B]Pr[A\B]allgemeine Form: siehe Satz 9

Inklusion/Exklusion,Siebformel

Pr [Sni=1Ai]

Pni=1 Pr[Ai]

BoolescheUngleichung

Pr[AjB] = Pr[A\B]Pr[B] fur Pr[B] > 0 Def. bedingte Ws.

DWT 8.1 Gesetze zum Rechnen mit Ereignissen 188/460c Susanne Albers

B A1 ] : : : ]An =)Pr[B] =

Pni=1 Pr[BjAi] Pr[Ai]

Satz von der totalenWahrscheinlichkeit

Pr[B] > 0, B A1 ] : : : ]An =)Pr[AijB] = Pr[BjAi]Pr[Ai]Pn

i=1 Pr[BjAi]Pr[Ai]Satz von Bayes

Pr[A1 \ : : :\An] = Pr[A1] Pr[A2jA1] : : : Pr[AnjA1 \ : : : \An1]

Multiplikationssatz

A und B unabhangig ()Pr[A \B] = Pr[A] Pr[B]

DenitionUnabhangigkeit


8.2 Erwartungswert und Varianz diskreter Zufallsvariablen

Sei X eine diskrete Zufallsvariable. Fur Erwartungswert und Varianz gelten die folgendenFormeln (sofern E[X] und Var[X] existieren).

E[X] =Xx2WX

x Pr[X = x]

=X!2

X(!) Pr[!]

=

1Xi=1

Pr[X i]; falls WX N0

Erwartungswert

Var[X] = E[(X E[X])2]

=P

x2WXPr[X = x] (x E[X])2 Varianz

DWT 8.2 Erwartungswert und Varianz diskreter Zufallsvariablen 190/460c Susanne Albers

8.3 Gesetze zum Rechnen mit Zufallsvariablen

Seien a, b, a1, . . . , an 2 R, f1; : : : ; fn : R! R.

X1; : : : ; Xn unabhangig () fur alle (a1; : : : ; an):Pr[X1 = a1; : : : ; Xn = an]= Pr[X1 = a1] : : : Pr[Xn = an]

X1; : : : ; Xn unabhangig =) f1(X1); : : : ; fn(Xn) unabhangig

E[a X + b] = a E[X] + b


X(!) Y (!) fur alle ! 2 =)E[X] E[Y ]

Monotonie desErwartungswerts

E[X] =Pn

i=1 E[XjAi] Pr[Ai]

Var[X] = E[X2] E[X]2

Var[a X + b] = a2 Var[X]

DWT 8.3 Gesetze zum Rechnen mit Zufallsvariablen 192/460c Susanne Albers

E[a1X1 + : : :+ anXn]= a1E[X1] + : : :+ anE[Xn]

Linearitat desErwartungswerts

X1; : : : ; Xn unabhangig =)E[X1 : : : Xn] = E[X1] : : : E[Xn]

Multiplikativitat desErwartungswerts

X1; : : : ; Xn unabhangig =)Var[X1 + : : : + Xn] = Var[X1] + : : : +Var[Xn]

Varianzeiner Summe


X 0 =)Pr[X t] E[X]=t fur t > 0 Markov

Pr[jX E[X]j t] Var[X]=t2 fur t > 0

Chebyshev

siehe Satz 63Gesetz dergroen Zahlen


Kapitel II Kontinuierliche Wahrscheinlichkeitsraume

1. Einfuhrung

1.1 Motivation

Interpretation der Poisson-Verteilung als Grenzwert der Binomialverteilung.

DWT 1.1 Motivation 195/460c Susanne Albers

Beispiel 78

Wir betrachten das Szenario: Bei einem Druckerserver kommen Auftrage in einerWarteschlange an, die alle 1=n Zeiteinheiten vom Server abgefragt wird. Der Servernimmt also zu den diskreten Zeitpunkte 1=n; 2=n; 3=n; : : : neue Auftrage entgegen.Durch den Grenzwert n!1

"verschmelzen\ diese diskreten Zeitpunkte zu einer

kontinuierlichen Zeitachse, und fur die Zufallsvariable T , welche die Zeitspanne biszum Eintreen des nachsten Auftrags misst, reicht eine diskrete Wertemenge WT nichtmehr aus.


1.2 Kontinuierliche Zufallsvariablen

Denition 79Eine kontinuierliche oder auch stetige Zufallsvariable X und ihr zugrunde liegenderkontinuierlicher (reeller) Wahrscheinlichkeitsraum sind deniert durch eine integrierbareDichte(-funktion) fX : R! R+

0 mit der EigenschaftZ +1

1fX(x) dx = 1:

Eine Menge A R, die durch Vereinigung A =Sk Ik abzahlbar vieler paarweise

disjunkter Intervalle beliebiger Art (oen, geschlossen, halboen, einseitig unendlich)gebildet werden kann, heit Ereignis. Ein Ereignis A tritt ein, wenn X einen Wertaus A annimmt. Die Wahrscheinlichkeit von A ist bestimmt durch

Pr[A] =

ZAfX(x) dx =

Xk

ZIk

fX(x) dx:

DWT 1.2 Kontinuierliche Zufallsvariablen 197/460c Susanne Albers

Beispiel 80 (Gleichverteilung)

Eine besonders einfache kontinuierliche Dichte stellt die Gleichverteilung auf demIntervall [a; b] dar. Sie ist deniert durch

f(x) =

(1

ba fur x 2 [a; b],

0 sonst.

Analog zum diskreten Fall ordnen wir jeder Dichte fX eine Verteilung oderVerteilungsfunktion FX zu:

FX(x) := Pr[X x] = Pr[ft 2 R j t xg] =Z x

1fX(t) d t:


Beispiel 81

Die Verteilungsfunktion der Gleichverteilung:

F (x) =

Z x

1f(t) d t =

8><>:0 fur x < a;xaba fur a x b;

1 fur x > b:

DWT 1.2 Kontinuierliche Zufallsvariablen 199/460c Susanne Albers

-0,2

0,0

0,2

0,4

0,6

0,8

1,0

1,2

1,4

-0,5 0,0 0,5 1,0 1,5

f(x)

-0,2

0,0

0,2

0,4

0,6

0,8

1,0

1,2

1,4

-0,5 0,0 0,5 1,0 1,5

F (x)

Gleichverteilung uber dem Intervall [0; 1]


Beobachtungen:(Eigenschaften der Verteilungsfunktion)

FX ist monoton steigend.

FX ist stetig. Man spricht daher auch von einer"stetigen Zufallsvariablen\.

Es gilt: limx!1 FX(x) = 0 und limx!1 FX(x) = 1.

Jeder (auer an endlich vielen Punkten) dierenzierbaren Funktion F , welche diezuvor genannten Eigenschaften erfullt, konnen wir eine Dichte f durchf(x) = F 0(x) zuordnen.

Es giltPr[a < X b] = FX(b) FX(a) :


Bei den von uns betrachteten Dichten besteht zwischen den Ereignissen"a < X b\,

"a X b\,

"a X < b\ und

"a < X < b\ kein wesentlicher Unterschied, daZ

[a;b]f(t) d t =

Z]a;b]

f(t) d t =

Z[a;b[

f(t) d t =

Z]a;b[

f(t) d t:


1.3 Kolmogorov-Axiome und -Algebren

1.3.1 -Algebren

Denition 82Sei eine Menge. Eine Menge A P() heit -Algebra uber , wenn folgendeEigenschaften erfullt sind:

(E1) 2 A.(E2) Wenn A 2 A, dann folgt A 2 A.(E3) Fur n 2 N sei An 2 A. Dann gilt auch

S1n=1An 2 A.


Fur jede (endliche) Menge stellt die Menge P() eine -Algebra dar.

Fur = R ist die Klasse der Borel'schen Mengen, die aus allen Mengen A Rbesteht, welche sich durch abzahlbare Vereinigungen und Schnitte von Intervallen(oen, halboen oder geschlossen) darstellen lassen, eine -Algebra.


1.3.2 Kolmogorov-Axiome

Denition 83 (Wahrscheinlichkeitsraum, Kolmogorov-Axiome)

Sei eine beliebige Menge und A eine -Algebra uber . Eine Abbildung

Pr[:] : A ! [0; 1]

heit Wahrscheinlichkeitsma auf A, wenn sie folgende Eigenschaften besitzt:

1 (W1) Pr[] = 1.

2 (W2) A1; A2; : : : seien paarweise disjunkte Ereignisse. Dann gilt

Pr

" 1[i=1

Ai

#=

1Xi=1

Pr[Ai]:

Fur ein Ereignis A 2 A heit Pr[A] Wahrscheinlichkeit von A. EinWahrscheinlichkeitsraum ist deniert durch das Tupel (;A;Pr).


Die in obiger Denition aufgelisteten Eigenschaften eines Wahrscheinlichkeitsmaeswurden von dem russischen Mathematiker Andrei Nikolaevich Kolmogorov(19031987) formuliert. Kolmogorov gilt als einer der Pioniere der modernenWahrscheinlichkeitstheorie, leistete jedoch auch bedeutende Beitrage zu zahlreichenanderen Teilgebieten der Mathematik. Informatikern begegnet sein Name auch imZusammenhang mit der so genannten Kolmogorov-Komplexitat, einem relativ jungenZweig der Komplexitatstheorie.

Die Eigenschaften in obiger Denition nennt man auch Kolmogorov-Axiome.


Lemma 84Sei (;A;Pr) ein Wahrscheinlichkeitsraum. Fur Ereignisse A, B, A1, A2, : : : gilt

1 Pr[;] = 0, Pr[] = 1.

2 0 Pr[A] 1.

3 Pr[ A] = 1 Pr[A].

4 Wenn A B, so folgt Pr[A] Pr[B].

DWT 1.3 Kolmogorov-Axiome und -Algebren 207/460c Susanne Albers

Lemma 84

5 (Additionssatz) Wenn die Ereignisse A1; : : : ; An paarweise disjunkt sind, so folgt

Pr

"n[i=1

Ai

#=

nXi=1

Pr[Ai]:

Fur disjunkte Ereignisse A, B erhalten wir insbesondere

Pr[A [B] = Pr[A] + Pr[B]:

Fur eine unendliche Menge von paarweise disjunkten Ereignissen A1; A2; : : : giltanalog Pr [

S1i=1Ai] =

P1i=1 Pr[Ai].


Beweis:Wenn wir in Eigenschaft (W2) A1 = und A2; A3; : : : = ; setzen, so ergibt dieEigenschaft, dass Pr[] +

P1i=2 Pr[;] = Pr[]. Daraus folgt Pr[;] = 0.

Regel 2 und Regel 5 gelten direkt nach Denition der Kolmogorov-Axiome und Regel 1.

Regel 3 erhalten wir mit Regel 5 wegen 1 = Pr[] = Pr[A] + Pr[ A].

Fur Regel 4 betrachten wir die disjunkten Ereignisse A und C := B nA, fur die gilt,dass A [B = A [ C. Mit Regel 5 folgt die Behauptung.


1.3.3 Lebesgue-Integrale

Eine Funktion f : R! R heit messbar, falls das Urbild jeder Borel'schen Mengeebenfalls eine Borel'sche Menge ist.Z.B. ist fur jede Borel'sche Menge A die Indikatorfunktion

IA : x 7!(1 falls x 2 A,

0 sonst

messbar. Jede stetige Funktion ist messbar. Auch Summen und Produkte vonmessbaren Funktionen sind wiederum messbar.Jeder messbaren Funktion kann man ein Integral, das so genannte Lebesgue-Integral,geschrieben

Rf d, zuordnen.


Ist f : R! R+0 eine messbare Funktion, so deniert

Pr : A 7! Rf IA d

eine Abbildung auf den Borel'schen Mengen, die die Eigenschaft (W2) derKolmogorov-Axiome erfullt. Gilt daher zusatzlich noch Pr[R] = 1, so deniert f aufnaturliche Weise einen Wahrscheinlichkeitsraum (;A;Pr), wobei = R und A dieMenge der Borel'schen Mengen ist.

DWT 1.3 Kolmogorov-Axiome und -Algebren 210/460c Susanne Albers

1.4 Rechnen mit kontinuierlichen Zufallsvariablen

1.4.1 Funktionen kontinuierlicher Zufallsvariablen

Sei Y := g(X) mit einer Funktion g : R! R.Die Verteilung von Y erhalten wir durch

FY (y) = Pr[Y y] = Pr[g(X) y] =

ZCfX(t) d t:

Hierbei bezeichnet C := ft 2 R j g(t) yg alle reellen Zahlen t 2 R, fur welche dieBedingung

"Y y\ zutrit. Das Integral uber C ist nur dann sinnvoll deniert,

wenn C ein zulassiges Ereignis darstellt. Aus der Verteilung FY konnen wir durchDierenzieren die Dichte fY ermitteln.


Beispiel 85

Sei X gleichverteilt auf dem Intervall ]0; 1[. Fur eine Konstante > 0 denieren wirdie Zufallsvariable Y := (1=) lnX.

FY (y) = Pr[(1=) lnX y] = Pr[lnX y]= Pr[X ey]

= 1 FX(ey)

=

(1 ey fur y 0;

0 sonst:


Beispiel (Forts.)

Damit folgt mit fY (y) = F 0Y (y) sofort

fY (y) =

(ey fur y 0;

0 sonst:

Eine Zufallsvariable mit einer solchen Dichte fY nennt man exponentialverteilt.

DWT 1.4 Rechnen mit kontinuierlichen Zufallsvariablen 213/460c Susanne Albers

Beispiel 86

Sei X eine beliebige Zufallsvariable. Fur a; b 2 R mit a > 0 denieren wir dieZufallsvariable Y := a X + b.Es gilt

FY (y) = Pr[aX + b y] = Pr

X

y b

a

= FX

y b

a

;

und somit

fY (y) =dFY (y)

d y=

dFX((y b)=a)

d y= fX

y b

a

1a:


Simulation von ZufallsvariablenUnter der Simulation einer Zufallsvariablen X mit Dichte fX versteht man diealgorithmische Erzeugung von Zufallswerten, deren Verteilung der Verteilung von Xentspricht.

Dazu nehmen wir an, dass die zu simulierende Zufallsvariable X eine stetige, imBildbereich ]0; 1[ streng monoton wachsende Verteilungsfunktion FX besitzt. Weiternehmen wir an, dass U eine auf ]0; 1[ gleichverteilte Zufallsvariable ist, die wirsimulieren konnen.

Aus unserer Annahme uber FX folgt, dass es zu FX eine (eindeutige) inverse FunktionF1X gibt mit FX(F

1X (x)) = x fur alle x 2]0; 1[.


Sei nun~X := F1

X (U) ;

dann gilt

Pr[ ~X t] = Pr[F1X (U) t]

= Pr[U FX(t)]

= FU (FX(t))

= FX(t) :


Beispiel 87

Im obigen Beispiel der Exponentialverteilung gilt FX(t) = 1 et fur t 0, und wirerhalten auf ]0; 1[ die Umkehrfunktion F1

X (t) = ln(1 t). Also gilt~X = F1

X (U) = ln(1 U).

Statt ~X haben wir im Beispiel die Zufallsvariable lnU betrachtet, die aberoensichtlich dieselbe Verteilung besitzt.


1.4.2 Kontinuierliche Zufallsvariablen als Grenzwerte diskreter Zufallsvariablen

Sei X eine kontinuierliche Zufallsvariable. Wir konnen aus X leicht eine diskreteZufallsvariable konstruieren, indem wir fur ein festes > 0 denieren

X = n () X 2 [n; (n+ 1)[ fur n 2 Z:

Fur X giltPr[X = n] = FX((n+ 1)) FX(n) :


0,0

0,2

0,4

0,6

0,8

1,0

-3,0 -2,0 -1,0 0,0 1,0 2,0 3,0

FX(x)FXÆ(x)

Fur ! 0 nahert sich die Verteilung von X der Verteilung von X immer mehr an.


1.4.3 Erwartungswert und Varianz

Denition 88Fur eine kontinuierliche Zufallsvariable X ist der Erwartungswert deniert durch

E[X] =

Z 1

1t fX(t) d t;

sofern das IntegralR11 jtj fX(t) d t endlich ist.

Fur die Varianz gilt entsprechend

Var[X] = E[(X E[X])2] =

Z 1

1(t E[X])2 fX(t) d t;

wenn E[(X E[X])2] existiert.


Lemma 89Sei X eine kontinuierliche Zufallsvariable, und sei

Y := g(X) :

Dann gilt

E[Y ] =

Z 1

1g(t) fX(t) d t :


Beweis:Wir zeigen die Behauptung nur fur den einfachen Fall, dass g eine lineare Funktion ist,also Y := a X + b fur a; b 2 R und a > 0.

Es gilt (siehe obiges Beispiel)

E[a X + b] =

Z 1

1t fY (t) d t =

Z 1

1t fX

t b

a

1ad t:

Durch die Substitution u := (t b)=a mit du = (1=a) d t erhalten wir

E[a X + b] =

Z 1

1(au+ b)fX(u) du:


Beispiel 90

Fur Erwartungswert und Varianz der Gleichverteilung ergibt sich

E[X] =

Z b

at 1

b ad t =

1

b aZ b

at d t

=1

2(b a) [t2]ba

=b2 a2

2(b a)=a+ b

2;

E[X2] =1

b aZ b

at2 d t = b2 + ba+ a2

3;

Var[X] = E[X2] E[X]2 = : : : =(a b)2

12:


1.4.4 Laplace-Prinzip in kontinuierlichen Wahrscheinlichkeitsraumen

Das folgende Beispiel zeigt, dass im kontinuierlichen Fall die Bedeutung von

"gleichwahrscheinlich\ nicht immer ganz klar sein muss.Bertrand'sches ParadoxonWir betrachten einen Kreis mit einem eingeschriebenen gleichseitigen Dreieck. Was istdie Wahrscheinlichkeit, mit der die Lange einer zufallig gewahlten Sehne dieSeitenlange dieses Dreiecks ubersteigt (Ereignis A)?


r2 120ÆMS d 'SM


Beobachtungen:

Die Seiten des Dreiecks haben Abstand r2 vom Mittelpunkt M .

Die Lage jeder Sehne ist (bis auf Rotation um M) durch einen der folgendenParameter festgelegt:

Abstand d zum Kreismittelpunkt,Winkel ' mit dem Kreismittelpunkt.

Wir nehmen fur jeden dieser Parameter Gleichverteilung an und ermitteln Pr[A].

1 Sei d 2 [0; r] gleichverteilt. A tritt ein, wenn d < r2 , und es folgt Pr[A] = 1

2 .

2 Sei ' 2 [0; 180] gleichverteilt. Fur A muss gelten ' 2]120; 180], und es folgtsomit Pr[A] = 1

3 .

Siehe auch diese graphischen Darstellungen!


2. Wichtige stetige Verteilungen

2.1 Gleichverteilung

f(x) =

(1

ba fur x 2 [a; b];

0 sonst:

F (x) =

Z x

1f(t) d t =

8><>:0 fur x < a;xaba fur a x b;

1 fur x > b:

E[X] =a+ b

2und Var[X] =

(a b)2

12:

DWT 2.1 Gleichverteilung 227/460c Susanne Albers

2.2 Normalverteilung

Die Normalverteilung nimmt unter den stetigen Verteilungen eine besondersprominente Position ein.

Denition 91Eine Zufallsvariable X mit Wertebereich WX = R heit normalverteilt mit denParametern 2 R und 2 R+, wenn sie die Dichte

f(x) =1p2

exp(x )2

22

=: '(x;; )

besitzt.

In Zeichen schreiben wir X N (; 2).N (0; 1) heit Standardnormalverteilung. Die zugehorige Dichte '(x; 0; 1) kurzen wirdurch '(x) ab.


Die Verteilungsfunktion zu N (; 2) ist

F (x) =1p2

Z x

1exp

(t )2

22

d t =: (x;; ) :

Diese Funktion heit Gau'sche -Funktion (' ist nicht geschlossen integrierbar).


Lemma 92

I :=

Z 1

1ex

2=2 dx =p2:

Beweis:Wir berechnen zunachst I2:

I2 =

Z 1

1ex

2=2 dx

Z 1

1ey

2=2 d y

=

Z 1

1

Z 1

1e(x

2+y2)=2 dxd y :

Wir gehen nun zu Polarkoordinaten uber und setzen x := r cos und y := r sin.Dann ist @x

@r@y@r

@x@

@y@

= cos sinr sin r cos

= r(cos2 + sin2 ) = r

DWT 2.2 Normalverteilung 230/460c Susanne Albers

Beweis (Forts.):

und wir erhalten

I2 =

Z 2

0

Z 1

0er

2=2r d r d =

Z 2

0

her2=2

i10d

=

Z 2

01 d = 2:


0,0

0,2

0,4

0,6

0,8

1,0

-3,0 -2,0 -1,0 0,0 1,0 2,0 3,0

= 0;5 = 1 = 2

0,0

0,2

0,4

0,6

0,8

1,0

-3,0 -2,0 -1,0 0,0 1,0 2,0 3,0

= 0;5 = 1 = 2

Dichte und Verteilung von N (0; 2)


Satz 93 (Lineare Transformation der Normalverteilung)

Sei X eine normalverteilte Zufallsvariable mit X N (; 2). Dann gilt fur beliebigesa 2 R n f0g und b 2 R, dass Y = aX + b normalverteilt ist mit Y N (a+ b; a22).

Beweis:Wir betrachten zunachst den Fall

"a > 0\:

Pr[Y y] = Pr[aX + b y] = Pr

X y b

a

=

1p2

Z (yb)=a

1exp

(u )2

22

du:

Nach der Substitution u = (v b)=a und du = (1=a) d v erhalten wir


Beweis (Forts.):

Pr[Y y] =1p2a

Z y

1exp

(v a b)2

2a22

d v :

Also Y N (a+ b; a22). Fur a < 0 verlauft der Beweis analog.


Sei also X eine beliebige N (; 2)-verteilte Zufallsvariable X und Y := X .

Dann ist nach Satz 93 Y N (0; 1)-verteilt. Y heit auch normiert.

Ferner gilt

Pr[a < X b] = Pr

a

< Y b

=

b

a

:


Satz 94X sei N (0; 1)-verteilt. Dann gilt

E[X] = 0 und Var[X] = 1:

Beweis:

E[X] =1p2

Z 1

1x exp

x

2

2

dx:

Da der Integrand punktsymmetrisch zu (0; 0) ist, folgt E[X] = 0.


Beweis (Forts.):

Mittels Lemma 92 und durch partielle Integration erhalten wir

p2 =

Z 1

1exp

x

2

2

dx

= x exp

x

2

2

11| z

= 0

+

Z 1

1x2 exp

x

2

2

dx

Daraus folgt, dass E[X2] = 1 ist und somit Var[X] = E[X2] E[X]2 = 1.


Satz 95X sei N (; 2)-verteilt. Dann gilt

E[X] = und Var[X] = 2 :

Beweis:Y := X

ist standardnormalverteilt. Ferner gilt gema der Rechenregeln furErwartungswert und Varianz

E[X] = E[Y + ] = E[Y ] + =

undVar[X] = Var[Y + ] = 2 Var[Y ] = 2:


2.3 Exponentialverteilung

Die Exponentialverteilung ist in gewisser Weise das kontinuierliche Analogon zurgeometrischen Verteilung. Wie die geometrische Verteilung ist sie

"gedachtnislos\. Sie

spielt daher vor allem bei der Modellierung von Wartezeiten eine groe Rolle.

DWT 2.3 Exponentialverteilung 239/460c Susanne Albers

Denition 96Eine Zufallsvariable X heit exponentialverteilt mit dem Parameter , > 0, wenn siedie Dichte

f(x) =

( ex falls x 0;

0 sonst

besitzt.

Fur die entsprechende Verteilungsfunktion gilt (fur x 0)

F (x) =

Z x

0 et d t =

het

ix0= 1 ex:

Fur x < 0 gilt selbstverstandlich F (x) = 0.


E[X] =

Z 1

0t et d t

=ht (et)

i10+

Z 1

0et d t

= 0 +

1

et

10

=1

:


Analog erhalten wir

E[X2] =

Z 1

0t2 et d t

=ht2 (et)

i10+

Z 1

02t et d t

= 0 +2

E[X] =

2

2

und somit

Var[X] = E[X2] E[X]2 =1

2:


0,0

0,4

0,8

1,2

1,6

2,0

0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5 4,0

= 0;5 = 1 = 2

0,0

0,2

0,4

0,6

0,8

1,0

0,0 0,5 1,0 1,5 2,0 2,5 3,0 3,5 4,0

= 0;5 = 1 = 2Dichte und Verteilung der Exponentialverteilung


2.3.1 Eigenschaften der Exponentialverteilung

Satz 97 (Skalierung exponentialverteilter Variablen)

Sei X eine exponentialverteilte Zufallsvariable mit dem Parameter . Fur a > 0 ist dieZufallsvariable Y := aX wieder exponentialverteilt mit dem Parameter =a.

Beweis:

FY (x) = Pr[Y x] = Pr[aX x]

= PrhX x

a

i= FX

xa

= 1 e

xa :


Gedachtnislosigkeit

Satz 98 (Gedachtnislosigkeit)

Eine (positive) kontinuierliche Zufallsvariable X mit Wertebereich R+ ist genau dannexponentialverteilt, wenn fur alle x; y > 0 gilt, dass

Pr[X > x+ y j X > y] = Pr[X > x] : (*)

Beweis:Sei X exponentialverteilt mit Parameter . Dann gilt

Pr[X > x+ y j X > y] =Pr[X > x+ y;X > y]

Pr[X > y]

=Pr[X > x+ y]

Pr[X > y]

=e(x+y)

ey= ex = Pr[X > x] :


Beweis (Forts.):

Sei umgekehrt X eine kontinuierliche Zufallsvariable, die die Gleichung () erfullt. Wirdenieren g(x) := Pr[X > x]. Fur x; y > 0 gilt

g(x+ y) = Pr[X > x+ y]

= Pr[X > x+ y j X > y] Pr[X > y]

= Pr[X > x] Pr[X > y] = g(x)g(y) :

Daraus folgt durch wiederholte Anwendung

g(1) = g 1

n+ + 1

n| z n-mal

=

g 1n

nfur alle n 2 N

und somit insbesondere auch g(1=n) = (g(1))1=n.


Beweis (Forts.):

Da X nur positive Werte annimmt, muss es ein n 2 N geben mit g(1=n) > 0. Wegen0 < g(1) 1 muss es daher auch ein 0 geben mit g(1) = e.

Nun gilt fur beliebige p; q 2 N

g(p=q) = g(1=q)p = g(1)p=q;

und somit g(r) = er fur alle r 2 Q+.

Aufgrund der Stetigkeit folgt daraus

g(x) = ex :


Beispiel 99Uber das Casium-Isotop 134

55Cs ist bekannt, dass es eine mittlere Lebensdauer vonungefahr 3,03 Jahren oder 1;55 106 Minuten besitzt. Die Zufallsvariable X messe dieLebenszeit eines bestimmten 134

55Cs-Atoms. X ist exponentialverteilt mit dem Parameter

=1

E[X]=

1

1;55 106 0;645 106

1

min

Da den Kehrwert einer Zeit als Einheit besitzt, spricht man von der Zerfallsrate.Auch bei anderen Anwendungen ist es ublich, als Rate einzufuhren.


2.3.2 Exponentialverteilung als Grenzwert der geometrischen Verteilung

Erinnerung: Die Poisson-Verteilung lasst sich als Grenzwert der Binomialverteilungdarstellen.

Wir betrachten eine Folge geometrisch verteilter Zufallsvariablen Xn mit Parameterpn = =n. Fur ein beliebiges k 2 N ist die Wahrscheinlichkeit, dass Xn k n, gleich

Pr[Xn kn] =knXi=1

(1 pn)i1 pn = pn

kn1Xi=0

(1 pn)i

= pn 1 (1 pn)kn

pn= 1

1

n

kn:


Wegen limn!1(1 n)

n = e gilt daher fur die Zufallsvariablen Yn := 1nXn, dass

limn!1Pr[Yn t] = lim

n!1Pr[Xn t n]

= limn!1

"1

1

n

tn#= 1 et :

Die Folge Yn der (skalierten) geometrisch verteilten Zufallsvariablen geht also furn!1 in eine exponentialverteilte Zufallsvariable mit Parameter uber.


3. Mehrere kontinuierliche Zufallsvariablen

3.1 Mehrdimensionale Dichten

BeobachtungZu zwei kontinuierlichen Zufallsvariablen X, Y wird der zugrunde liegende gemeinsameWahrscheinlichkeitsraum uber R2 durch eine integrierbare (gemeinsame)Dichtefunktion fX;Y : R2 ! R+

0 mitZ 1

1

Z 1

1fX;Y (x; y) dxd y = 1

beschrieben. Fur ein Ereignis A R2 (das aus abzahlbar vielen geschlossenen oderoenen Bereichen gebildet sein muss) gilt

Pr[A] =

ZAfX;Y (x; y) dxd y:

DWT 3.1 Mehrdimensionale Dichten 251/460c Susanne Albers

Unter einem Bereich B verstehen wir dabei Mengen der Art

B = f(x; y) 2 R2 j a x b; c y dg mit a; b; c; d 2 R:

Dabei konnen die einzelnen Intervallgrenzen auch"oen\ bzw. 1 sein.


Analog zum eindimensionalen Fall ordnen wir der Dichte fX;Y eine (gemeinsame)Verteilung FX;Y : R2 ! [0; 1] zu:

FX;Y (x; y) = Pr[X x; Y y] =

Z y

1

Z x

1fX;Y (u; v) dud v:

DWT 3.1 Mehrdimensionale Dichten 253/460c Susanne Albers

3.2 Randverteilungen und Unabhangigkeit

Denition 100Sei fX;Y die gemeinsame Dichte der Zufallsvariablen X und Y . Die Randverteilung derVariablen X ist gegeben durch

FX(x) = Pr[X x] =

Z x

1

Z 1

1fX;Y (u; v) d v

du:

Analog nennen wir

fX(x) =

Z 1

1fX;Y (x; v) d v

die Randdichte von X. Entsprechende Denitionen gelten symmetrisch fur Y .


Denition 101Zwei kontinuierliche Zufallsvariablen X und Y heien unabhangig, wenn

Pr[X x; Y y] = Pr[X x] Pr[Y y]

fur alle x; y 2 R gilt.

Dies ist gleichbedeutend mit

FX;Y (x; y) = FX(x) FY (y) :

Dierentiation ergibtfX;Y (x; y) = fX(x) fY (y) :


Fur mehrere Zufallsvariablen X1; : : : ; Xn gilt analog: X1; : : : ; Xn sind genau dannunabhangig, wenn

FX1;:::;Xn(x1; : : : ; xn) = FX1(x1) : : : FXn(xn)

bzw.fX1;:::;Xn(x1; : : : ; xn) = fX1(x1) : : : fXn(xn)

fur alle x1; : : : ; xn 2 R.

DWT 3.2 Randverteilungen und Unabhangigkeit 256/460c Susanne Albers

3.3 Warteprobleme mit der Exponentialverteilung

Warten auf mehrere Ereignisse

Satz 102Die Zufallsvariablen X1; : : : ; Xn seien unabhangig und exponentialverteilt mit denParametern 1; : : : ; n. Dann ist auch X := minfX1; : : : ; Xng exponentialverteilt mitdem Parameter 1 + : : :+ n.

Beweis:Der allgemeine Fall folgt mittels Induktion aus dem fur n = 2. Fur dieVerteilungsfunktion FX gilt:

1 FX(t) = Pr[X > t] = Pr[minfX1; X2g > t]

= Pr[X1 > t;X2 > t]

= Pr[X1 > t] Pr[X2 > t]

= e1t e2t = e(1+2)t:


Anschaulich besagt Satz 102, dass sich die Raten addieren, wenn man auf das ersteEintreten eines Ereignisses aus mehreren unabhangigen Ereignissen wartet. Wennbeispielsweise ein Atom die Zerfallsrate besitzt, so erhalten wir bei n Atomen dieZerfallsrate n (wie uns auch die Intuition sagt).

DWT 3.3 Warteprobleme mit der Exponentialverteilung 258/460c Susanne Albers

Poisson-ProzessWir hatten bei der Diskussion der geometrischen und der Poisson-Verteilungfestgestellt:

Wenn der zeitliche Abstand der Treer geometrisch verteilt ist, so ist ihre Anzahl ineiner festen Zeitspanne binomialverteilt.

Im Grenzwert n!1, wobei wir die Treerwahrscheinlichkeit mit pn = =n ansetzen,konvergiert die geometrische Verteilung gegen die Exponentialverteilung und dieBinomialverteilung gegen die Poisson-Verteilung. Im Grenzwert n!1 erwarten wirdeshalb die folgende Aussage:

Wenn man Ereignisse zahlt, deren zeitlicher Abstand exponentialverteilt ist, so ist dieAnzahl dieser Ereignisse in einer festen Zeitspanne Poisson-verteilt.


Seien T1; T2 : : : unabhangige exponentialverteilte Zufallsvariablen mit Parameter . DieZufallsvariable Ti modelliert die Zeit, die zwischen Treer i 1 und i vergeht.

Fur den Zeitpunkt t > 0 denieren wir

X(t) := maxfn 2 N j T1 + : : :+ Tn tg:

X(t) gibt also an, wie viele Treer sich bis zur Zeit t (von Zeit Null ab) ereignethaben. Es gilt:


Fakt 103Seien T1; T2; : : : unabhangige Zufallsvariablen und sei X(t) fur t > 0 wie obendeniert. Dann gilt: X(t) ist genau dann Poisson-verteilt mit Parameter t, wenn essich bei T1; T2; : : : um exponentialverteilte Zufallsvariablen mit Parameter handelt.

Zum Zufallsexperiment, das durch T1; T2; : : : deniert ist, erhalten wir fur jeden Wertt > 0 eine Zufallsvariable X(t). Hierbei konnen wir t als Zeit interpretieren und X(t)als Verhalten des Experiments zur Zeit t. Eine solche Familie (X(t))t>0 vonZufallsvariablen nennt man allgemein einen stochastischen Prozess. Der hierbetrachtete Prozess, bei dem T1; T2; : : : unabhangige, exponentialverteilteZufallsvariablen sind, heit Poisson-Prozess und stellt ein fundamentales und zugleichpraktisch sehr bedeutsames Beispiel fur einen stochastischen Prozess dar.


Beispiel 104

Wir betrachten eine Menge von Jobs, die auf einem Prozessor sequentiell abgearbeitetwerden. Die Laufzeiten der Jobs seien unabhangig und exponentialverteilt mitParameter = 1=30[1=s]. Jeder Job benotigt also im Mittel 30s.

Gema Fakt 103 ist die Anzahl von Jobs, die in einer Minute vollstandig ausgefuhrtwerden, Poisson-verteilt mit Parameter t = 60 (1=30) = 2.

Die Wahrscheinlichkeit, dass in einer Minute hochstens ein Job abgearbeitet wird,betragt in diesem Fall (t = 2)

et + tet 0;406 :


3.4 Summen von Zufallsvariablen

Satz 105Seien X und Y unabhangige kontinuierliche Zufallsvariablen. Fur die Dichte vonZ := X + Y gilt

fZ(z) =

Z 1

1fX(x) fY (z x) dx :

Beweis:Nach Denition der Verteilungsfunktion gilt

FZ(t) = Pr[Z t] = Pr[X + Y t] =

ZA(t)

fX;Y (x; y) dxd y

wobei A(t) = f(x; y) 2 R2 j x+ y tg.


Beweis (Forts.):

Aus der Unabhangigkeit von X und Y folgt

FZ(t) =

ZA(t)

fX(x) fY (y) dxd y

=

Z 1

1fX(x)

Z tx

1fY (y) d y

dx:

Mittels der Substitution z := x+ y, d z = d y ergibt sichZ tx

1fY (y) d y =

Z t

1fY (z x) d z

und somit

FZ(t) =

Z t

1

Z 1

1fX(x)fY (z x) dx

d z :


Satz 106 (Additivitat der Normalverteilung)

Die Zufallsvariablen X1; : : : ; Xn seien unabhangig und normalverteilt mit denParametern i; i (1 i n). Es gilt: Die Zufallsvariable

Z := a1X1 + : : :+ anXn

ist normalverteilt mit Erwartungswert = a11 + : : :+ ann und Varianz2 = a21

21 + : : :+ a2n

2n.

Beweis:Wir beweisen zunachst den Fall n = 2 und a1 = a2 = 1. Nach Satz 105 gilt furZ := X1 +X2, dass

fZ(z) =

Z 1

1

fX1(z y) fX2

(y) d y

=1

212

Z 1

1

exp

1

2

(z y 1)

2

21+

(y 2)2

22

| z

=:v

d y:


Beweis (Forts.):

Wir setzen

:= 1 + 2

2 := 21 + 22

v1 := (z )=

v22 := v v21Damit ergibt sich unmittelbar

v22 =(z y 1)

2

21+

(y 2)2

22 (z 1 2)

2

21 + 22;

woraus wir

v2 =y21 2

21 + y22 z22 + 1

22

12

ermitteln.


Beweis (Forts.):

Damit folgt fur die gesuchte Dichte

fZ(z) =1

2 1 2 expv

21

2

Z 1

1exp

v

22

2

d y:

Wir substituieren nocht := v2 und d t =

12d y

und erhalten

fZ(z) =1

2 exp(z )2

22

Z 1

1exp

t

2

2

d t:

Mit Lemma 92 folgt, dass fZ(z) = '(z;; ) ist.


Beweis (Forts.):

Daraus erhalten wir die Behauptung fur n = 2, denn den Fall Z := a1X1 + a2X2 furbeliebige Werte a1; a2 2 R konnen wir leicht mit Hilfe von Satz 93 auf den soebenbewiesenen Fall reduzieren. Durch Induktion kann die Aussage auf beliebige Werten 2 N verallgemeinert werden.


3.5 Momenterzeugende Funktionen fur kontinuierliche Zufallsvariablen

Fur diskrete Zufallsvariablen X haben wir die momenterzeugende Funktion

MX(s) = E[eXs]

eingefuhrt. Diese Denition kann man unmittelbar auf kontinuierliche Zufallsvariablen

ubertragen. Die fur MX(s) gezeigten Eigenschaften bleiben dabei erhalten.

DWT 3.5 Momenterzeugende Funktionen fur kontinuierliche Zufallsvariablen 269/460c Susanne Albers

Beispiel 107

Fur eine auf [a; b] gleichverteilte Zufallsvariable U gilt

MU (t) = E[etX ] =

Z b

aetx 1

b adx

=

etx

t(b a)

ba

=etb eta

t(b a):


Beispiel (Forts.)

Fur eine standardnormalverteilte Zufallsvariable N N (0; 1) gilt

MN (t) =1p2

Z +1

1ete

2=2 d

= et2=2 1p

2

Z +1

1e(t)

2=2 d

= et2=2 :


Beispiel (Forts.)

Daraus ergibt sich fur Y N (; 2) wegen Y N (0; 1)

MY (t) = E[etY ]

= et E[e(t)Y ]

= et MN (t)

= et+(t)2=2 :


Weiterer Beweis von Satz 106:

Beweis:Gema dem vorhergehenden Beispiel gilt

MXi(t) = eti+(ti)2=2 :

Wegen der Unabhangigkeit der Xi folgt

MZ(t) = E[et(a1X1++anXn)] =nYi=1

E[e(ait)Xi ]

=nYi=1

MXi(ait)

=nYi=1

eaiti+(aiti)2=2

= et+(t)2=2 ;

mit = a11 + + ann und 2 = a2121 + + a2n

2n.


4. Zentraler Grenzwertsatz

Satz 108 (Zentraler Grenzwertsatz)

Die Zufallsvariablen X1; : : : ; Xn besitzen jeweils dieselbe Verteilung und seienunabhangig. Erwartungswert und Varianz von Xi existieren fur i = 1; : : : ; n und seienmit bzw. 2 bezeichnet (2 > 0).Die Zufallsvariablen Yn seien deniert durch Yn := X1 + : : :+Xn fur n 1. Dannfolgt, dass die Zufallsvariablen

Zn :=Yn n

pn

asymptotisch standardnormalverteilt sind, also Zn N (0; 1) fur n!1.

DWT 4 Zentraler Grenzwertsatz 274/460c Susanne Albers

Etwas formaler ausgedruckt gilt: Die Folge der zu Zn gehorendenVerteilungsfunktionen Fn hat die Eigenschaft

limn!1Fn(x) = (x) fur alle x 2 R:

Wir sagen dazu auch: Die Verteilung von Zn konvergiert gegen dieStandardnormalverteilung fur n!1.


Dieser Satz ist von groer Bedeutung fur die Anwendung der Normalverteilung in derStatistik. Der Satz besagt, dass sich die Verteilung einer Summe beliebigerunabhangiger Zufallsvariablen (mit endlichem Erwartungswert und Varianz) derNormalverteilung umso mehr annahert, je mehr Zufallsvariablen an der Summebeteiligt sind.


Beweis:Wir betrachten X

i := (Xi )= fur i = 1; : : : ; n mit E[Xi ] = 0 und Var[X

i ] = 1.Damit gilt (gema vorhergehendem Beispiel)

MZ(t) = E[etZ ] = E[et(X1+:::+X

n)=

pn]

=MX1(t=pn) : : : MX

n(t=pn) :

Fur beliebiges i betrachten wir die Taylorentwicklung von MXi(t) =: h(t) an der Stelle

t = 0

h(t) = h(0) + h0(0) t+ h00(0)2

t2 +O(t3):Aus der Linearitat des Erwartungswerts folgt

h0(t) = E[etXi X

i ] und h00(t) = E[etX

i (X

i )2]:


Beweis (Forts.):

Damit gilt

h0(0) = E[Xi ] = 0 und h00(0) = E[(X

i )2] = Var[X] = 1:

Durch Einsetzen in die Taylorreihe folgt h(t) = 1 + t2=2 +O(t3), und wir konnenMZ(t) umschreiben zu

MZ(t) =

1 +

t2

2n+O

t3

n3=2

n! et

2=2 fur n!1:

Aus der Konvergenz der momenterzeugenden Funktion folgt auch die Konvergenz derVerteilung. Damit ist Z asymptotisch normalverteilt.


Beweis (Forts.):

Die momenterzeugende Funktion existiert leider nicht bei allen Zufallsvariablen undunser Beweis ist deshalb unvollstandig. Man umgeht dieses Problem, indem man stattder momenterzeugenden Funktion die so genannte charakteristische Funktion~MX(t) = E[eitX ] betrachtet. Fur Details verweisen wir auf die einschlagigeLiteratur.


Der Zentrale Grenzwertsatz hat die folgende intuitive Konsequenz:

Wenn eine Zufallsgroe durch lineare Kombination vieler unabhangiger,identisch verteilter Zufallsgroen entsteht, so erhalt man naherungsweise eineNormalverteilung.


Ein wichtiger Spezialfall das Zentralen Grenzwertsatzes besteht darin, dass dieauftretenden Zufallsgroen Bernoulli-verteilt sind.

Korollar 109 (Grenzwertsatz von de Moivre)

X1; : : : ; Xn seien unabhangige Bernoulli-verteilte Zufallsvariablen mit gleicherErfolgswahrscheinlichkeit p. Dann gilt fur die Zufallsvariable Hn mit

Hn := X1 + : : :+Xn

fur n 1, dass die Verteilung der Zufallsvariablen

Hn :=

Hn nppnp(1 p)

fur n!1 gegen die Standardnormalverteilung konvergiert.


Beweis:Die Behauptung folgt unmittelbar aus dem Zentralen Grenzwertsatz, da = 1

nE[Hn] = p und 2 = 1nVar[Hn] = p(1 p).

BemerkungWenn man X1; : : : ; Xn als Indikatorvariablen fur das Eintreten eines Ereignisses A bein unabhangigen Wiederholungen eines Experimentes interpretiert, dann gibt Hn dieabsolute Haugkeit von A an.


4.1 Normalverteilung als Grenzwert der Binomialverteilung

Korollar 109 ermoglicht, die Normalverteilung als Grenzwert der Binomialverteilungaufzufassen. Die folgende Aussage ist eine Konsequenz von Korollar 109:

Korollar 110Sei Hn Bin(n; p) eine binomialverteilte Zufallsvariable. Die Verteilung von Hn=nkonvergiert gegen N (p; p(1 p)=n) fur n!1.

DWT 4.1 Normalverteilung als Grenzwert der Binomialverteilung 283/460c Susanne Albers

0.0

0.1

0.2

0.3

0.4

-4.0 -3.0 -2.0 -1.0 0.0 1.0 2.0 3.0 4.0

Bin(10, 0.3)ϕ(x)

0.0

0.1

0.2

0.3

0.4

-4.0 -3.0 -2.0 -1.0 0.0 1.0 2.0 3.0 4.0

Bin(20, 0.3)ϕ(x)

0.0

0.1

0.2

0.3

0.4

-4.0 -3.0 -2.0 -1.0 0.0 1.0 2.0 3.0 4.0

Bin(50, 0.3)ϕ(x)

0.0

0.1

0.2

0.3

0.4

-4.0 -3.0 -2.0 -1.0 0.0 1.0 2.0 3.0 4.0

Bin(100, 0.3)ϕ(x)

Vergleich von Binomial- und NormalverteilungBin(n; 0:3) bei 0:3n zentriert, mit

p0:3 0:7n horizontal gestaucht und vertikal gestreckt

DWT 4.1 Normalverteilung als Grenzwert der Binomialverteilung 284/460c Susanne Albers

Historisch gesehen entstand Korollar 109 vor Satz 108.

Fur den Fall p = 1=2 wurde Korollar 109 bereits von Abraham de Moivre (16671754)bewiesen. De Moivre war geburtiger Franzose, musste jedoch aufgrund seinesprotestantischen Glaubens nach England iehen. Dort wurde er unter anderem Mitgliedder Royal Society, erhielt jedoch niemals eine eigene Professur.

Die allgemeine Formulierung von Korollar 109 geht auf Pierre Simon Laplace(17491827) zuruck. Allerdings vermutet man, dass die Losung des allgemeinen Fallsp 6= 1=2 bereits de Moivre bekannt war.


4.2 Elementarer Beweis des Grenzwertsatzes von de Moivre fur p = 1=2

Wir betrachten die Wahrscheinlichkeit Pr[a H2n b] fur p = 1=2 und a; b 2 R mit

a b. Wenn die Verteilung von H2n, wie in Korollar 109 angegeben, gegen N (0; 1)

konvergiert, so sollte Pr[a H2n b] R ba '(t) d t fur genugend groe n gelten.

Wir schreiben f(n) 1 g(n) fur limn!1 f(n)=g(n) = 1, wollen also zeigen:

Pr[a H2n b] 1

Z b

a'(t) d t:

Da fur H2n Bin(2n; 1=2) gilt, dass E[H2n] = n und Var[H2n] = n=2 ist, erhalten wir

H2n =

H2n npn=2

;


und es folgt

Pr[a H2n b] = Pr[n+ a

pn=2 H2n n+ b

pn=2]

=Xi2In

Pr[H2n = n+ i]

fur In := fz 2 Z j apn=2 z bpn=2g. Damit ist

Pr[a H2n b] =

Xi2In

2n

n+ i

1

2

2n

| z =:pn;i

:

DWT 4.2 Elementarer Beweis des Grenzwertsatzes von de Moivre fur p = 1=2 287/460c Susanne Albers

Es gilt

maxi

pn;i pn :=

2n

n

1

2

2n

=(2n)!

(n!)21

2

2n

;

und mit der Stirling'schen Approximation fur n!

pn 1(2n)2n e2n p2 2n(nn en p2n)2

1

2

2n

=1pn

:

Ersetzen wir nun die pn;i durch pn, so entsteht dabei ein Fehler, den wir mit

qn;i :=pn;ipn

bezeichnen.


Fur i > 0 gilt

qn;i =

2nn+i

122n2nn

122n =(2n)! n! n!

(n+ i)! (n i)! (2n)!

=

Qi1j=0(n j)Qij=1(n+ j)

=iY

j=1

n j + 1

n+ j=

iYj=1

1 2j 1

n+ j

:

Wegen der Symmetrie der Binomialkoezienten gilt qn;i = qn;i, womit auch der Falli < 0 abgehandelt ist.


Man macht sich leicht klar, dass 1 1=x lnx x 1 fur x > 0 gilt. Damitschlieen wir, dass

ln

0@ iYj=1

1 2j 1

n+ j

1A =iX

j=1

ln

1 2j 1

n+ j

iX

j=1

2j 1

n+ j

iXj=1

2j 1

n+ i

= i(i+ 1) i

n+ i= i

2

n+

i3

n(n+ i)

= i2

n+O

1pn

;

da i = O(pn) fur i 2 In.


Ebenso erhalten wir

ln

0@ iYj=1

1 2j 1

n+ j

1A iX

j=1

1

1 2j 1

n+ j

1!

=iX

j=1

2j + 1

n j + 1

iXj=1

2j 1

n i

= i2

n i= i

2

nO

1pn

:

Zusammen haben wir

ei2

ni = e i2

nO

1pn

qn;i e

i2

n+O

1pn

Wegen eO(1=pn) = 1 o(1) folgt daraus qn;i 1 ei2=n.


Damit schatzen wir nun Pr[a H2n b] weiter ab:

Pr[a H2n b] =

Xi2In

pn qn;i 11pn

Xi2In

ei2=n

| z =:Sn

:

Mit :=p2=n konnen wir die Summe Sn umschreiben zu

Sn =1p2

Xi2In

e(i)2 1

2 :

Diese Summe entspricht einer Naherung furR ba '(t) d t =

1p2

R ba e

t2=2 d t durchAufteilung der integrierten Flache in Balken der Breite . Fur n!1 konvergiert dieFlache der Balken gegen das Integral, d. h. Sn 1

R ba '(t) d t.

q. e. d.


4.3 Verschiedene Approximationen der Binomialverteilung

Sei Hn Bin(n; p) eine binomialverteilte Zufallsvariable mit der VerteilungsfunktionFn. Fur n!1 gilt

Fn(t) = Pr[Hn=n t=n]

!

t=n ppp(1 p)=n

!=

t nppp(1 p)n

!:

Wir konnen Fn somit fur groe n durch approximieren. Diese Approximation ist inder Praxis deshalb von Bedeutung, da die Auswertung der Verteilungsfunktion derBinomialverteilung fur groe n sehr aufwandig ist, wahrend fur die Berechnung derNormalverteilung eziente numerische Methoden vorliegen.

DWT 4.3 Verschiedene Approximationen der Binomialverteilung 293/460c Susanne Albers

Beispiel 111

Wenn man die Wahrscheinlichkeit berechnen mochte, mit der bei 106 Wurfen miteinem idealen Wurfel mehr als 500500-mal eine gerade Augenzahl fallt, so muss maneigentlich folgenden Term auswerten:

T :=106X

i=5;005105

106

i

1

2

106

:

Dies ist numerisch kaum ezient moglich.

Die numerische Integration der Dichte ' der Normalverteilung ist hingegen relativeinfach. Auch andere Approximationen der Verteilung , beispielsweise durchPolynome, sind bekannt. Entsprechende Funktionen werden in zahlreichenSoftwarebibliotheken als

"black box\ angeboten.


Beispiel

Mit der Approximation durch die Normalverteilung erhalten wir

T 1

5;005 105 5 105p

2;5 105

!

= 1

5 1025 102

= 1 (1) 0;1573 :


Bei der Approximation der Binomialverteilung mit Hilfe von Korollar 109 fuhrt man oftnoch eine so genannte Stetigkeitskorrektur durch. Zur Berechnung von Pr[X x] furX Bin(n; p) setzt man

Pr[X x]

x+ 0;5 nppnp(1 p)

!statt

Pr[X x]

x nppnp(1 p)

!an.


Der Korrekturterm lat sich in der Histogramm-Darstellung der Binomialverteilungveranschaulichen. Die Binomialverteilung wird dort durch Balken angegeben, derenFlache in etwa der Flache unterhalb der Dichte ' von N (0; 1) entspricht. Wenn mandie Flache der Balken mit

"X x\ durch das Integral von ' approximieren mochte, so

sollte man bis zum Ende des Balkens fur"X = x\ integrieren und nicht nur bis zur

Mitte. Dafur sorgt der Korrekturterm 0;5.


Approximationen fur die Binomialverteilung

Approximation durch die Poisson-Verteilung: Bin(n; p) wird approximiert durchPo(np). Diese Approximation funktioniert sehr gut fur seltene Ereignisse, d. h.wenn np sehr klein gegenuber n ist. Als Faustregel fordert man n 30 undp 0;05.

Approximation durch die Cherno-Schranken: Bei der Berechnung der tails derBinomialverteilung liefern diese Ungleichungen meist sehr gute Ergebnisse. IhreStarke liegt darin, dass es sich bei den Schranken nicht um Approximationen,sondern um echte Abschatzungen handelt. Dies ist vor allem dann wichtig, wennman nicht nur numerische Naherungen erhalten mochte, sondern allgemeineAussagen uber die Wahrscheinlichkeit von Ereignissen beweisen mochte.


Approximation durch die Normalverteilung: Als Faustregel sagt man, dass dieVerteilungsfunktion Fn(t) von Bin(n; p) durch

Fn(t) ((t np)=pp(1 p)n)

approximiert werden kann, wenn np 5 und n(1 p) 5 gilt.


Kapitel III Induktive Statistik

1. Einfuhrung

Das Ziel der induktiven Statistik besteht darin, aus gemessenen Zufallsgroen auf diezugrunde liegenden Gesetzmaigkeiten zu schlieen. Im Gegensatz dazu spricht manvon deskriptiver Statistik, wenn man sich damit beschaftigt, groe Datenmengenverstandlich aufzubereiten, beispielsweise durch Berechnung des Mittelwertes oderanderer abgeleiteter Groen.

DWT 1 Einfuhrung 300/460c Susanne Albers

2. Schatzvariablen

Wir betrachten die Anzahl X von Lesezugrien auf eine Festplatte bis zum erstenLesefehler und nehmen an, dass Pr[X = i] = (1 p)i1p, setzen also fur X einegeometrische Verteilung an. Dahinter verbirgt sich die Annahme, dass bei jedemZugri unabhangig und mit jeweils derselben Wahrscheinlichkeit p ein Lesefehlerauftreten kann.

Unter diesen Annahmen ist die Verteilung der Zufallsvariablen X eindeutig festgelegt.Allerdings entzieht sich der numerische Wert des Parameters p noch unserer Kenntnis.Dieser soll daher nun empirisch geschatzt werden. Statt p konnen wir ebensogut E[X]bestimmen, da wir daraus nach den Eigenschaften der geometrischen Verteilung pmittels p = 1

E[X] berechnen konnen.

DWT 2 Schatzvariablen 301/460c Susanne Albers

Dazu betrachten wir n baugleiche Platten und die zugehorigen Zufallsvariablen Xi (fur1 i n), d. h. wir zahlen fur jede Platte die Anzahl von Zugrien bis zum erstenLesefehler. Die Zufallsvariablen Xi sind dann unabhangig und besitzen jeweils dieselbeVerteilung wie X. Wir fuhren also viele Kopien eines bestimmten Zufallsexperimentsaus, um Schlusse auf die Gesetzmaigkeiten des einzelnen Experiments ziehen zukonnen. Dies ist das Grundprinzip der induktiven Statistik. Die n Messungen heienStichproben, und die Variablen Xi nennt man Stichprobenvariablen.


Grundprinzip statistischer VerfahrenWir erinnern an das Gesetz der groen Zahlen (Satz 63) bzw. den ZentralenGrenzwertsatz (Satz 108). Wenn man ein Experiment genugend oft wiederholt, sonahert sich der Durchschnitt der Versuchsergebnisse immer mehr dem Verhalten an,das man

"im Mittel\ erwarten wurde. Je mehr Experimente wir also durchfuhren, umso

genauere und zuverlassigere Aussagen konnen wir uber den zugrunde liegendenWahrscheinlichkeitsraum ableiten. Auf diesem Grundprinzip beruhen alle statistischenVerfahren.


Um E[X] empirisch zu ermitteln, bietet es sich an, aus den Zufallsvariablen Xi dasarithmetische Mittel X zu bilden, das deniert ist durch

X :=1

n

nXi=1

Xi:

Es gilt

E[X] =1

n

nXi=1

E[Xi] =1

n

nXi=1

E[X] = E[X]:

X liefert uns also im Mittel den gesuchten Wert E[X]. Da wir X zur Bestimmung vonE[X] verwenden, nennen wir X einen Schatzer fur den Erwartungswert E[X]. Wegender obigen Eigenschaft ist X sogar ein so genannter erwartungstreuer Schatzer.


Denition 112Gegeben sei eine Zufallsvariable X mit der Dichte f(x; ). Eine Schatzvariable oderkurz Schatzer fur den Parameter der Dichte von X ist eine Zufallsvariable, die ausmehreren (meist unabhangigen und identisch verteilten) Stichprobenvariablenzusammengesetzt ist. Ein Schatzer U heit erwartungstreu, wenn gilt

E[U ] = :

Bemerkung:Die Groe E[U ] nennt man Bias der Schatzvariablen U . Bei erwartungstreuenSchatzvariablen ist der Bias gleich Null.


Der Schatzer X ist also ein erwartungstreuer Schatzer fur den Erwartungswert von X.Ein wichtiges Ma fur die Gute eines Schatzers ist die mittlere quadratischeAbweichung, kurz MSE fur mean squared error genannt. Diese berechnet sich durchMSE := E[(U )2]. Wenn U erwartungstreu ist, so folgtMSE = E[(U E[U ])2] = Var[U ].

Denition 113Wenn die Schatzvariable A eine kleinere mittlere quadratische Abweichung besitzt alsdie Schatzvariable B, so sagt man, dass A ezienter ist als B.Eine Schatzvariable heit konsistent im quadratischen Mittel, wenn MSE! 0 furn!1 gilt. Hierbei bezeichne n den Umfang der Stichprobe.


Fur X erhalten wir wegen der Unabhangigkeit von X1; : : : ; Xn

MSE = Var[X] = Var

"1

n

nXi=1

Xi

#

=1

n2

nXi=1

Var[Xi] =1

nVar[X]:


Bei jeder Verteilung mit endlicher Varianz folgt MSE = O(1=n) und somit MSE ! 0fur n!1. Der Schatzer X ist also konsistent.

Aus der Konsistenz von X im quadratischen Mittel konnen wir mit Hilfe des Satzesvon Chebyshev (siehe Satz 61) folgende Konsequenz ableiten. Sei " > 0 beliebig, aberfest. Dann gilt

Pr[jX j "] = Pr[jX E[X]j "] Var[X]

"2! 0

fur n!1. Fur genugend groe n liegen also die Werte von X beliebig nahe amgesuchten Wert = E[X]. Diese Eigenschaft nennt man auch schwache Konsistenz, dasie aus der Konsistenz im quadratischen Mittel folgt.


Als nachstes betrachten wir eine weitere von X abgeleitete Schatzvariable:

S :=

vuut 1

n 1

nXi=1

(Xi X)2:

Wir zeigen, dass S2 ein erwartungstreuer Schatzer fur die Varianz von X ist. Sei := E[X] = E[Xi] = E[X].

(Xi X)2 = (Xi + X)2

= (Xi )2 + (X)2 + 2(Xi )(X)

= (Xi )2 + (X)2 2

n

nXj=1

(Xi )(Xj )

=n 2

n(Xi )2 + (X)2

2

n

Xj 6=i

(Xi )(Xj ):


Fur je zwei unabhangige Zufallsvariablen Xi, Xj mit i 6= j gilt

E[(Xi )(Xj )] = E[Xi ] E[Xj ]

= (E[Xi] ) (E[Xj ] ) = 0 0 = 0:

Daraus folgt

E[(Xi X)2] =n 2

n E[(Xi )2] + E[(X)2]

=n 2

nVar[Xi] + Var[X]:


Wegen Var[Xi] = Var[X] und Var[X] = 1nVar[X] folgt nun

E[(Xi X)2] =n 1

nVar[X];

und somit gilt fur S2

E[S2] =1

n 1

nXi=1

E[(Xi X)2]

=1

n 1 n n 1

nVar[X] = Var[X]:

S2 ist also eine erwartungstreue Schatzvariable fur die Varianz von X.


Die vorangegangene Rechnung erklart, warum man als Schatzer nicht

1

n

nXi=1

(Xi X)2!6= S2

verwendet, wie man vielleicht intuitiv erwarten wurde.


Denition 114Die Zufallsvariablen

X :=1

n

nXi=1

Xi und S2 :=

1

n 1

nXi=1

(Xi X)2

heien Stichprobenmittel bzw. Stichprobenvarianz der Stichprobe X1; : : : ; Xn. X undS2 sind erwartungstreue Schatzer fur den Erwartungswert bzw. die Varianz.


2.1 Maximum-Likelihood-Prinzip zur Konstruktion von Schatzvariablen

Wir betrachten nun ein Verfahren zur Konstruktion von Schatzvariablen fur Parametervon Verteilungen. Sei

~X = (X1; : : : ; Xn):

Bei X1; : : : ; Xn handelt es sich um unabhangige Kopien der Zufallsvariablen X mit derDichte f(x; ). Hierbei sei der gesuchte Parameter der Verteilung. Wir setzen

f(x; ) = Pr[X = x];wobei ein Parameter der Verteilung ist.

Wenn wir den Parameter explizit angeben wollen, so schreiben wir dafur auchf(x; ) = Pr[X = x]. Eine Stichprobe liefert fur jede Variable Xi einen Wert xi.Diese Werte fassen wir ebenfalls zu einem Vektor ~x = (x1; : : : ; xn) zusammen.


Der Ausdruck

L(~x; ) :=nYi=1

f(xi; ) =nYi=1

Pr[Xi = xi]

unabh.= Pr[X1 = x1; : : : ; Xn = xn]

entspricht der Wahrscheinlichkeit, dass wir die Stichprobe ~x erhalten, wenn wir denParameter mit dem Wert belegen.

Wir betrachten nun eine feste Stichprobe ~x und fassen L(~x; ) somit als Funktion von auf. In diesem Fall nennen wir L die Likelihood-Funktion der Stichprobe.

DWT 2.1 Maximum-Likelihood-Prinzip zur Konstruktion von Schatzvariablen 315/460c Susanne Albers

Es erscheint sinnvoll, zu einer gegebenen Stichprobe ~x den Parameter so zu wahlen,dass L(x; ) maximal wird.

Denition 115Ein Schatzwert b fur den Parameter einer Verteilung f(x; ) heitMaximum-Likelihood-Schatzwert (ML-Schatzwert) fur eine Stichprobe ~x, wenn gilt

L(~x; ) L(~x; b) fur alle :


Beispiel 116

Wir konstruieren mit der ML-Methode einen Schatzer fur den Parameter p derBernoulli-Verteilung. Es gilt Prp[Xi = 1] = p und Prp[Xi = 0] = 1 p. Darausschlieen wir, dass Prp[Xi = xi] = pxi(1 p)1xi , und stellen die Likelihood-Funktion

L(~x; p) =nYi=1

pxi (1 p)1xi

auf.

Wir suchen als Schatzer fur p den Wert, an dem die Funktion L maximal wird. Wirerhalten

lnL(~x; p) =nXi=1

(xi ln p+ (1 xi) ln(1 p))

= nx ln p+ (n nx) ln(1 p):Hierbei bezeichnet x das arithmetische Mittel 1

n

Pni=1 xi.


Beispiel (Forts.)

Wir nden das Maximum durch Nullsetzen der Ableitung:

d lnL(~x; p)

d p=nx

p n nx

1 p= 0:

Diese Gleichung hat die Losung p = x.


Beispiel 117

Die Zufallsvariable X sei N (; 2)-verteilt, und wir suchen Schatzvariablen fur dieParameter und . Nach Denition der Likelihood-Funktion gilt

L(~x;; 2) =

1p2

n

nYi=1

exp

(xi )2

22

:

Durch Logarithmieren erhalten wir

lnL(~x;; 2) = n(lnp2 + ln) +

nXi=1

(xi )2

22

:


Beispiel 117

Fur die Nullstellen der Ableitungen ergibt sich

@ lnL

@=

nXi=1

xi

2!= 0;

@ lnL

@= n

+

nXi=1

(xi )2

3!= 0;

also

= x und 2 =1

n

nXi=1

(xi )2:

Wir haben also durch die ML-Methode"fast\ das Stichprobenmittel und die

Stichprobenvarianz erhalten. Allerdings besitzt der Schatzer fur die Varianz hier denVorfaktor 1

n statt 1n1 . Die ML-Schatzvariable fur die Varianz ist somit nicht

erwartungstreu.


3. Kondenzintervalle

Bei der Verwendung von Schatzvariablen geht man davon aus, dass der erhalteneSchatzwert

"nahe\ beim gesuchten Parameter liegt. Die Schatzungen werden

"besser\, je groer die betrachtete Stichprobe ist. Diese Angaben sind ausquantitativer Sicht naturlich unbefriedigend, da nicht erkennbar ist, wie gut man sichauf den Schatzwert verlassen kann.

Die Losung dieses Problems besteht darin, statt einer Schatzvariablen U zwei SchatzerU1 und U2 zu betrachten. U1 und U2 werden so gewahlt, dass

Pr[U1 U2] 1 :

Die Wahrscheinlichkeit 1 heit Kondenzniveau und kann dem

"Sicherheitsbedurfnis\ angepasst werden.


Wenn wir fur eine konkrete Stichprobe die Schatzer U1 und U2 berechnen und davonausgehen, dass 2 [U1; U2] ist, so ziehen wir hochstens mit Wahrscheinlichkeit einenfalschen Schluss. [U1; U2] heit Kondenzintervall.

In vielen Fallen verwendet man nur eine Schatzvariable U und konstruiert mittelsU1 := U und U2 := U + ein symmetrisches Kondenzintervall [U ; U + ].


Sei X eine N (; 2)-verteilte Zufallsvariable, und seien X1; : : : ; Xn n zugehorigeStichprobenvariablen. Gema der Additivitat der Normalverteilung (siehe Satz 106) ist

das Stichprobenmittel X ebenfalls normalverteilt mit X N (; 2

n ). Wir suchen fur Xein symmetrisches Kondenzintervall.

Nach Satz 93 ist

Z :=pn X

standardnormalverteilt.


Fur Z betrachten wir das Kondenzintervall [c; c] fur ein geeignetes c > 0 und setzen

Pr[c Z c]!= 1 :

Au osen nach ergibt

Pr

X cp

n X +

cpn

!= 1 :

Das gesuchte Kondenzintervall lautet also

K = [X cpn;X +

cpn] :


Den Parameter c wahlen wir wie folgt:

Pr[c Z c] = (c) (c) != 1 :

Wegen der Symmetrie von gilt (x) = 1 (x) und wir erhalten

(c) (c) = 2 (c) 1!= 1 () (c) = 1

2;

alsoc = 1

1

2

:


Denition 118X sei eine stetige Zufallsvariable mit Verteilung FX . Eine Zahl x mit

FX(x ) =

heit -Quantil von X bzw. der Verteilung FX .

Denition 119Fur die Standardnormalverteilung bezeichnet z das -Quantil.


Damit konnen wir das gesuchte Kondenzintervall angeben durch

K =

X

z(12)p

n;X +

z(12)p

n

:


4. Testen von Hypothesen

4.1 Einfuhrung

Bislang haben wir versucht, Parameter von Verteilungen zu schatzen. In der Praxis istman jedoch oft an der eigentlichen Kenntnis dieser Parameter gar nicht interessiert,sondern man mochte gewisse, damit zusammenhangende Behauptungen uberprufen.

Im Folgenden stellen wir die Bestandteile eines statistischen Tests anhand einesabstrakten Beispiels vor. Wir betrachten dazu eine Zufallsvariable X mitPr[X = 1] = p und Pr[X = 0] = 1 p. Durch einen Test soll uberpruft werden, obp < 1=3 oder p 1=3 gilt.


Denition eines TestsWir betrachten eine Stichprobe von n unabhangigen Stichprobenvariablen X1; : : : ; Xn,die dieselbe Verteilung wie die Zufallsvariable X besitzen. Zu einem zugehorigenStichprobenvektor ~x mussen wir nun die Frage beantworten, ob wir fur diesenVersuchsausgang die Hypothese

"p 1=3\ annehmen oder ablehnen.

SeiK := f~x 2 Rn; ~x fuhrt zur Ablehnung der Hypotheseg:

K nennen wir den Ablehnungsbereich oder den kritischen Bereich des Tests.


Gewohnlich wird K konstruiert, indem man die Zufallsvariablen X1; : : : ; Xn zu einerneuen Variablen T , der so genannten Testgroe, zusammenfasst. Dann unterteilt manden Wertebereich R von T in mehrere Bereiche, die entweder zur Ablehnung derHypothese fuhren sollen oder nicht. Dabei betrachtet man meist ein einzelneshalboenes oder abgeschlossenes Intervall und spricht dann von einem einseitigen bzw.von einem zweiseitigen Test.

Die Menge eK R enthalte die Werte von T , die zur Ablehnung der Hypothese fuhrensollen. Da wir Tests immer uber eine Testgroe denieren, werden wir der Einfachheithalber auch eK als Ablehnungsbereich bezeichnen. eK R entspricht direkt demAblehnungbereich K = T1( eK) Rn, wie wir ihn oben festgelegt haben.


Die zu uberprufende Hypothese bezeichnen wir mit H0 und sprechen deshalb auch vonder Nullhypothese. Bei manchen Tests formuliert man noch eine zweite Hypothese H1,die so genannte Alternative. Im Beispiel konnen wir

H0 : p 1=3 und H1 : p < 1=3

setzen.

Manchmal verzichtet man darauf, H1 anzugeben. Dann besteht die Alternative wieoben einfach darin, dass H0 nicht gilt. In diesem Fall nennen wir H1 triviale Alternative.


Ein echter, also nicht-trivialer Alternativtest lage beispielsweise vor, wenn wir ansetzen

H 00 : p 1=3 und H 0

1 : p 1=6:

Beispiel 120

Wir untersuchen eine Festplatte, von der bekannt ist, dass sie zu einer von zweiBaureihen gehort. Die mittleren Zugriszeiten dieser Baureihen betragen 9msbzw. 12ms. Wir mochten nun herausnden, zu welchem Typ die betrachtete Festplattegehort, indem wir die Zugriszeit bei n Zugrien bestimmen. Hier wurde man dannansetzen: H0 : 9 und H1 := 12, wobei die mittlere Zugriszeit bezeichnet.


Fehler bei statistischen TestsBei jedem statistischen Test konnen mit einer gewissen Wahrscheinlichkeit falscheSchlusse gezogen werden. Dieser Fall tritt beispielsweise ein, wenn H0 gilt, aber dasErgebnis ~x der Stichprobe im Ablehnungsbereich K liegt.Dann spricht man von einem Fehler 1. Art.Analog erhalten wir einen Fehler 2. Art, wenn H0 nicht gilt und ~x nicht imAblehnungsbereich liegt.

Fehler 1. Art : H0 gilt, wird aber abgelehnt.Fehler 2. Art : H0 gilt nicht, wird aber angenommen.


Fur die Beurteilung eines Tests ist es wesentlich, mit welcher Wahrscheinlichkeit diesebeiden Fehler eintreten konnen. Ziel ist es naturlich, diese Wahrscheinlichkeitenmoglichst klein zu halten. Allerdings sind die Minimierung des Fehlers 1. Art und desFehlers 2. Art gegenlauge Ziele, so dass ein vernunftiger Ausgleich zwischen beidenFehlern gefunden werden muss. Wenn man beispielsweise K = ; setzt, so erhalt manWahrscheinlichkeit Null fur den Fehler 1. Art, da H0 immer angenommen wird.Allerdings tritt der Fehler 2. Art dann mit Wahrscheinlichkeit Eins ein, wenn H0 nichtgilt.


Die Wahrscheinlichkeit fur den Fehler 1. Art wird mit bezeichnet, und man sprichtdeshalb gelegentlich vom -Fehler. heit auch Signikanzniveau des Tests.

In der Praxis ist es ublich, sich ein Signikanzniveau vorzugeben (ubliche Wertehierfur sind 0;05, 0;01 oder 0;001) und dann den Test so auszulegen (also denAblehnungsbereich K so zu bestimmen), dass die Wahrscheinlichkeit fur den Fehler1. Art den Wert besitzt.


Konstruktion eines einfachen TestsWir konstruieren einen Test fur den Parameter p einer Bernoulli-verteiltenZufallsvariablen X. Wir setzen

H0 : p p0; H1 : p < p0:

Als Testgroe verwenden wir

T := X1 + : : :+Xn:

Fur groere Wahrscheinlichkeiten p erwarten wir auch groere Werte fur T . Deshalb istes sinnvoll, einen Ablehnungsbereich der Art K := [0; k] fur T zu wahlen, wobei k 2 Rgeeignet festzulegen ist. Wir konstruieren hier also einen einseitigen Test, wahrend fureine Nullhypothese H0 : p = p0 sowohl zu kleine als auch zu groe Werte von T zurAblehnung von H0 fuhren sollten und somit ein zweiseitiger Test vorzuziehen ware.


T ist binomialverteilt. Da wir von einem groen Stichprobenumfang n ausgehen, bietetes sich an, die Verteilung von T nach dem Grenzwertsatz von de Moivre (sieheKorollar 109) durch die Normalverteilung zu approximieren.

Sei~T :=

T nppnp(1 p)

:

~T ist annahernd standardnormalverteilt.


Wir berechnen fur jeden Wert von k das zugehorige Signikanzniveau des Tests.

Fehlerwahrscheinlichkeit 1. Art = maxp2H0

Prp[T 2 K]

= maxp2H0

Prp[T k]

Fehlerwahrscheinlichkeit 2. Art = supp2H1

Prp[T 62 K]

= supp2H1

Prp[T > k]


Fur den Fehler 1. Art erhalten wir

= maxpp0

Prp[T k] = Prp=p0 [T k]

= Prp=p0

"~T k npp

np(1 p)

#

= Pr

"~T k np0p

np0(1 p0)

#

k np0pnp0(1 p0)

!:


Unter Verwendung der Quantile der Standardnormalverteilung ergibt sich damit:

Ist k so gewahlt, dass (k np0)=pnp0(1 p0) = z, so ist das Signikanzniveau

gleich .

Ist das gewunschte Signikanzniveau des Tests vorgegeben, so erhalt man denWert k = k(n) in Abhangigkeit vom Umfang n der Stichprobe durch

k = z pnp0(1 p0) + np0: (8)

Kleinere Werte fur k verkleinern zwar den Fehler 1. Art, vergroern jedoch denAnnahmebereich und damit die Wahrscheinlichkeit fur einen Fehler 2. Art.


Verhalten der TestfehlerWie verhalten sich die moglichen Testfehler des konstruierten Verfahrens? Wasgeschieht beispielsweise, wenn p nur geringfugig kleiner als p0 ist?

In diesem Fall betrachten wir beim Fehler 2. Art die Wahrscheinlichkeit

Prp=p0"[T k] Prp=p0 [T k] 1 :

Wenn sich also die"wahren\ Verhaltnisse nur minimal von unserer Nullhypothese

unterscheiden, so werden wir diese"im Zweifelsfall\ annehmen.


Bei echten Alternativtests werden fur hinreichend groe Stichproben und einengeeignet eingestellten Ablehnungsbereich beide Testfehler klein.

Beispiel 121

Die Abbruchrate p der Transaktionen in einem Online-Datenbanksystem wurde bereitsfruher einmal ermittelt. Allerdings sind die entsprechenden Daten verloren gegangenund die Entwickler erinnern sich nur noch, dass das Ergebnis entweder p = 1=3 oderp = 1=6 lautete. Unter dieser Annahme wurde man den Test wie folgt ansetzen:

H0 : p 1=3; H 01 : p 1=6:


Beispiel (Forts.)

Fur den Fehler 2. Art erhalt man nun:

Fehlerwahrsch. 2. Art = maxp1=6

Prp[T > k]

1

k (1=6) np(1=6) (5=6)n

!:

Mit den obigen Werten k = 25 und n = 100 ergibt sich mit

150 100p

5 10

= (

p5) 0;9871

ein Fehler 2. Art der Groe 0;0129, wahrend sich fur die triviale AlternativeH1 : p < 1=3 ein Wert von etwa 0;95 ergibt.


Die so genannte Gutefunktion g gibt allgemein die Wahrscheinlichkeit an, mit der einTest die Nullhypothese verwirft. Fur unser hier entworfenes Testverfahren gilt

g(n; p) = Prp[T 2 K] = Prp[T k]

k nppnp(1 p)

!:


0,0

0,2

0,4

0,6

0,8

1,0

0,0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0

n = 50n = 100n = 200

Gutefunktion g(n; p) fur verschiedene Werte von n


Man erkennt deutlich, dass fur alle n der Wert von k = k(n) genau so gewahlt wurde,dass g(n; 1=3) = 0;05 gilt. Dies wird durch den in Gleichung 8 angegebenen Ausdruckerreicht.

Fur Werte von p groer als 1=3 wird H0 : p 1=3 mit hoher Wahrscheinlichkeitangenommen, wahrend fur Werte deutlich unter 1=3 die Hypothese H0 ziemlich sicherabgelehnt wird.

Ferner ist auallig, dass g fur groere Werte von n schneller von Eins auf Null fallt.Daran erkennt man, dass durch den Test die Falle

"H0 gilt\ und

"H0 gilt nicht\ umso

besser unterschieden werden konnen, je mehr Stichproben durchgefuhrt werden. FurWerte von p, bei denen g(n; p) weder nahe bei Eins noch nahe bei Null liegt, kann derTest nicht sicher entscheiden, ob die Nullhypothese abzulehnen ist.


4.2 Praktische Anwendung statistischer Tests

Das im vorhergehenden Abschnitt konstruierte Testverfahren taucht in der Literaturunter dem Namen approximativer Binomialtest auf.

Die folgende Tabelle 1 gibt einen Uberblick uber die Eckdaten dieses Tests.


Tabelle : Approximativer Binomialtest

Annahmen:

X1; : : : ; Xn seien unabhangig und identisch verteilt mit Pr[Xi = 1] = p und Pr[Xi = 0] = 1p, wobei p unbekanntsei. n sei hinreichend gro, so dass die Approximation aus Korollar 109 brauchbare Ergebnisse liefert.

Hypothesen:

a) H0 : p = p0 gegen H1 : p 6= p0,b) H0 : p p0 gegen H1 : p < p0,c) H0 : p p0 gegen H1 : p > p0.

Testgroe:

Z :=h np0pnp0(1 p0)

;

wobei h := X1 + : : :+Xn die Haugkeit bezeichnet, mit der die Ereignisse Xi = 1 aufgetreten sind.

Ablehnungskriterium fur H0 bei Signikanzniveau :

a) jZj > z1=2,b) Z < z,c) Z > z1.

DWT 4.2 Praktische Anwendung statistischer Tests 347/460c Susanne Albers

4.3 Allgemeines Vorgehen bei statistischen Tests

1. Schritt: Formulierung von Annahmen. Ganz ohne Annahmen kommt man meist nichtaus. Ubliche Annahmen betreen meist die Verteilung der Stichprobenvariablenund deren Unabhangigkeit.

2. Schritt: Formulierung der Nullhypothese.

3. Schritt: Auswahl des Testverfahrens.

4. Schritt: Durchfuhrung des Tests und Entscheidung.


4.4 Ausgewahlte statistische Tests

4.4.1 Wie ndet man das richtige Testverfahren?

Statistische Tests kann man nach mehreren Kriterien in Klassen einteilen.

Anzahl der beteiligten ZufallsgroenSollen zwei Zufallsgroen mit potentiell unterschiedlichen Verteilungen verglichenwerden, fur die jeweils eine Stichprobe erzeugt wird (Zwei-Stichproben-Test), oderwird nur eine einzelne Zufallsgroe untersucht (Ein-Stichproben-Test)?


Bei der Fragestellung

Betragt die mittlere Zugriszeit auf einen Datenbankserver im Mittelhochstens 10ms?

hat man es mit einem Ein-Stichproben-Test zu tun, wahrend die Untersuchung derFrage

Hat Datenbankserver A eine kurzere mittlere Zugriszeit alsDatenbankserver B?

auf einen Zwei-Stichproben-Test fuhrt.


Bei mehreren beteiligten Zufallsgroen wird zusatzlich unterschieden, ob ausvoneinander unabhangigen Grundmengen Stichproben erhoben werden oder nicht.Beim vorigen Beispiel werden unabhangige Messungen vorgenommen, sofern dieServer A und B getrennt voneinander arbeiten. Wenn man jedoch die Frage

Lauft ein Datenbankserver auf einer Menge festgelegter Testanfragen mitQuery-Optimierung schneller als ohne?

untersucht, so spricht man von verbundenen Messungen.


Gelegentlich betrachtet man auch den Zusammenhang zwischen mehrerenZufallsgroen. Beispielsweise konnte man sich fur die Frage interessieren:

Wie stark wachst der Zeitbedarf fur eine Datenbankanfrage im Mittel mit der(syntaktischen) Lange der Anfrage, d. h. fuhren kompliziertereFormulierungen zu proportional langeren Laufzeiten?

Mit solchen Fragenstellungen, bei denen ein funktionaler Zusammenhang zwischenZufallsgroen ermittelt werden soll, beschaftigt sich die Regressionsanalyse. Wenn

uberhaupt erst zu klaren ist, ob ein solcher Zusammenhang besteht oder ob dieZufallsgroen vielmehr unabhangig voneinander sind, so spricht man vonZusammenhangsanalyse.

DWT 4.4 Ausgewahlte statistische Tests 352/460c Susanne Albers

Formulierung der NullhypotheseWelche Groe dient zur Denition der Nullhypothese? Hierbei werden in ersterLinie Tests unterschieden, die Aussagen uber verschiedene so genannteLageparameter treen, wie z.B. den Erwartungswert oder die Varianz derzugrunde liegenden Verteilungen.

Im Zwei-Stichproben-Fall konnte man beispielsweise untersuchen, ob derErwartungswert der Zufallsgroe A groer oder kleiner als bei Zufallsgroe B ist.

Gelegentlich wird zur Formulierung der Nullhypothese auch der so genannteMedian betrachtet: Der Median einer Verteilung entspricht dem (kleinsten)Wert x mit F (x) = 1=2.

Neben solchen Tests auf Lageparameter gibt es z.B. auch Tests, die auf einevorgegebene Verteilung oder auf ein Ma fur die Abhangigkeit verschiedenerZufallsgroen testen.


Annahmen uber die ZufallsgroenWas ist uber die Verteilung der untersuchten Groe(n) bekannt? Beientsprechenden Annahmen konnte es sich z.B. um die Art der Verteilung, denErwartungswert oder die Varianz handeln.


4.4.2 Ein-Stichproben-Tests fur Lageparameter

Beim approximativen Binomialtest wird ausgenutzt, dass die Binomialverteilung furgroe n nach dem Grenzwertsatz von de Moivre (Korollar 109) gegen dieNormalverteilung konvergiert. Aus diesem Grund kann man diesen Test auch alsSpezialfall eines allgemeineren Testverfahrens ansehen, namlich des Gautest, der nundargestellt wird.


Tabelle : Gautest

Annahmen:

X1; : : : ; Xn seien unabhangig und identisch verteilt mit Xi N (; 2), wobei 2 bekannt ist.Alternativ gelte E[Xi] = und Var[Xi] = 2, und n sei gro genug.

Hypothesen:

a) H0 : = 0 gegen H1 : 6= 0,b) H0 : 0 gegen H1 : < 0,c) H0 : 0 gegen H1 : > 0.

Testgroe:

Z :=X 0

pn :


a) jZj > z1=2,b) Z < z,c) Z > z1.


Der Gautest hat den Nachteil, dass man die Varianz 2 der beteiligten Zufallsgroenkennen muss.

Wenn diese unbekannt ist, so liegt es nahe, die Varianz durch dieStichprobenvarianz S2 (siehe Denition 114) anzunahern. Dies fuhrt auf den sogenannten t-Test, der in der folgenden Ubersicht dargestellt ist.


Tabelle : t-Test

Annahmen:

X1; : : : ; Xn seien unabhangig und identisch verteilt mit Xi N (; 2).Alternativ gelte E[Xi] = und Var[Xi] = 2, und n sei gro genug.

Hypothesen:

a) H0 : = 0 gegen H1 : 6= 0,b) H0 : 0 gegen H1 : < 0,c) H0 : 0 gegen H1 : > 0.

Testgroe:

T :=X 0

S

pn:


a) jT j > tn1;1=2,b) T < tn1;,c) T > tn1;1.


Hierbei gibt tn1;1 das (1 )-Quantil der t-Verteilung mit n 1 Freiheitsgradenan. Die t-Verteilung taucht manchmal auch unter dem Namen Student-Verteilung auf,da sie ursprunglich unter dem Pseudonym

"Student\ publiziert wurde.

Wir gehen an dieser Stelle nicht darauf ein, wieso die Testgroe die t-Verteilung besitzt,sondern weisen nur darauf hin, dass die Dichte dieser Verteilung (eigentlich handelt essich um eine ganze Familie von Verteilungen, da die Anzahl der Freiheitsgrade jeweilsnoch gewahlt werden kann) der Dichte der Normalverteilung ahnelt. Fur groe n(Faustregel: n 30) liegen die beiden Dichten so genau ubereinander, dass man in derPraxis die t-Verteilung durch die Normalverteilung annahert.


0,0

0,1

0,2

0,3

0,4

-4,0 -2,0 0,0 2,0 4,0

n = 1n = 5n = 20n!1

Dichte der t-Verteilung mit n Freiheitsgraden


Als weitere Beispiele fur gangige Ein-Stichproben-Tests zu Lageparametern seien derWilcoxon-Test und der 2-Varianztest genannt. Ersterer dient zum Testen vonHypothesen zum Median, wahrend der zweite Test Hypothesen zur Varianz beinhaltet.


4.4.3 Zwei-Stichproben-Tests fur Lageparameter

Bei Zwei-Stichproben-Tests wollen wir das Verhaltnis von Lageparameternuntersuchen. Besonders wichtig sind hierbei Tests zum Erwartungswert. Fur zweiZufallsgroen X und Y konnten wir beispielsweise die Frage untersuchen, ob fur dieErwartungswerte X und Y gilt, dass X = Y ist.


Tabelle : Zwei-Stichproben-t-Test

Annahmen:

X1; : : : ; Xm und Y1; : : : ; Yn seien unabhangig und jeweils identisch verteilt, wobei Xi N (X ; 2X) und

Yi N (Y ; 2Y ) gelte. Die Varianzen seien identisch, also 2X = 2Y .

Hypothesen:

a) H0 : X = Y gegen H1 : X 6= Y ,b) H0 : X Y gegen H1 : X < Y ,c) H0 : X Y gegen H1 : X > Y .

Testgroe:

T :=

sn+m 2

1m + 1

n

X Yq(m 1) S2

X + (n 1) S2Y

:


a) jT j > tm+n2;1=2,b) T < tm+n2;,c) T > tm+n2;1.


Vom Zwei-Stichproben-t-Test ndet man in der Literatur noch zusatzliche Varianten,die auch dann einsetzbar sind, wenn die beteiligten Zufallsgroen nicht dieselbe Varianzbesitzen. Der beim Ein-Stichproben-Fall erwahnte Wilcoxon-Test kann ebenfalls aufden Zwei-Stichproben-Fall ubertragen werden.


4.4.4 Nicht an Lageparametern orientierte Tests

Wir betrachten in diesem Abschnitt exemplarisch den 2-Anpassungstest. Bei einemAnpassungstest wird nicht nur der Lageparameter einer Verteilung getestet, sondern eswird die Verteilung als Ganzes untersucht.

Beim approximativen Binomialtest (siehe Tabelle 1) haben wir streng genommenbereits einen Anpassungstest durchgefuhrt. Bei der Nullhypothese H0 : p = p0 wirduntersucht, ob es sich bei der betrachteten Zufallsgroe um eine Bernoulli-verteilteZufallsvariable mit Parameter p0 handelt. Beim 2-Test gehen wir nun einen Schrittweiter: Wir nehmen an, dass die Zufallsgroe X genau k verschiedene Werte annimmt.Ohne Beschrankung der Allgemeinheit sei WX = f1; : : : ; kg. Die Nullhypothese lautetnun

H0 : Pr[X = i] = pi fur i = 1; : : : ; k:


Tabelle : 2-Anpassungstest

Annahmen:

X1; : : : ; Xn seien unabhangig und identisch verteilt mit WXi = f1; : : : ; kg.Hypothesen:

H0 : Pr[X = i] = pi fur i = 1; : : : ; k;

H1 : Pr[X = i] 6= pi fur mindestens ein i 2 f1; : : : ; kg;

Testgroe:

T =kXi=1

(hi npi)2

npi;

wobei hi die Haugkeit angibt, mit der X1; : : : ; Xn den Wert i angenommen haben.


T > 2k1;1;

dabei sollte gelten, dass npi 1 fur alle i und npi 5 fur mindestens 80% der Werte i = 1; : : : ; k.


Fur die Testgroe T wird naherungsweise eine 2-Verteilung mit k 1 Freiheitsgradenangenommen. Die Werte dieser Verteilung nden sich in entsprechenden Tabellen inder Literatur. Damit diese Approximation gerechtfertigt ist, sollte gelten, dass npi 1fur alle i und npi 5 fur mindestens 80% der Werte i = 1; : : : ; k. Das -Quantil einer2-Verteilung mit k Freiheitsgraden bezeichnen wir mit 2k; .


0,0

0,2

0,4

0,6

0,8

1,0

0,0 1,0 2,0 3,0 4,0 5,0

n = 1n = 2n = 3n = 5

Dichte der 2-Verteilung mit n Freiheitsgraden


Beispiel 122

Als Anwendung fur den 2-Test wollen wir uberprufen, ob der Zufallszahlengeneratorvon Maple eine gute Approximation der Gleichverteilung liefert. Dazu lassen wir Maplen = 100000 Zufallszahlen aus der Menge f1; : : : ; 10g generieren. Wir erwarten, dassjede dieser Zahlen mit gleicher Wahrscheinlichkeit p1 = : : : = p10 = 1=10 auftritt. Diessei unsere Nullhypothese, die wir mit einem Signikanzniveau von = 0;05 testenwollen.Beispiel:

i 1 2 3 4 5 6 7 8 9 10

hi 10102 10070 9972 9803 10002 10065 10133 9943 10009 9901

Fur den Wert der Testgroe gilt T = 8;9946. Ferner erhalten wir 29;0;95 16;919. DerTest liefert also keinen Grund, die Nullhypothese abzulehnen.


Das Prinzip des 2-Anpassungstests kann in leicht abgewandelter Form auch noch zumTesten einiger anderer Hypothesen verwendet werden: Beim 2-Homogenitatstest wird

uberpruft, ob zwei oder mehrere Verteilungen identisch sind, wahrend beim2-Unabhangigkeitstest zwei Zufallsgroen auf Unabhangigkeit untersucht werden.Beschreibungen dieser Tests ndet man in der Literatur.


Kapitel IV Stochastische Prozesse

1. Einfuhrung

Wir betrachten zeitliche Folgen von Zufallsexperimenten. Mathematisch beschreibtman diese durch einen so genannten stochastischen Prozess. Darunter versteht maneine Folge von Zufallsvariablen (Xt)t2T , die das Verhalten des Systems zuverschiedenen Zeitpunkten t angeben.

DWT 1 Einfuhrung 371/460c Susanne Albers

Wenn wir T = N0 annehmen, sprechen wir von einem stochastischen Prozess mitdiskreter Zeit. Lasst man andererseits T = R+

0 zu, so spricht man von stochastischenProzessen mit kontinuierlicher Zeit.

Eine besonders einfache Art von stochastischen Prozessen sind so genannteMarkov-Ketten. Diese haben die Eigenschaft, dass der nachste Zustand des Prozesseszwar vom aktuellen Zustand abhangen darf, nicht aber von der Historie, d.h. davon,wie der aktuelle Zustand erreicht wurde.


2. Prozesse mit diskreter Zeit

2.1 Einfuhrung

Denition 123Eine (endliche) Markov-Kette (mit diskreter Zeit) uber der ZustandsmengeS = f0; : : : ; n 1g besteht aus einer unendlichen Folge von Zufallsvariablen (Xt)t2N0mit Wertemenge S sowie einer Startverteilung q0 mit qT0 2 Rn. Die Komponenten vonq0 sind hierbei 0 und addieren sich zu 1. Fur jede Indexmenge I f0; : : : ; t 1gund beliebige Zustande i; j; sk (k 2 I) gilt

Pr[Xt+1 = j j Xt = i; 8k 2 I : Xk = sk] =

Pr[Xt+1 = j j Xt = i] : (9)


Sind die Wertepij := Pr[Xt+1 = j j Xt = i]

von t unabhangig, so nennt man die Markov-Kette (zeit)homogen. In diesem Falldeniert man die Ubergangsmatrix durch P = (pij)0i;j<n. Wenn man S = N0 zulasst,so spricht man von einer unendlichen Markov-Kette.

Markov-Ketten sind nach Andrey Andreyevich Markov (18561922) benannt.


Bedingung (9) heit Markov-Bedingung und besagt:Wenn wir den Zustand i zum Zeitpunkt t kennen, so hangt dieUbergangswahrscheinlichkeit zum Folgezustand j nur von i und j ab. DieVergangenheit (Zustande zu Zeitpunkten < t) der Markov-Kette spielt keine Rolle. Das

"Gedachtnis\ der Markov-Kette besteht also nur aus ihrem aktuellen Zustand und sie

"wei\ nicht, wie sie dorthin gekommen ist.

Bei einer zeithomogenen Markov-Kette hat die (absolute) Zeit t keinen Ein uss auf dieUbergangswahrscheinlichkeiten pij , d.h. das Systemverhalten wird nur durch denaktuellen Zustand bestimmt und nicht durch eine absolute Uhr.


Wahrscheinlichkeitsraum einer Markov-KetteNehmen wir an, dass wir die Kette von der Zeit 0 bis zur Zeit t0 beobachten wollen.Wir bezeichnen die Folge von Zustanden, die von der Kette in dieser Zeit durchlaufenwurde, mit ~x = (x0; x1; : : : ; xt0). St0+1 sei die Menge moglicher Zustandsfolgen.Einer beliebigen Folge ! := (x0; x1; : : : ; xt0) 2 ordnen wir die Wahrscheinlichkeit

Pr[!] = (q0)x0 t0Yi=1

Pr[Xi = xi j Xi1 = xi1]

zu. Dadurch erhalten wir einen diskreten Wahrscheinlichkeitsraum im Sinne derDenition.


Beispiel 124

Pr[Xt+1 = 1 j Xt = 1] = 0;9; Pr[Xt+1 = 1 j Xt = 0] = 0;2

Pr[Xt+1 = 0 j Xt = 1] = 0;1; Pr[Xt+1 = 0 j Xt = 0] = 0;8

0 10;8 0;90;20;1DWT 377/460c Susanne Albers

Einen bestimmten Ablauf des Systems kann man sich als so genannten Random Walkvorstellen.

Wenn wir uns beispielsweise zum Zeitpunkt t = 0 im Knoten 1 (also X0 = 1) benden,dann fuhren von dort zwei Kanten weiter, namlich zu den Knoten 0 und 1. DieseKanten sind mit Wahrscheinlichkeiten beschriftet, die sich zu Eins addieren. Gemadieser Wahrscheinlichkeiten entscheiden wir zufallig, wohin wir uns im nachsten Schrittbegeben.


Wir konnen auch die Frage beantworten, mit welcher Wahrscheinlichkeit wir uns zumZeitpunkt t = 2 im Knoten 1 benden. Da wir vereinbarungsgema beim Knoten 1starten, gibt es zwei mogliche Wege der Lange zwei durch den Graphen mitEndknoten 1, namlich

"111\ und

"101\. Die Wahrscheinlichkeiten fur diese Wege

lauten 0;9 0;9 = 0;92 bzw. 0;1 0;2. Insgesamt erhalten wir also eineWahrscheinlichkeit von 0;81 + 0;02 = 0;83.

Auch eine Aussage uber die erwartete Anzahl Schritte, die wir im Knoten 1 bis zumersten Ubergang zu Knoten 0 verbleiben, ist schnell getroen. Die Wahrscheinlichkeit,dass man genau k Schritte verbleibt, ist (0;9)k 0;1. Die Anzahl Schritte ist alsogeometrisch verteilt mit Erfolgswahrscheinlichkeit 0;1. Der Erwartungswert ist daher1=0;1 = 10.


2.2 Berechnung von Ubergangswahrscheinlichkeiten

Wir beschreiben die Situation zum Zeitpunkt t durch einen Zustandsvektor qt (den wirals Zeilenvektor schreiben). Die i-te Komponente (qt)i bezeichnet dabei dieWahrscheinlichkeit, mit der sich die Kette nach t Schritten im Zustand i aufhalt.Es gilt

Pr[Xt+1 = k] =n1Xi=0

Pr[Xt+1 = k j Xt = i] Pr[Xt = i];

also(qt+1)k =

n1Xi=0

pik (qt)i;

bzw. in Matrixschreibweiseqt+1 = qt P:


Mit der Matrixschreibweise konnen wir qt einfach durch die Startverteilung q0ausdrucken:

qt = q0 P t :

Ebenso gilt wegen der Zeithomogenitat allgemein fur alle t; k 2 N:

qt+k = qt P k:

Die Eintrage von P k geben an, mit welcher Wahrscheinlichkeit ein Ubergang vomZustand i zum Zustand j in genau k Schritten erfolgt.

p(k)ij := Pr[Xt+k = j j Xt = i] = (P k)ij :


Exponentiation von MatrizenWenn P diagonalisierbar ist, so existiert eine Diagonalmatrix D und eine invertierbareMatrix B, so dass P = B D B1 gilt. Diese erhalten wir durch Berechnung derEigenwerte und Eigenvektoren von P und durch Transformation von P in den Raumder Eigenvektoren.

Dann giltP k = B Dk B1 :

DWT 2.2 Berechnung von Ubergangswahrscheinlichkeiten 382/460c Susanne Albers

Beispiel 125

P =

0;8 0;20;1 0;9

Durch Bestimmung der Nullstellen des charakteristischen Polynoms der Matrix(P I) erhalten wir die Eigenwerte 0;7 und 1, sowie die zugehorigen (rechten)Eigenvektoren

1 =

21

und 2 =

11

:


Beispiel 125

Damit

D =

0;7 00 1

und B =

2 11 1

und

B1 = 1

313

13

23

:

Damit ergibt sich beispielsweise

P 3 =

2 11 1

0;73 00 13

13

13

13

23

0;562 0;4380;219 0;781

DWT 2.2 Berechnung von Ubergangswahrscheinlichkeiten 383/460c Susanne Albers

2.3 Ankunftswahrscheinlichkeiten und Ubergangszeiten

Bei der Analyse von Markov-Ketten treten oftmals Fragestellungen auf, die sich aufzwei bestimmte Zustande i und j beziehen:

Wie wahrscheinlich ist es, von i irgendwann nach j zu kommen?

Wie viele Schritte benotigt die Kette im Mittel, um von i nach j zu gelangen?


Denition 126Die Zufallsvariable

Tij := minfn 0 j Xn = j, wenn X0 = ig

zahlt die Anzahl der Schritte, die von der Markov-Kette fur den Weg von i nach jbenotigt werden. Tij nennen wir die Ubergangszeit (engl. hitting time) vom Zustand izum Zustand j. Wenn j nie erreicht wird, setzen wir Tij =1.

Ferner denieren wir hij := E[Tij ].

Die Wahrscheinlichkeit, vom Zustand i nach beliebig vielen Schritten in den Zustand jzu gelangen, nennen wir Ankunftswahrscheinlichkeit fij . Formal denieren wir

fij := Pr[Tij <1]:


Im Fall i = j gilt Tii = 0 und somit auch hii = 0, sowie fii = 1. Anschaulich ist diesklar: Wenn Anfangs- und Zielzustand identisch sind, so ist die Ubergangszeit gleichNull. Fur viele Zwecke ist es andererseits auch interessant zu messen, wie lange esdauert, bis Zustand i zu einem spateren Zeitpunkt wieder besucht wird. Wir erganzenDenition 126 fur diesen Fall.

Denition 127Die Zufallsvariable

Ti := minfn 1 j Xn = i, wenn X0 = igzahlt die Anzahl Schritte, die von der Markov-Kette benotigt werden, um von i nach izuruckzukehren (Ruckkehrzeit, engl. recurrence time). Der Erwartungswert seihi := E[Ti]. Die Wahrscheinlichkeit, mit der Ti einen endlichen Wert annimmt, nenntman Ruckkehrwahrscheinlichkeit:

fi := Pr[Ti <1]:

DWT 2.3 Ankunftswahrscheinlichkeiten und Ubergangszeiten 386/460c Susanne Albers

Beispiel 128

0 1 2 31,00,5 0,5

1,0

0,5

0,5

Beispiel zur Berechnung von fij und hij

Wir betrachten die obige Markov-Kette. Einige Besonderheiten fallen sofort auf:

Beginnt man im Zustand 0, so kann man niemals einen der ubrigen Zustandeerreichen. Die Ubergangszeiten T01, T02 und T03 sind daher 1.


Beispiel 128

0 1 2 31,00,5 0,5

1,0

0,5

0,5

Beginnt man im Zustand 1, so entscheidet sich im ersten Schritt, ob die Kettesich zukunftig im

"linken Teil\ (Zustand 0) oder im

"rechten Teil\ (Zustand 2

und 3) aufhalt. Fur die Ubergangszeit T10 gilt daher

T10 =

(1 falls X1 = 0;

1 falls X1 = 2:

Wegen Pr[X1 = 0 j X0 = 1] = 0;5 folgt f10 = 0;5 und E[T10] existiert nicht.


Beispiel 128

0 1 2 31,00,5 0,5

1,0

0,5

0,5

Beginnt man im Zustand 2 oder 3, so wird die Kette auch weiterhin zwischen denZustanden 2 und 3

"hin und her pendeln\. Genauer:

Die Anzahl der Schritte, in denen die Kette im Zustand 3 bleibt, ist geometrischverteilt mit Parameter 0;5. Der Zustand 3 wird daher im Mittel nach 1=0;5 = 2Schritten verlassen. Da Zustand 2 der einzige Nachbar von 3 ist, folgt h32 = 2und somit insbesondere auch f32 = 1.


Lemma 129Fur die erwarteten Ubergangs-/Ruckkehrzeiten gilt

hij = 1 +Xk 6=j

pikhkj fur alle i; j 2 S; i 6= j;

hj = 1 +Xk 6=j

pjkhkj ;

sofern die Erwartungswerte hij und hkj existieren.

Fur die Ankunfts-/Ruckkehrwahrscheinlichkeiten gilt analog

fij = pij +Xk 6=j

pikfkj fur alle i; j 2 S; i 6= j;

fj = pjj +Xk 6=j

pjkfkj :


Beweis:Sei i 6= j. Wir bedingen auf das Ergebnis des ersten Schritts der Markov-Kette underhalten aufgrund der Gedachtnislosigkeit Pr[Tij <1 j X1 = k] = Pr[Tkj <1] furk 6= j sowie Pr[Tij <1 j X1 = j] = 1.

fij = Pr[Tij <1] =Xk2S

Pr[Tkj <1 j X1 = k] pik

= pij +Xk 6=j

Pr[Tkj <1] pik = pij +Xk 6=j

pikfkj :

Die Ableitung fur fj (also i = j) ist analog.


Beweis:Sei wiederum i 6= j. Wegen der Gedachtnislosigkeit folgt E[Tij j X1 = k] = 1 + E[Tkj ]fur k 6= j. Ferner gilt E[Tij j X1 = j] = 1.Bedingen wir wieder auf das Ergebnis des ersten Schritts, so folgt (siehe Satz 36):

hij= E[Tij ] =Xk2S

E[Tij j X1 = k] pik

= pij +Xk 6=j

(1 + E[Tkj ]) pik = 1 +Xk 6=j

hkj pik:

Wiederum ist die Herleitung fur hj analog.


Beispiel 130

0 1 2 31,00,5 0,5

1,0

0,5

0,5

Fur die Berechnung der Ubergangszeiten fur die Zustande 2 und 3 erhalten wir dieGleichungen

h2 = 1 + h32; h3 = 1 + 12 h23

undh23 = 1; h32 = 1 + 1

2h32 = 2 :

Durch Losen dieses Gleichungssystems erhalten wir die Werte h2 = 3, h3 = 1;5,h23 = 1 und h32 = 2, die man leicht veriziert. Die Ankunftswahrscheinlichkeitenlassen sich analog herleiten. Man erhalt f2 = f3 = f23 = f32 = 1.


2.4 Das Gambler's Ruin Problem

Anna und Bodo spielen Poker, bis einer von ihnen bankrott ist. A verfugt uberKapital a, und B setzt eine Geldmenge in Hohe von m a aufs Spiel. Insgesamt sindalso m Geldeinheiten am Spiel beteiligt. In jeder Pokerrunde setzen A und B jeweilseine Geldeinheit. A gewinnt jedes Spiel mit Wahrscheinlichkeit p. B tragt folglich mitWahrscheinlichkeit q := 1 p den Sieg davon. Wir nehmen an, dass dieseWahrscheinlichkeiten vom bisherigen Spielverlauf und insbesondere vom Kapitalstandder Spieler unabhangig sind.

DWT 2.4 Das Gambler's Ruin Problem 391/460c Susanne Albers

Wir modellieren das Spiel durch die Markov-Kette

0

11 2 m1 m1q pq pq pq p

A interessiert sich fur die Wahrscheinlichkeit, mit der sie B in den Ruin treibt, also furdie Wahrscheinlichkeit fa;m (wir schreiben hier der Deutlichkeit halber fi;j statt fij).

Wir erhalten:

fi;m = p fi+1;m + q fi1;m fur 1 i < m 1; (10)

fm1;m = p+ q fm2;m;f0;m = 0:


Wir wollen nun fi;m allgemein als Funktion von m berechnen. Dazu beobachten wirzunachst, dass wir (10) wegen fm;m = 1 umschreiben konnen zu

fi+1;m = (1=p) fi;m (q=p) fi1;m fur 1 i < m: (11)

Wir erganzen (11) um die Anfangswerte

f0;m = 0 und f1;m = :

(Fur den Moment fassen wir als Variable auf. Nach Losung der Rekursion werden wir so wahlen, dass die Bedingung fm;m = 1 erfullt ist.)


Als Losung dieser linearen homogenen Rekursionsgleichung 2. Ordnung (11) ergibt sichfur p 6= 1=2:

fi;m =p 2p 1

1

1 p

p

i!:

Setzen wir nun i = m, so folgt aus fm;m = 1, dass

=2p 1

p 1

1pp

mgelten muss.


Insgesamt erhalten wir somit das Ergebnis:

fj;m =1

1pp

j1

1pp

m :

Fur p = 1=2 verlauft die Rechnung ahnlich.


Beispiel 131

Wir wollen berechnen, wie lange A und B im Mittel spielen konnen, bis einer vonihnen bankrott geht.

ha;m eignet sich dazu i.a. nicht (warum?).

Wir betrachten stattdessen:

T 0i := "Anzahl der Schritte von Zustand i nach

Zustand 0 oder m\

und setzendi := E[T 0i ]:

Oensichtlich gilt d0 = dm = 0 und fur 1 i < m

di = qdi1 + pdi+1 + 1 :


Beispiel (Forts.)

Wir betrachten nun nur den Fall p = q = 1=2 und erhalten

di = i (m i) fur alle i = 0; : : : ;m:

Wegen di mi m2 folgt also, dass das Spiel unabhangig vom Startzustand imMittel nach hochstens m2 Schritten beendet ist.


2.5 Stationare Verteilung

Reale dynamische Systeme laufen oft uber eine lange Zeit. Fur solche Systeme ist essinnvoll, das Verhalten fur t!1 zu berechnen.

Wir betrachten wieder die Markov-Kette aus unserem Beispiel. Wir hatten gezeigt,dass fur die Ubergangsmatrix P gilt:

P = B D B1 =2 1

1 1

710 00 1

1

313

13

23

:

DWT 2.5 Stationare Verteilung 398/460c Susanne Albers

Daraus folgt

P t = B Dt B1 =2 1

1 1

710

t0

0 1t

1

313

13

23

;

und fur t!1 erhalten wir

limt!1P t =

2 11 1

0 00 1

1

313

13

23

=

13

23

13

23

:


Fur eine beliebige Startverteilung q0 = (a; 1 a) folgt

limt!1 qt = lim

t!1 q0 P t = (a; 1 a) 1

323

13

23

=

1

3a+

1

3(1 a);

2

3a+

2

3(1 a)

= (

1

3;2

3):


Das System konvergiert also unabhangig vom Startzustand in eine feste Verteilung.Der zugehorige Zustandsvektor = (13 ;

23) hat eine interessante Eigenschaft:

P = (1

3;2

3) 0;8 0;20;1 0;9

= (

1

3;2

3) = :

ist also ein Eigenvektor der Matrix P zum Eigenwert 1 bezuglich Multiplikation vonlinks. Dies bedeutet: Wenn die Kette einmal den Zustandsvektor angenommen hat,so bleibt dieser bei allen weiteren Ubergangen erhalten.


Denition 132P sei die Ubergangsmatrix einer Markov-Kette. Einen Zustandsvektor mit = Pnennen wir stationare Verteilung der Markov-Kette.

Besitzen alle Markov-Ketten die Eigenschaft, dass sie unabhangig vom Startzustand ineine bestimmte stationare Verteilung konvergieren?

Nein!


0 1 2

1 1q pEine Markov-Kette mit absorbierenden Zustanden

Die Abbildung zeigt die Kette aus dem"gamblers ruin problem\ fur m = 2. Man sieht

sofort, dass hier sowohl 1 = (1; 0; 0) als auch 2 = (0; 0; 1) stationare Verteilungensind. Die beiden Zustande 0 und 2 haben jeweils keine ausgehenden Kanten. SolcheZustande heien absorbierend.


Denition 133Wir bezeichnen einen Zustand i als absorbierend, wenn aus ihm keine Ubergangeherausfuhren, d.h. pij = 0 fur alle j 6= i und folglich pii = 1.

Ein Zustand i heit transient, wenn fi < 1, d.h. mit positiver Wahrscheinlichkeit1 fi > 0 kehrt der Prozess nach einem Besuch von i nie mehr dorthin zuruck.

Ein Zustand i mit fi = 1 heit rekurrent.


Denition 134Eine Markov-Kette heit irreduzibel, wenn es fur alle Zustandspaare i; j 2 S eine Zahl

n 2 N gibt, so dass p(n)ij > 0.

Die Denition besagt anschaulich, dass jeder Zustand von jedem anderen Zustand ausmit positiver Wahrscheinlichkeit erreicht werden kann, wenn man nur genugend vieleSchritte durchfuhrt. Dies ist bei endlichen Markov-Ketten genau dann der Fall, wennder gerichtete Graph des Ubergangsdiagramms stark zusammenhangend ist.


Lemma 135Fur irreduzible endliche Markov-Ketten gilt: fij = Pr[Tij <1] = 1 fur alle Zustandei; j 2 S. Zusatzlich gilt auch, dass die Erwartungswerte hij = E[Tij ] alle existieren.


Beweis:Wir betrachten zunachst den Beweis fur die Existenz von hij .Fur jeden Zustand k gibt es nach Denition der Irreduzibilitat ein nk, so dass

p(nk)kj > 0. Wir halten nk fest und setzen n := maxk nk und p := mink p

(nk)kj .

Von einem beliebigen Zustand aus gelangen wir nach hochstens n Schritten mitWahrscheinlichkeit mindestens p nach j. Wir unterteilen die Zeit in Phasen zun Schritten und nennen eine Phase erfolgreich, wenn wahrend dieser Phase ein Besuchbei j stattgefunden hat. Die Anzahl von Phasen bis zur ersten erfolgreichen Phasekonnen wir durch eine geometrische Verteilung mit Parameter p abschatzen. Dieerwartete Anzahl von Phasen ist somit hochstens 1=p, und wir schlieen hij (1=p)n.Daraus folgt sofort, dass auch fij = Pr[Tij <1] = 1.


Satz 136Eine irreduzible endliche Markov-Kette besitzt eine eindeutige stationare Verteilung ,und es gilt j = 1=hjj fur alle j 2 S.

Beweis:Wir zeigen zunachst, dass es einen Vektor 6= 0 mit = P gibt. Sei e := (1; : : : ; 1)T

der All-1-Vektor und I die Einheitsmatrix. Fur jede Ubergangsmatrix P gilt P e = e,da sich die Eintrage der Zeilen von P zu Eins addieren. Daraus folgt0 = Pe e = (P I)e, und die Matrix P I ist somit singular. Damit ist auch dietransponierte Matrix (P I)T = P T I singular. Es gibt also einen (Spalten-)Vektor 6= 0 mit (P T I) = 0 bzw. TP = T . Wir betrachten zunachst den Fall, dassP

i i 6= 0. Dann konnen wir o.B.d.A. annehmen, dass normiert ist, also dassPi i = 1 gilt.


Beweis (Forts.):

Wegen Lemma 135 existieren die Erwartungswerte hij . Fur jeden Zustand j 2 S geltensomit nach Lemma 129 die Gleichungen

ihij = i1 +

Xk 6=j

pikhkj

fur i 2 S, i 6= j:

Wir addieren diese Gleichungen und erhalten wegenP

i i = 1

jhj +Xi6=j

ihij = 1 +Xi2S

Xk 6=j

ipikhkj

= 1 +Xk 6=j

hkjXi2S

ipik = 1 +Xk 6=j

khkj :

Wegen hj > 0 ist auch j = 1=hj positiv, und stellt somit einen zulassigenZustandsvektor dar.Fur den Fall

Pi i = 0 zeigt die entsprechende Rechnung wie zuvor, dass j = 0 fur

alle j 2 S gilt. Dies steht im Widerspruch zu 6= 0.


Auch wenn eine Markov-Kette irreduzibel ist und somit eine eindeutige stationareVerteilung besitzt, so muss sie nicht zwangslaug in diese Verteilung konvergieren.

0 1

11Eine Markov-Kette mit periodischen Zustanden

Als Startverteilung nehmen wir q0 = (1; 0) an. Es gilt:

qt =

((1; 0) falls t gerade,

(0; 1) sonst.

Die Kette pendelt also zwischen den beiden Zustandsvektoren (1; 0) und (0; 1) hin undher.


Denition 137Die Periode eines Zustands j ist deniert als die grote Zahl 2 N, so dass gilt:

fn 2 N0 j p(n)jj > 0g fi j i 2 N0g

Ein Zustand mit Periode = 1 heit aperiodisch. Wir nennen eine Markov-Ketteaperiodisch, wenn alle Zustande aperiodisch sind.


Fur ein n 2 N gilt p(n)ii > 0 genau dann, wenn es im Ubergangsdiagramm einen

geschlossenen Weg von i nach i der Lange n gibt.Damit folgt insbesondere:Ein Zustand i 2 S einer endlichen Markov-Kette ist sicherlich dann aperiodisch, wenner im Ubergangsdiagramm

eine Schleife besitzt (also pii > 0) oder

auf mindestens zwei geschlossenen Wegen W1 und W2 liegt, deren Langen l1 undl2 teilerfremd sind (fur die also ggT(l1; l2) = 1 gilt).


Lemma 138Ein Zustand i 2 S ist genau dann aperiodisch, falls gilt: Es gibt ein n0 2 N, so dass

p(n)ii > 0 fur alle n 2 N; n n0.

Beweis:Da je zwei aufeinanderfolgende naturliche Zahlen teilerfremd sind, folgt aus derExistenz eines n0 mit der im Lemma angegebenen Eigenschaft sofort die Aperiodizitatdes Zustands. Nehmen wir daher umgekehrt an, dass der Zustand i aperiodisch ist. MitHilfe des erweiterten euklidischen Algorithmus kann man die folgende Aussage zeigen.Fur je zwei naturliche Zahlen a; b 2 N gibt es ein n0 2 N, so dass gilt: Bezeichnetd := ggT(a; b) den groten gemeinsamen Teiler von a und b, so gibt es fur allen 2 N; n n0 nichtnegative Zahlen x; y 2 N0 mit nd = xa+ yb.


Beweis (Forts.):

Wegen p(xa+yb)ii (p

(a)ii )x (p(b)ii )y folgt daraus unmittelbar: Gilt fur a; b 2 N, dass

sowohl p(a)ii als auch p

(b)ii positiv sind, so gilt auch p

(nd)ii > 0 fur alle n 2 N, n n0.

Aus der Aperiodizitat des Zustand i folgt andererseits, dass es Werte a0; : : : ; ak geben

muss mit p(ai)ii > 0 und der Eigenschaft, dass fur d1 = ggT(a0; a1) und

di := ggT(di1; ai) fur i = 2; : : : ; k gilt: d1 > d2 > > dk = 1.Aus beiden Beobachtungen zusammen folgt die Behauptung.


Korollar 139Fur irreduzible, aperiodische endliche Markov-Ketten gilt: Es gibt ein t 2 N, so dassunabhangig vom Startzustand (qt)i > 0 fur alle i 2 S.

Beweis:Aus der Irreduzibilitat folgt, dass die Markov-Kette jeden Zustand i 2 S irgendwannbesuchen wird. Wegen Lemma 138 wissen wir ferner, dass die Kette hinreichend vieleSchritte nach dem ersten Besuch in i in jedem folgenden Zeitschritt mit positiverWahrscheinlichkeit zu i zuruckkehren wird. Da die Kette endlich ist, gibt es daher einn0, so dass die Kette sich unabhangig vom Startzustand fur alle n n0 in jedemZustand i 2 S mit positiver Wahrscheinlichkeit aufhalt.


Die Aperiodizitat einer irreduziblen Markov-Kette kann auf einfache Weisesichergestellt werden. Man fugt an alle Zustande so genannte Schleifen an. Dieseversieht man mit der Ubergangswahrscheinlichkeit p = 1=2 und halbiert dieWahrscheinlichkeiten an allen ubrigen Kanten.

0 1 2

1;00;3 0;71;0 0 1 2

0;50;15 0;350;50;5 0;5 0;5!Einfuhrung von Schleifen

Bei irreduziblen Ketten genugt es, eine einzige Schleife einzufuhren, um dieAperiodizitat der Kette sicherzustellen.

Denition 140Irreduzible, aperiodische Markov-Ketten nennt man ergodisch.


Satz 141 (Fundamentalsatz fur ergodische Markov-Ketten)

Fur jede ergodische endliche Markov-Kette (Xt)t2N0 gilt unabhangig vom Startzustand

limn!1 qn = ;

wobei die eindeutige stationare Verteilung der Kette bezeichnet.

Beweis:Gema Satz 136 existiert eine stationare Verteilung . Wir zeigen, dass fur beliebigeZustande i und k gilt

p(n)ik ! k fur n!1:

Daraus folgt die Behauptung, da

(qn)k =Xi2S

(q0)i p(n)ik ! k Xi2S

(q0)i = k:


Beweis (Forts.):

(Yt)t2N0 sei eine unabhangige Kopie der Kette (Xt)t2N0 . Fur den ProzessZt := (Xt; Yt) (t 2 N0), bei dem die Ketten Xt und Yt gewissermaen

"parallel\

betrieben werden, gilt also

Pr[(Xt+1; Yt+1) = (jx; jy) j (Xt; Yt) = (ix; iy)]

= Pr[Xt+1 = jx j Xt = ix] Pr[Yt+1 = jy j Yt = iy]

= pixjx piyjy :

(Zt)t2N0 ist daher ebenfalls eine Markov-Kette. Fur die Wahrscheinlichkeit, in n

Schritten von (ix; iy) nach (jx; jy) zu gelangen, erhalt man analog p(n)ixjx

p(n)iyjy

, was fur

genugend groes n gema Lemma 138 positiv ist. (Zt)t02N ist daher ebenfallsergodisch.


Beweis (Forts.):

Wir starten nun Zt so, dass die Ketten Xt und Yt in verschiedenen Zustanden ix bzw.iy beginnen, und interessieren uns fur den Zeitpunkt H, bei dem sich Xt und Yt zumersten Mal im gleichen Zustand benden.

Die Menge der Zustande von Zt ist gegeben durch S S. Wir denieren die Menge

M := f(x; y) 2 S S j x = yg:von Zustanden der Kette Zt, an denen sich Xt und Yt "

treen\. Denieren wir nun die

Trezeit H durch

H := maxfT(ix;iy);(jx;jy) j (ix; iy) 2 S S; (jx; jy) 2Mg;so folgt aus Lemma 135 und der Endlichkeit der Markov-Kette sofort, dassPr[H <1] = 1 und E[H] <1.


Beweis (Forts.):

Da die weitere Entwicklung der Ketten Xt und Yt ab dem Zeitpunkt H nur vomZustand XH = YH und der Ubergangsmatrix abhangt, wird jeder Zustand s 2 SZ zuden Zeiten t H von Xt und Yt mit derselben Wahrscheinlichkeit angenommen. Esgilt also Pr[Xt = s j t H] = Pr[Yt = s j t H] und somit auch

Pr[Xt = s; t H] = Pr[Yt = s; t H]: (12)

Als Startzustand wahlen wir fur die Kette Xt den Zustand i, wahrend Yt in derstationaren Verteilung beginnt (und naturlich auch bleibt). Damit erhalten wir fureinen beliebigen Zustand k 2 S und n 1

jp(n)ik kj = jPr[Xn = k] Pr[Yn = k]j= jPr[Xn = k; n H] + Pr[Xn = k; n < H]

Pr[Yn = k; n H] Pr[Yn = k; n < H]j:


Beweis (Forts.):

Nun konnen wir (12) anwenden und schlieen, dass

jp(n)ik kj = jPr[Xn = k; n < H] Pr[Yn = k; n < H]j:

Zur Abschatzung dieses Ausdrucks benutzen wir die Abschatzung

jPr[A \B] Pr[A \ C]j Pr[A]:

fur beliebige Ereignisse A, B und C (die oensichtlich ist).

Wir erhaltenjp(n)ik kj Pr[n < H]:

Da Pr[H <1] = 1, gilt Pr[n < H]! 0 fur n!1, d.h. die Wahrscheinlichkeiten

p(n)ik konvergieren fur n!1 gegen k.


2.6 Doppeltstochastische Matrizen

Wie berechnet man die nach Satz 141 (eindeutig bestimmte) stationare Verteilung,gegen die ergodische endliche Markov-Ketten fur jede Startverteilung konvergieren?

Eine Moglichkeit besteht darin, das lineare Gleichungssystem P = aufzustellenund zu losen. Fur groere Matrizen ist dieses Verfahren allerdings im Allgemeinen sehraufwandig.Wir stellen hier einen anderen Ansatz vor.

DWT 2.6 Doppeltstochastische Matrizen 422/460c Susanne Albers

Denition 142Eine n n Matrix P = (pij)0i;j<n heit stochastisch, falls alle Eintrage pijnichtnegativ und alle Zeilensummen gleich Eins sind:

n1Xj=0

pij = 1 fur alle i = 0; : : : ; n 1:

Sind zusatzlich auch alle Spaltensummen gleich 1, also

n1Xi=0

pij = 1 fur alle j = 0; : : : ; n 1;

so nennt man P doppeltstochastisch.

Die Ubergangsmatrix einer Markov-Kette ist immer stochastisch, und umgekehrt.


Lemma 143Ist P eine doppeltstochastische n n Matrix, so ist = ( 1n ; : : : ;

1n) ein Eigenvektor

zum Eigenwert 1 bezuglich Multiplikation von links:

= P:

Beweis:Fur alle 0 k < n gilt:

( P )k =n1Xi=0

i pik = 1

n

n1Xi=0

pik| z = 1

=1

n= k:


Zusammen mit Satz 141 erhalten wir damit sofort:

Satz 144Fur jede ergodische endliche Markov-Kette (Xt)t2N0 mit doppeltstochastischerUbergangsmatrix gilt unabhangig vom Startzustand

limt!1 qt = ( 1n ; : : : ;

1n);

wobei n die Kardinalitat der Zustandsmenge bezeichne.

Beweis:Klar!


Beispiel 145

Anna und Bodo verabreden sich wieder einmal zu einer Partie Poker. Misstrauischgeworden durch ihre Verluste beim letzten Rendezvous verdachtigt Anna mittlerweileihren Spielpartner, beim Mischen zu mogeln. Um ganz sicher zu gehen, dass die Kartenzukunftig auch wirklich gut gemischt werden, schlagt sie folgendes Verfahren vor: DerStapel mit Karten wird verdeckt hingelegt; dann werden m-mal jeweils zwei Kartendaraus zufallig ausgewahlt und vertauscht. Soll Bodo dieser Prozedur zustimmen?


Beispiel 145

Wir modellieren den oben skizzierten Mischvorgang durch eine Markov-Kette. AlsZustandsmenge S wahlen wir alle moglichen Anordnungen der Karten. Identizierenwir die Karten mit den Zahlen [n] = f1; : : : ; ng, so besteht S aus der Menge allerPermutationen der Menge [n].

Betrachten wir nun zwei verschiedene Permutationen ; 2 S. Nach Denition derMarkov-Kette ist die Ubergangswahrscheinlichkeit p; genau dann positiv, wenn esi; j 2 [n], i 6= j, gibt, so dass

(k) =

8><>:(j) falls k = i;

(i) falls k = j;

(k) sonst.


Beispiel 145

Da nach Voraussetzung i und j zufallig gewahlt werden (und es genaun2

solcher

Paare i; j gibt), gilt in diesem Fall p; = 1=n2

.

Da man jede Vertauschung zweier Karten durch nochmaliges Vertauschen wiederruckgangig machen kann, sieht man auch sofort ein, dass p; = p; gilt. DieUbergangsmatrix P ist also symmetrisch und damit insbesondere auchdoppeltstochastisch. Aus Satz 144 folgt somit, dass die Markov-Kette unabhangig vonder Startverteilung zur Gleichverteilung konvergiert.

Der von Anna vorgeschlagene Mischvorgang ist also in der Tat sinnvoll: Fur m!1konvergiert die Wahrscheinlichkeitsverteilung fur die sich ergebende Kartenreihenfolgegegen die Gleichverteilung, die Karten sind also bestens gemischt!


Beispiel 145

Anmerkung: Man kann zeigen, dass fur n Karten bereits m = O(n log n)Vertauschungen genugen, um einen gut durchmischten Kartenstapel zu erhalten.


Documents

Diskrete Wahrscheinlichkeitstheorie · 2016. 7. 7. · Fr 12:00{14:00 und Fr 14:00{15:00 (Interims H orsaal 1) P ichtvorlesung Bachelor IN, Bioinformatik ... Band 2 , Springer Verlag,