Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
Prof. Dr. Rainer DahlhausStatistik 1
Wintersemester 2016/2017
Vorbereitungsblatt für die Klausur
0.1 Lineares Modell, KQ-Schätzer, F-Tests, Konfidenzintervalle
Lösungen: (a) (i) Es ist X =
0
BBBBBBBB@
1 0
......
1 0
0 x1
......
0 xn
1
CCCCCCCCA
und Y = (Y11
, ..., Y1n
, Y21
, ..., Y2n
)
0, daher
ˆ� = (X 0X)
�1X 0Y =
✓n 0
0
Pn
i=1
x2
i
◆�1
✓ Pn
i=1
Y1iP
n
i=1
xi
Y2i
◆=
�Y1
n,xY
2
x2
�0 ⇡ (4.6/8, 148/214)0 ⇡ (0.6, 0.7)0.
(ii) Es ist = C� mit C = (0, x⇤). Damit ist der Gauß-Markov-Schätzer ˆ = C ˆ� = 7·0.7 = 4.9.
Es gilt ` = Rang(C) = 1 und r = Rang(X) = 2. Es ist
B = C 0(X 0X)
�1C =
(x⇤)
2
x2
.
Laut Vorlesung ist ein (1� ↵)-Konfidenzintervall von gegeben durch (beachte: wir haben 2nBeobachtungen):
K(Y ) = {| ˆ � |2 �2B`F`,2n�r,1�↵
},
wobei �2
=
R
20
2n�r
und
R2
0
= kY �X�k22
=
nX
i=1
(Y1i
� ˆ�1
)
2
+
nX
i=1
(Y2i
� ˆ�2
xi
)
2
=
⇣Y 2
1
� Y1
2
n
⌘+
⇣Y 2
2
� xY2
2
x2
⌘
= 3.5 + 104.2� 102.4� 2.7 = 2.6
Es ist also �2B`F`,2n�r,1�↵
⇡ 2.6
14
· 7
2
214
·4.6 ⇡ 0.2 undp0.2 ⇡ 0.4 und daher das Konfidenzintervall
gegeben durchK(Y ) = [4.5, 5.3].
(iii) Im reduzierten Modell gilt ˜X = (1, ..., 1, x1
, ..., xn
)
0 und ˜� = a, und daher für den KQ-Schätzer
ˆ
˜� = (
˜X 0˜X)
�1
˜X 0Y =
�n+ x2
��1
�Y1
+ xY2
�
und daher
R2
1
= kY� ˜X ˆ
˜�k22
=
nX
i=1
(Y1i
�ˆ
˜�)2+
nX
i=1
(Y2i
�ˆ
˜�xi
)
2
= Y 2
1
+Y 2
2
�(Y1
+ xY2
)
2
n+ x2
= 3.5+104.2�105.0 = 2.7
1
Für die F-Statistik folgt
F =
R2
1
�R2
0
`
. R2
0
2n� r=
0.1
1
.2.6
14
=
1.4
2.6⇡ 0.5 < 4.6 = F
1,14,0.95
.
Daher lehnen wir H0
nicht ab. Es ist also zu vermuten, dass a = b gilt.(b) (i) Es ist Y = (Y
11
, ..., Y1n
, Y21
, ..., Y2n
)
0 und
X =
0
BBBBBBBB@
1 x1
0 0
......
......
1 xn
0 0
0 0 1 x1
......
......
0 0 1 xn
1
CCCCCCCCA
Für den KQ-Schätzer erhalten wir ˆ� = (a1
,ˆb1
, a2
,ˆb2
)
0 mit
(aj
,ˆbj
)
0=
✓n x
x x2
◆�1
·✓
Yj
xYj
◆=
1
nx2 � x2
✓x2 �x�x n
◆·✓
Yj
xYj
◆=
1
nx2 � x2
✓x2 · Y
j
� x · xYj
n · xYj
� x · Yj
◆,
d.h. (siehe auch Rechnung in (c)(i)): ˆ�j
=
S
xY
j
S
xx
und aj
= Yj
� x · ˆbj
.
(ii) Es ist H0
: H 0� = 0 mit H =
0
BB@
1 0
0 1
�1 0
0 �1
1
CCA und ` = Rang(H) = 2. Weiter ist Rang(X) = 4.
Die F -Statistik lautet (beachte: 2n Beobachtungen)
F =
R2
1
�R2
0
`
. R2
0
2n� r⇠ F
`,2n�r
,
mit
R2
0
= kY �X ˆ�k22
=
2X
j=1
nX
i=1
(Yji
� aj
� ˆbj
xi
)
2
siehe Rechnung in (c)(ii)= n
�SY1Y1 � S2
xY1/S
xx
�+ n
�SY2Y2 � S2
xY2/S
xx
�.
und R2
1
= kY � ˜X ˆ
˜�k22
, wobei
˜X =
0
BBBBBBBB@
1 x1
......
1 xn
1 x1
......
1 xn
1
CCCCCCCCA
und
ˆ
˜� = (
˜X 0˜X)
�1
˜X 0Y =
1
2
1
nx2 � x2
✓x2 · (Y
1
+ Y2
)� x · (xY1
+ xY2
)
n · (xY1
+ xY2
)� x · (Y1
+ Y2
)
◆
=
1
2
✓ �SxY1 + S
xY2
�/S
xx�Y1
� xˆb1
�+
�Y2
� xˆb2
�◆
=
1
2
✓ˆb1
+
ˆb2�
Y1
� xˆb1
�+
�Y2
� xˆb2
�◆.
2
(c) (i) Es ist Y = (Y1
, ..., Yn
)
0 und X =
0
B@1 sin(t
1
)
......
1 sin(tn
)
1
CA. Für den KQ-Schätzer erhalten wir (kürze
ab xi
:= sin(ti
)):
ˆ� = (X 0X)
�1X 0Y =
✓n
Pn
i=1
xiP
n
i=1
xi
Pn
i=1
x2
i
◆�1
✓ Pn
i=1
YiP
n
i=1
xi
Yi
◆=
1
nx2 � x2
✓x2 �x�x n
◆·✓
YxY
◆
=
1
n2x2 � n2x2
✓n2x2 · Y � n2x · xYn2 · xY � n2x · Y
◆
Nun istˆb =
n2 · xY � n2x · Yn2x2 � n2x2
=
SxY
Sxx
.
(beachte z.B. Sxx
=
1
n
Pn
i=1
(xi
� x)2 = 1
n
Pn
i=1
x2
i
� 2
1
n
Pn
i=1
xi
· x+ x2
= x2 � x2), und
a =
x2Y ± x2Y � xxY
Sxx
= Y � x · xY � xY
Sxx
= Y � x · ˆb.
Eingesetzt erhalten wir: ˆ� = (a,ˆb)0 = (6.8� 51 · 1
12
, 1
12
)
0 ⇡ (2.55, 1
12
)
0.(ii) Es gilt
R2
0
= kY �X ˆ�k22
=
nX
i=1
(Yi
� a� ˆbxi
)
2
=
nX
i=1
(Yi
� Y +
ˆb(x� xi
))
2
= nSY Y
� 2
ˆbnSxY
+
ˆb2nSxx
ˆ
b=S
xY
/S
xx
= n�SY Y
� S2
xY
/Sxx
�.
Im reduzierten Modell mit b = 0 gilt ˜� = a und ˜X = (1, ..., 1)0. Dann ist der KQ-Schätzer
ˆ
˜� = (
˜X 0˜X)
�1
˜XY = Y ,
und
R2
1
= kY � ˜X ˆ
˜�k22
=
nX
i=1
(Yi
� Y )
2
= nSY Y
.
Für die F-Statistik folgt mit r = Rang(X) = 2:
F =
R2
1
�R2
0
`
. R2
0
n� r= 8 · S2
xY
/Sxx
SY Y
� S2
xY
/Sxx
= 8 · 2.5
3.5� 2.5= 20 > F
`,n�r,1�↵
= F1,8,0.95
= 5.32,
wir lehnen also die Hypothese H0
ab, es gilt also b 6= 0.
0.2 Suffizienz und Vollständigkeit, Lemma von Basu, UMVU-Schätzer
Lösungen: (a) (i) Dichte von P✓
bzgl. �n ist
p✓
(x) =1p
2⇡✓2n
exp
⇣� 1
2✓2
nX
i=1
x2
i
⌘,
d.h. P✓
ist strikt einparametrige Exponentialfamilie in natürlichem Parameter ⌘(✓) = � 1
2✓
2 mitStatistik T (x) =
Pn
i=1
x2
i
. ⌘ : ⇥ ! ⌘(⇥) ist bijektiv und ⌘(⇥) ist der natürliche Parameterraum,
3
daher ist T (x) suffizient und vollständig für {P✓
: ✓ 2 ⇥}.(ii) Aufgrund der Transformationseigenschaften für Normalverteilungen gilt Y
i
=
X
i
✓
iid⇠ N(0, 1).Damit ist
V =
X2
1Pn
i=1
X2
i
=
Y 2
iPn
i=1
Y 2
i
nur eine Funktion der i.i.d. Zufallsvariablen Yi
iid⇠ N(0, 1). Die Verteilung von V ist also unab-hängig von ✓, d.h. V ist verteilungsfrei für ✓.(iii) Das Lemma von Basu liefert: T (X) und V sind unabhängig. Daher gilt E[V T (X)] =
E[V ]E[T (X)] bzw.
E[V ] =
E[V T (X)]
E[T (X)]
=
E[X2
1
]Pn
i=1
E[X2
i
]
i.i.d.=
1
n.
(b) (i) Es ist mit Yi
:=
1
b
Xi
nach dem Transformationssatz für Dichten:
fY
i
(z) = b · fX
i
(b · z) = b · 1
�(k)bk(bz)k�1e�
bz
b
(0,1)
(z) =1
�(k)zk�1e�z
(0,1)
(z),
d.h. Yi
iid⇠ �(k, 1). Nun ist
M =
1
n
nX
i=1
Xi
= b · 1n
nX
i=1
Yi
, U =
n
vuutnY
i=1
Xi
= b · n
vuutnY
i=1
Yi
,
daher ist U
M
=
n
pQn
i=1 Yi
1n
Pn
i=1 Yi
eine Funktion von i.i.d. Zufallsvariablen Yi
, deren Verteilung nicht vonb abhängt. Entsprechend ist auch die Verteilung von U
M
verteilungsfrei für b.(ii) Betrachte nun k > 0 als fest vorgegeben. Es ist dann die Dichte von P
b
:= PX1,...,Xn bzgl.des Lebesgue-Maßes �n gegeben durch
dPn
d�n(x) =
nY
i=1
pk,b
(xi
) =
1
�(k)nbnk| {z }=:C(⌘(b))
· exp⇣� 1
b
nX
i=1
xi
⌘· exp
⇣(k � 1)
nX
i=1
log(xi
)
⌘·
(0,1)
n
(x)
| {z }=:h(x)
,
d.h. {Pb
: b > 0} = {P�1/⌘
: ⌘ < 0} ist eine einparametrige natürlich parametrisierte Exponen-tialfamilie und daher ist
Pn
i=1
xi
bzw. die bijektive Transformation M(x) = 1
n
Pn
i=1
xi
suffizientund vollständige für {P
b
: b > 0}.Zusammen mit dem Ergebnis von (i) folgt mit dem Lemma von Basu: M, U
M
sind unabhängig.(iii) Wegen der Unabhängigkeit gilt EU = E[ U
M
·M ] = E[ UM
] ·EM , d.h. E[ UM
] =
EUEM . Es gilt hier
gemäß Hinweis EM = EX1
= k · b, und
EU X
i
i.i.d.=
nY
i=1
E[X1/n
i
] = E[X1/n
1
]
n.
4
Es ist
E[X1/n
1
] =
Z
R
1
�(k)bkx
1n
+k�1e�x
b
(0,1)
(x) dx
=
�(k +
1
n
)bk+1n
�(k)bk
Z
R
1
�(k +
1
n
)bk+1n
· x 1n
+k�1e�x
b
(0,1)
(x)
| {z }Dichte einer �(k+
1n
,b)
dx
| {z }=1
=
�(k +
1
n
)b1/n
�(k),
damit insgesamt
Eh UM
i=
EUEM =
⇣�(k+
1n
)b
1/n
�(k)
⌘n
k · b =
⇣�(k+
1n
)
�(k)
⌘n
k.
(c) Die Dichte von P✓
bzgl. dem Lebesguemaß �n lautet
p✓
(x) =
nY
i=1
⇣[✓,✓+1]
(xi
)
⌘= {x1,...,xn
�✓} · {x1,...,xn
✓+1}
= {min(x1,...,xn
)�✓} · {max(x1,...,xn
)✓+1} = g✓
(T (x)) · h(x)
mit h(x) = 1 und g✓
(t) = {t1�✓} · {t2✓+1} und (siehe Aufgabenstellung)
T (x) = (min(x1
, ..., xn
),max(x1
, ..., xn
)).
Mit dem Neyman-Faktorisierungskriterium folgt T (x) ist suffizient für {P✓
: ✓ 2 ⇥}. T (x) istaber nicht vollständig, denn mit der Funktion s(t) = t
1
� t2
� n�1
n+1
gilt offensichtlich: s(t) 6⌘ 0
PT
✓
-f.s. (für jedes ✓), aber für jedes ✓ 2 ⇥ gilt:
E✓
[S�T ] = E[max(X1
, ..., Xn
)]�E[min(X1
, ..., Xn
)]�n� 1
n+ 1
=
⇣✓+
n
n+ 1
⌘�⇣✓+
1
n+ 1
⌘�n� 1
n+ 1
= 0,
Widerspruch zur Vollständigkeitsdefinition.(Standard-Berechnung Dichten: Für x 2 [✓, ✓ + 1] gilt P(max(X
1
, ...., Xn
) x) = P(X1
x)n = (x� ✓)n, d.h. f
max(X
i
)
(z) = n(z� ✓)n�1
[✓,✓+1]
(z) und daher E[max(Xi
)] = nR
✓+1
✓
z · (z�✓)n�1 dz = n
R1
0
(w + ✓)wn�1 dw =
⇥n
n+1
wn+1
+ ✓wn
⇤1
0
= ✓ + n
n+1
. Analog folgt E[min(Xi
)] =
✓ + 1
n+1
.(d) Es ist mit Transformationseigenschaften der Normalverteilung: T (X) = X
1
�X2
⇠ N(0, 2�2
),d.h. die Verteilung von T (X) ist unabhängig von µ 2 R. Damit ist T (X) verteilungsfrei für{P
µ
: µ 2 R}.(e) Die Dichte von P
�,✓
bzgl. �n lautet (siehe Hinweis):
p�,✓
(x) =
nY
i=1
f�,✓
(xi
) = �n exp(��nX
i=1
xi
+ n✓) · {min(x1,...,xn
)�✓} = g✓
(T (x)) · h(x),
wobei h(x) = 1, g✓
(t) = �n exp(��t1
+ n✓) ·t2�✓} und T (x) = (
Pn
i=1
xi
,min(x1
, ..., xn
)) wie inder Aufgabenstellung. Mit dem Neymanschen Faktorisierungskriterium folgt die Behauptung.(f) Eine suffiziente und vollständige Statistik für p ist T (X) =
Pn
i=1
Xi
⇠ Bin(n, p). Da g(p)jeweils einfacher quadratischer Ausdruck in p, liegt Momentenansatz nahe. Es ist
E[T (X)] = np, E[T (X)
2
] = Var(T (X)) + E[T (X)]
2
= np(1� p) + (np)2 = np+ n(n� 1)p2.
5
daher ist S⇤(X) :=
T (X)
2�T (X)
n(n�1)
eine Funktion einer vollständigen und suffizienten Statistik mitES⇤
(X) = p2, d.h. S⇤ ist UMVU-Schätzer für g(p) = p2.Alternativ: Bedingungsmethode. Es ist S(X) = {X1=X2=1} ein erwartungstreuer Schätzer fürg(p) = p2, denn E[S(X)] = P(X
1
= 1) · P(X2
= 1) = p2. Daher ist
S⇤(t) = E[S(X)|T (X) = t] = P(X
1
= X2
= 1|T (X) = t) =P(X
1
= X2
= 1, T (X) = t)
P(T (X) = t)
=
P(P
n
i=3
Xi
= t� 2)P(X1
= X2
= 1)
P(T (X) = t).
Wegen T (X) ⇠ Bin(n, p) und analogP
n
i=3
Xi
⇠ Bin(n�2, p) können wir in Zähler und Nennerdie Dichten von Binomialverteilungen einsetzen und erhalten:
S⇤(t) =
p2 ·✓n� 2
t� 2
◆pt�2
(1� p)n�t
✓nt
◆pt(1� p)n�t
=
t(t� 1)
n(n� 1)
,
damit ist auch hier S⇤(T (X)) =
T (X)(T (X)�1)
n(n�1)
.(g) Es ist T (X) =
Pn
i=1
Xi
suffizient und vollständig für �.(i) Für g(�) = � verwenden wir direkt die Momentenmethode: Es ist T (X) ⇠ Poi(n�), daherET (X) = n�. Entsprechend ist S⇤
(X) =
T (X)
n
erwartungstreu für g(�) = � und Funktion einervollständigen und suffizienten Statistik, also UMVU-Schätzer.Alternativ: Koeffizientenvergleichsmethode liefert
1X
k=0
s(k)(�n)k
k!e��n
= E[s(T (X))] = g(�) = �
,1X
k=0
s(k)(�n)k
k!= �e� =
1
n
1X
k=0
(�n)k+1
k!=
1X
k=1
1
n
(�n)k
(k � 1)!
links und rechts sind Polynome in �n, d.h. es muss gelten s(0) = 0 und �
k
(k�1)!
=
1
n
s(k)�
k
k!
,s(k) = k
n
. Damit ist also S⇤(X) = s(T (X)) =
T (X)
n
gesuchter UMVU.(ii) (Koeffizientenvergleichsmethode ist auch möglich, geht wie in (i); Momentenmethode istschwierig). Wir verwenden die Bedingungsmethode: Es ist P(X
1
= 0) = e��, d.h. P(X1
= X2
=
0) = e�2�, d.h. S(X) = {X1=X2=0} ist erwartungstreu. Es ist
S⇤(t) = E[S(X)|T (X) = t] = P(X
1
= X2
= 0|T (X) = t) =P(X
1
= X2
= 0, T (X) = t)
P(T (X) = t)
=
P(P
n
i=3
Xi
= t)P(X1
= X2
= 0)
P(T (X) = t).
Es istP
n
i=3
Xi
⇠ Poi((n� 2)�) und T (X) ⇠ Poi(�), daher
S⇤(t) =
(�(n�2))
t
t!
e��(n�2) · e�2�
(�n)
t
t!
e�(�n)
=
⇣n� 2
n
⌘t
,
d.h. S⇤(T (X)) =
⇣n�2
n
⌘T (X)
ist der gesuchte UMVU-Schätzer.(h) Hier ist bekanntermaßen T (X) = max{X
1
, ..., Xn
} eine suffiziente und vollständige Statis-tik. Die Bedingungsmethode ist in diesem Setting nicht zu empfehlen, da max{X
1
, ..., Xn
} = Xi
6
mit Wahrscheinlichkeit 1/n und somit keine bedingten Lebesgue-Dichten existieren (d.h. Be-rechnung von bedingten Erwartungswerten ist aufwendig).(i) Momentenmethode: Die Dichte von T (X) ist f
T (X)
(z) = n z
n�1
✓
n [0,✓]
(z) (Berechnung überVerteilungsfunktion P(T (X) z) = P(X
1
z)n =
�z
✓
�n für z 2 [0, ✓]), daher ET (X) =R
zfT (X)
(z) dz =
n
n+1
✓. Daher ist S⇤(X) =
n+1
n
T (X) eine Funktion einer vollständigen undsuffizienten Statistik sowie erwartungstreu und daher nach dem Satz von Lehmann-Scheffe einUMVU-Schätzer.(ii) Koeffizientenvergleichsmethode (auch möglich in (i)): Es soll gelten
n
✓n
Z✓
0
s(t)tn�1 dt =Z
s(t)fT (X)
(t) dt = E[s(T (X))] = g(✓) = e�✓ ,Z
✓
0
s(t)tn�1 dt =✓n
ne�✓.
Ableiten nach ✓ auf beiden Seiten bringt
s(✓)✓n�1
=
1
n
�n✓n�1 � ✓n
�e�✓ ) s(✓) = (1� ✓
n)e�✓,
d.h. S⇤(X) = s(T (X)) = (1� T (X)
n
)e�T (X) ist der gesuchte UMVU-Schätzer.(j) T (X) =
Pn
i=1
Xi
ist vollständig und suffizient für �. Es ist bekanntermaßen EX1
=
1
�
undE[X2
1
] =
2
�
2 sowie Var(X1
) =
1
�
2 . Es ist weiter ET (X) =
Pn
i=1
EXi
=
n
�
und E[T (X)
2
] =
Pn
i=1
E[X2
i
] =
n
�
2 (beachte Unabhängigkeit der Xi
). Es ist also S⇤(X) =
T (X)
2
n
ein erwartungs-treuer Schätzer für g(�) = Var(X
1
) =
1
�
, der nur von einer vollständigen und suffizientenStatistik abhängt, daher UMVU-Schätzer.(ii) Ein erwartungstreuer Schätzer für g(�) = P(X
1
x) ist S(X) = {X1x}. Damit mussS⇤
(X) = E[S(X)|T (X)] ein UMVU-Schätzer sein. (—DIESEN TEIL BEIM VORRECHNENNICHT AUSFÜHREN—) Zur Berechnung (im Stetigen nicht so leicht wie im Diskreten) be-stimmen wir die gemeinsame Verteilung von X
1
, T (X) = X1
+
Pn
i=2
Xi
mittels Faltung undTransformation: Für t > x ist
FX1,T (X)
(x, t) = P(X1
x, T (X) t) = P(X1
x,X1
+
nX
i=2
Xi
t)
=
Zx
0
Zt�x
0
0
fX1(x
0)f
T (X)�X1(t0) dt0 dx0.
Ableiten erst nach x, dann nach t ergibt die Dichte
fX1,T (X)
(x, t) = @t
@x
FX1,T (X)
(x, t) = @t
Zt�x
0
fX1(x)fT (X)�X1(t
0) dt0
= fX1(x)fT (X)�X1(t� x).
(— ENDE —) Die bedingte Dichte ist entsprechend fX1|T (X)=t
(x) =f
X1,T (X)(x,t)
f
T (X)(t). Wir erhalten
nun
s⇤(t) = P(X1
x|T (X) = t) =
Zx
0
fX1|T (X)=t
(y) dy =
Zx
0
fX1,T (X)
(y, t)
fT (X)
(t)dy
=
Rx^t0
�e��y · �
n�1
(n�2)!
(t� y)n�2e��(t�y) dy�
n
(n�1)!
tn�1e��t
=
(n� 1)
tn�1
Zx^t
0
(t� y)n�2 dy
= �t�n+1
h(t� y)n�1
ix^t
0
=
8<
:1, t < x,
1�⇣
t�x
t
⌘n�1
, t � x,
7
d.h. S⇤(X) = s⇤(T (X)) ist der gesuchte UMVU-Schätzer.
(k) Eine vollständige und suffiziente Statistik für {Pµ
:= N(µ, �2
)
n
: µ 2 R} lautet T (x) =Pn
i=1
xi
. Der Schätzer S(x) = {x1t} (kürze ab: x = (x1
, ..., xn
)
0) ist ein erwartungstreuerSchätzer für g(µ), denn
Eµ
S = P(X1
t) = g(µ).
Nach dem Satz von Lehmann-Scheffe ist damit
S⇤= E
µ
[S|T ]
ein UMVU-Schätzer für g(µ). Es gilt
✓X
1Pn
i=1
Xi
◆=
✓1 0 ... 0
1 1 ... 1
◆
| {z }=:A
·
0
B@X
1
...X
n
1
CA
| {z }⇠N
�(µ, ..., µ)0| {z }
=:b
,�2 · In⇥n| {z }
=:⌃
�
⇠ N(Ab,A⌃A0) = N
⇣µ·✓1
n
◆, �2
✓1 1
1 n
◆⌘.
Mit dem Hinweis folgt:
X1
��T (X) ⇠ N⇣µ+
�2
n�2
· (T (X)� nµ), �2 � �4
n�2
⌘= N
⇣T (X)
n, �2 ·
�1� 1
n
�⌘.
Wir erhalten schließlich für S⇤(X):
S⇤(X) = E[S(X)|T (X)] = P(X
1
t|T (X)) = �
⇣ t� T (X)
n
� ·q1� 1
n
⌘= �
⇣ t�Xn
� ·q1� 1
n
⌘.
0.3 Äquivariante und Bayes-Schätzer
Lösungen: (a) (i) Es ist mit Standardargumenten und der Tatsache, dass FX1(s) = (1 �
e��(x�✓)
) {x�✓}:
FS(X)
(s) = P(S(X) s) = 1� (1� FX1(s))
n
=
�1� e��n(s�✓)
�{s�✓},
d.h. S(X) ⇠ vExp(✓, n�).(ii) Da P
✓
:= PX1,...,Xn eine Lokationsfamilie in ✓ 2 R ist, ist die Verteilung von Y unabhängigvon ✓ (genauer: Ist (X
1
, ..., Xn
) ⇠ P✓
, so gilt (X1
� ✓, ..., Xn
� ✓) ⇠ P0
. Daher ist auch Y =
(X1
�Xn
, ..., Xn�1
�Xn
)
0= ((X
1
� ✓)� (Xn
� ✓), ..., (X1
� ✓)� (Xn
� ✓))0 eine Funktion vonZufallsvariablen, deren Verteilung unabhängig von ✓ ist, d.h. die Verteilung von Y ist ebenfallsunabhängig von ✓). Das bedeutet, Y ist verteilungsfrei für ✓. Mit dem Lemma von Basu folgt:S(X), Y sind unabhängig.(iii) Es gilt wegen der Unabhängigkeit E
0
[L(S(x), v⇤(y))|Y = y] = E0
[L(S(x), v⇤(y))], d.h. derMinimierer v⇤(y) dieser Größe ist unabhängig von y. Für die absolute Verlustfunktion muss alsov 7! E
0
[|S(x) � v|] minimiert werden, d.h. v⇤ ist ein Median von PS(x)
0
. Für die quadratischeVerlustfunktion muss v 7! E
0
[|S(x)� v|2] minimiert werden, d.h. v⇤ = E0
S(x). Wir berechnennun diese beiden Größen mit dem Ergebnis von (i). Achtung: Die vorherrschende Verteilung istP0
, d.h. setze bei der Berechnung ✓ = 0. Quadratische Verlustfunktion:
v = E0
S(X) =
Z 1
0
x · �ne��nx dx =
1
�n.
8
(Erwartungswert Exponentialverteilung).Absolute Verlustfunktion: v ist Lösung von
1
2
=
Zv
�1�ne��nx
{x�0} dx =
Zv
0
�ne��nx dx =
⇥� e��nx
⇤v
0
= 1� e��nv,
d.h. v =
ln(2)
�n
.(iv) Nach Vorlesung gilt S⇤
(X) = S(X) � v⇤(Y ) mit den Größen aus (i) und (iii), d.h.S⇤
(X) = min{X1
, ..., Xn
}� 1
�n
für quadratischen Verlust und S⇤(X) = min{X
1
, ..., Xn
}� ln(2)
�n
für absoluten Verlust.(b) Die gemeinsame Dichte von X
1
, ..., Xn
unter ✓ = 0 ist gegeben durch
f(x) =nY
i=1
⇣1
a+ b{�ax
i
b}
⌘=
1
(a+ b)n{�amin(x1,...,xn
)} · {max(x1,...,xn
)b},
und damit (vorbereiten des Terms für Integration bzgl. u):
f(x1
� u, ..., xn
� u) =1
(a+ b)n{max(x1,...,xn
)�bumin(x1,...,xn
)+a}.
Für den quadratischen Verlust nutzen wir die Pitman-Formel (Vorfaktoren Dichte fallen weg):
S⇤(x) =
Ruf(x
1
� u, ..., xn
� u) duRf(x
1
� u, ..., xn
� u) du=
Rmin(x1,...,xn
)+a
max(x1,...,xn
)�b
u duR
min(x1,...,xn
)+a
max(x1,...,xn
)�b
1 du
=
[
1
2
u2
]
min(x1,...,xn
)+a
max(x1,...,xn
)�b
(max(x1
, ..., xn
)� b)� (min(x1
, ..., xn
) + a)
=
1
2
�(max(x
1
, ..., xn
)� b) + (min(x1
, ..., xn
) + a) .
Letzter Schritt: 3. Binomische Formel.Für den absoluten Verlust nutzen wir den Hinweis. Es ist
f(y1
+ t, ..., yn�1
+ t, t) =1
(a+ b)n{�a�min(y1,...,yn�1,0)tb�max(y1,...,yn�1,0)}.
Eingesetzt in den Hinweis folgt (wir nehmen oBdA an, dass �a � min(y1
, ..., yn�1
, 0) v b�max(y
1
, ..., yn�1
, 0)):
v + a+min(y1
, ..., yn�1
, 0) =
Zv
�a�min(y1,...,yn�1,0)
dt =Z
b�max(y1,...,yn�1,0)
v
dt = b�max(y1
, ..., yn�1
, 0)� v,
d.h.v⇤(y) =
1
2
��max(y
1
, ..., yn�1
, 0)�min(y1
, ..., yn�1
, 0) + b� a�,
und daher S⇤(X) = X
n
� v⇤(Y ) =
1
2
�max(X
1
, ..., Xn�1
, Xn
) + min(X1
, ..., Xn�1
, Xn
) � b + a�
wie beim quadratischen Verlust.(c) Wir nutzen die Formel aus der Vorlesung. Die gemeinsame Dichte unter µ = 0 lautet
f(x) =⇣
2
⇡�2
⌘n/2
· exp⇣� 1
2�2
nX
i=1
x2
i
⌘{min{x1,...,xn
}�0}.
9
Es folgt
µ(x) =
Ruf(x
1
� u, ..., xn
� u) duRf(x
1
� u, ..., xn
� u) du=
Rmin{x1,...,xn
}�1 u · exp(�1
2
Pn
i=1
(xi
� u)2) duR
min{x1,...,xn
}�1 exp(�1
2
Pn
i=1
(xi
� u)2) du
= ... = xn
� exp(�n(min{x1
, ..., xn
}� xn
)
2/2p2⇡n�(
pn(min{x
1
, ..., xn
}� xn
))
(d) Hier ist die gemeinsame Dichte von X1
, ..., Xn
unter µ = 0:
f(x) =nY
i=1
⇣e�x
i
exp(�e�x
i
)
⌘= e�
Pn
i=1 xi
exp
⇣ nX
i=1
e�x
i
⌘.
Entsprechend ist
f(x1
� u, ..., xn
� u) = enu · e�P
n
i=1 xi
exp
⇣� eu ·
nX
i=1
e�x
i
⌘.
Pitman-Formel liefert mit c = c(x) :=P
n
i=1
e�x
i und Substitution v := ceu , u = ln(v/c) undv�1dv = du:
S⇤(x) =
Ruf(x
1
� u, ..., xn
� u) duRf(x
1
� u, ..., xn
� u) du=
Ruenu exp(�ceu) duRenu exp(�ceu) du
v:=ce
u
=
R10
ln(v/c) · vn�1e�v dvR10
vn�1e�v dv.
Nach Hinweis istR10
xn�1e�x dx = (n � 1)! undR10
ln(x)xn�1e�x dx = (n). Damit erhaltenwir
S⇤(x) =
(n)
(n� 1)!
� ln(c) = (n)
(n� 1)!
� ln
⇣ nX
i=1
e�x
i
⌘.
(e) Die Dichte pX1|⇥=✓
ist gegeben durch
pX1|⇥=✓
(x) = ↵ exp(�↵(x� ✓)) {x�✓}
bzgl. des Lebesgue-Maßes auf R. Es gilt daher für die Likelihood von X geg. ⇥ bzgl. n-dim.Lebesgue-Maßes auf Rn:
pX|⇥=✓
(x) =
nY
i=1
⇣↵ exp(�↵(x
i
� ✓)) {xi
�✓}
⌘= ↵n
exp
⇣� ↵
nX
i=1
xi
⌘en↵✓ {min{x1,...,xn
}�✓}.
Für die Posteriori-Dichte erhalten wir mittels des Satzes von Bayes:
p⇥|X=x
(✓) ⇠ pX|⇥=✓
(x) · p⇥
(✓)
= �e��✓
{✓>0} · ↵n
exp
⇣� ↵
nX
i=1
xi
⌘en↵✓ {min{x1,...,xn
}�✓}
⇠ e(n↵��)✓
{0<✓min{x1,...,xn
}.
Berechnung der Normierungskonstante der Posteriori:
c =
Zmin{x1,...,xn
}
0
e(n↵��)✓ d✓ =e(n↵��)min{x1,...,xn
} � 1
n↵� �,
10
d.h. die vollständige Wahrscheinlichkeitsdichte der Posteriori lautet:
p⇥|X=x
(✓) =1
ce(n↵��)✓
{0<✓min{x1,...,xn
}.
Der Bayes-Schätzer bzgl. absoluter Verlustfunktion ist ein Median von P⇥|X=x, d.h. m = S⇤(x)
ist Lösung der Gleichung (beachte, dass die Posteriori Träger [0,min{x1
, ..., xn
}] besitzt. Dahermuss ein Median m garantiert ebenfalls in diesem Intervall liegen, daher ist ✓ 2 [0,m] diestärkere Bedingung als ✓ 2 [0,min{x
1
, ..., xn
}]):
1
2
=
Zm
�1p⇥|X=x
(✓) d✓ =1
c
Zm
0
e(n↵��)✓ d✓ =1
c
e(n↵��)m � 1
n↵� �,
d.h.
e(n↵��)min{x1,...,xn
} � 1
2
= e(n↵��)m � 1 , m =
1
n↵� �ln
⇣e(n↵��)min{x1,...,xn
}+ 1
2
⌘.
Der Bayes-Schätzer bzgl. quadratischer Verlustfunktion lautet (beachteRxeDx dx =
1
D
(x �1
D
)eDx, D = (n↵� �)):
S⇤(x) =
Z✓p
⇥|X=x
(✓) =1
c
Zmin{x1,...,xn
}
0
✓ · e(n↵��)✓ d✓
=
1
c
1
n↵� �
h�✓ � 1
n↵� �
�e(n↵��)✓
imin{x1,...,xn
}
0
=
�e(n↵��)min{x1,...,xn
} � 1
��1 ·h�
min{x1
, ..., xn
}� 1
n↵� �
�e(n↵��)min{x1,...,xn
}+
1
n↵� �
i.
(f) Die Dichte pX1|⇥=✓
ist gegeben durch
pX1|⇥=✓
(x) = ✓ · e�✓x
{x>0}
bzgl. des Lebesgue-Maßes auf R. Es gilt daher für die Likelihood von X geg. ⇥ bzgl. n-dim.Lebesgue-Maßes auf Rn:
pX|⇥=✓
(x) =nY
i=1
⇣✓ · e�✓x
i
{xi
>0}
⌘= ✓ne�✓
Pn
i=1 xi
{min{x1,...,xn
}>0}.
Für die Posteriori-Dichte erhalten wir mittels des Satzes von Bayes:
p⇥|X=x
(✓) ⇠ pX|⇥=✓
(x) · p⇥
(✓)
= ✓ne�✓
Pn
i=1 xi
{min{x1,...,xn
}>0} · �e��✓
{✓>0}
⇠ ✓ne�✓(
Pn
i=1 xi
+�)
{✓>0}.
Berechnung der Normierungskonstante der Posteriori:
D =
Z 1
0
✓ne
�✓
=:cz }| {
(
nX
i=1
xi
+ �)
d✓ Hinweis= n!c�(n+1).
11
d.h. die vollständige Wahrscheinlichkeitsdichte der Posteriori lautet:
p⇥|X=x
(✓) =1
D✓ne�✓(
Pn
i=1 xi
+�)
{✓>0}.
Der Bayes-Schätzer bzgl. quadratischer Verlustfunktion lautet nun
S(x) =
Z✓p
⇥|X=x
(✓) d✓ =1
D
Z 1
0
✓n+1e�✓(
Pn
i=1 xi
+�) d✓ Hinweis=
1
D(n+1)!c�(n+2)
=
n+ 1
c=
n+ 1
�+
Pn
i=1
xi
.
Anmerkung: (f) ist ein Spezialfall von (g) mit ↵ = 1, � = �.(g) Die Dichte p
X1|⇥=✓
ist gegeben durch
pX1|⇥=✓
(x) = ✓ · e�✓x
{x>0}
bzgl. des Lebesgue-Maßes auf R. Es gilt daher für die Likelihood von X geg. ⇥ bzgl. n-dim.Lebesgue-Maßes auf Rn:
pX|⇥=✓
(x) =nY
i=1
⇣✓ · e�✓x
i
{xi
>0}
⌘= ✓ne�✓
Pn
i=1 xi
{min{x1,...,xn
}>0}.
Für die Posteriori-Dichte erhalten wir mittels des Satzes von Bayes:
p⇥|X=x
(✓) ⇠ pX|⇥=✓
(x) · p⇥
(✓)
= ✓ne�✓
Pn
i=1 xi
{min{x1,...,xn
}>0} ·�↵
�(↵)✓↵�1e��✓
{✓>0}
⇠ ✓n+↵e�✓(
Pn
i=1 xi
+�)
{✓>0},
d.h. P⇥|X=x
= �(n+↵,P
n
i=1
xi
+�) ist wieder Gamma-verteilt. Der Bayes-Schätzer ist gegebendurch
S(x) = E[⇥|X = x] = E�(n+ ↵,nX
i=1
xi
+ �)Hinweis
=
n+ ↵Pn
i=1
xi
+ �.
(h) Die Dichte pX1|⇥=✓
ist gegeben durch
pX1|⇥=✓
(x) = ✓x(1� ✓)1�x
{0,1}(x)
bzgl. des Zählmaßes µZ
auf N0
. Es gilt daher für die Likelihood von X = (X1
, ..., Xn
)
0 gegeben⇥ bzgl. des n-dim. Zählmaßes auf Nn
0
:
pX|⇥=✓
(x) =
nY
i=1
⇣✓xi
(1� ✓)1�x
i
{0,1}(xi
)
⌘= ✓
Pn
i=1 xi
(1� ✓)n�P
n
i=1 xi
{0,1}n(x).
Für die Posteriori-Dichte erhalten wir mittels des Satzes von Bayes:
p⇥|X=x
(✓) ⇠ pX|⇥=✓
(x) · p⇥
(✓)
= ✓P
n
i=1 xi
(1� ✓)n�P
n
i=1 xi
{0,1}n(x) · [0,1]
(✓)
⇠ ✓P
n
i=1 xi
(1� ✓)n�P
n
i=1 xi
[0,1]
(✓).
Berechnung der Normierungskonstante der Posteriori:
c :=
Z✓P
n
i=1 xi
(1� ✓)n�P
n
i=1 xi
[0,1]
(✓) d✓ =Z
1
0
✓P
n
i=1 xi
(1� ✓)n�P
n
i=1 xi d✓
Hinweis=
(
Pn
i=1
xi
)! · (n�P
n
i=1
xi
)!
(n+ 1)!
.
12
Der Bayes-Schätzer bzgl. quadratischer Verlustfunktion lautet:
S(x) = E[⇥|X = x] =
Z✓p
⇥|X=x
(✓) d✓ =1
c
Z1
0
✓P
n
i=1 xi
+1
(1� ✓)n�P
n
i=1 xi d✓
Hinweis=
1
c
(
Pn
i=1
xi
+ 1)! · (n�P
n
i=1
xi
)!
(n+ 2)!
=
1 +
Pn
i=1
xi
n+ 2
.
(j) (i) Die Dichte pX1|⇥=✓
ist gegeben durch
pX1|P=p
(x) =1
2✓[�✓,✓]
(x)
bzgl. des Lebesgue-Maßes auf R. Es gilt daher für die Likelihood von X geg. ⇥ bzgl. n-dim.Lebesgue-Maßes auf Rn:
pX|P=p
(x) =nY
i=1
⇣1
2✓[�✓,✓]
(xi
)
⌘=
1
(2✓)n{�✓min{x1,...,xn
}} · {max{x1,...,xn
}✓}.
Für die Posteriori-Dichte erhalten wir mittels des Satzes von Bayes:
p⇥|X=x
(✓) ⇠ pX|⇥=✓
(x) · p⇥
(✓)
=
1
(2✓)n{�✓min{x1,...,xn
}} · {max{x1,...,xn
}✓} · [0,1]
(✓)
⇠ 1
✓n· {max{�min{x
1
, ..., xn
},max{x1
, ..., xn
}}| {z }=:M
✓1}.
Beachte: die Bedingungen mit Maximum/Minimum sind stärkere Bedingungen als 0 ✓, dadie Realisierungen (X
i
|⇥ = ✓) ⇠ U [�✓, ✓] zwischen �✓ und ✓ liegen müssen und ✓ 2 [0, 1] nachPriori. Im letzten Schritt haben wir noch den konstanten Faktor 2
�n weggelassen.Es muss nun noch die Normierungskonstante der Posteriori berechnet werden:
c :=
Zp⇥|X=X
(✓) d✓ =Z
1
M
1
✓nd✓ =
1
n� 1
�M�n+1 � 1
�,
d.h.p⇥|X=x
(✓) =1
c
1
✓n{M✓1}.
(ii) Für den Bayes-Schätzer bzgl. quadratischer Verlustfunktion berechnen wir:
S(x) = E[⇥|X = x] =
Z✓·p
⇥|X=x
(✓) d✓ =1
c
Z1
M
✓�n+1 d✓ =1
c
1
n� 2
�M�n+2�1
�=
n� 1
n� 2
M�n+2 � 1
M�n+1 � 1
.
Für den Bayes-Schätzer bzgl. linearer Verlustfunktion muss ein Median von P⇥|X=x bestimmtwerden, d.h. ein m 2 (M, 1) mit
1
2
=
Z 1
m
p⇥|X=x
(✓) d✓ =1
c
Z1
m
✓�n d✓ =1
c
1
n� 1
�m�n+1 � 1
�.
Umstellen ergibt
S(x) = m =
⇣1 + (n� 1)
c
2
⌘n�1
=
⇣1 +M�n+1
2
⌘n�1
.
13
0.4 Bedingte Tests, Kontingenztafeln
Lösungen: (a) P✓,⌘
:= P(X1,Y1),...,(Xn
,Y
n
) bilden zweiparametrige natürlich parametrisierte Expo-
nentialfamilie (�2n das Lebesgue-Maß auf R2n, und ⌃ := �2
✓1 ⇢⇢ 1
◆und ⌃
�1
=
1
�
2(1�⇢
2)
✓1 �⇢�⇢ 1
◆):
dP✓,⌘
d�2n(x, y) =
nY
i=1
⇣1
(2⇡ det(⌃))1/2· exp
⇣� 1
2
✓xi
yi
◆0
⌃
�1
✓xi
yi
◆⌘⌘
= C(�2, ⇢) · exp⇣� 1
2�2
(1� ⇢2)
⇣ nX
i=1
x2
i
� 2⇢
nX
i=1
xi
yi
+
nX
i=1
y2i
⌘⌘
= C(�2, ⇢) · exp⇣ ⇢
�2
(1� ⇢2)| {z }=:✓
nX
i=1
xi
yi
| {z }=:U(x,y)
� 1
2�2
(1� ⇢2)| {z }=:⌘
⇣ nX
i=1
x2
i
+
nX
i=1
y2i
⌘
| {z }=:T (x,y)
⌘.
Nun ist H0
: ✓ ✓0
:= 0 , ⇢ 0 und entsprechend H1
: ✓ > ✓0
, ⇢ > 0. Ein gleichmäßigbester unverfälschter Test zum Niveau ↵ lautet also nach Vorlesung
�⇤(x, y) =
(1, U(x, y) > c(T (x, y))
0, U(x, y) c(T (x, y)),
wobei c(t) bestimmt wird aus ↵ = P✓0,⌘(�
⇤= 1|T = t) = P
✓0,⌘(U > c(T )|T = t) (beachte: DerFall U(x, y) = c(T (x, y)) tritt nur mit Wahrscheinlichkeit Null auf, da U, T stetig verteilt sindunter P
✓0,⌘).Schritt 2: Umwandlung des Tests mittels monotoner Transformation. Es gilt ✓ = 0 , ⇢ = 0
und daherdP
✓0,⌘
d�2n(x, y) = C(�2
) · exp⇣� 1
2�2
T (x, y)⌘,
d.h. {P✓0,⌘ : ⌘ < 0} = {P
✓0,�1/2�
2: � > 0} ist einparametrige Exponentialfamilie und daher ist
T (x, y) vollständig und suffizient für �. Im zweiten Schritt zeigen wir, dass V (x, y) :=
U(x,y)
T (x,y)
verteilungsfrei für � > 0 ist: Definiere ˜Xi
:=
1
�
und ˜Yi
:=
1
�
Yi
, dann gilt unter P✓0,⌘: ˜X
i
, ˜Yi
iid⇠N(0, 1) und daher ist
V (X, Y ) =
Pn
i=1
Xi
YiP
n
i=1
X2
i
+
Pn
i=1
Y 2
i
=
Pn
i=1
˜Xi
˜YiP
n
i=1
˜X2
i
+
Pn
i=1
˜Y 2
i
(⇤)
eine Funktion von unabhängig und identisch N(0, 1)-verteilten Zufallsvariablen; die Verteilungvon V (X, Y ) ist also unabhängig von � > 0. Mit dem Lemma von Basu folgt: V (x, y) undT (x, y) sind unabhängig unter P
✓0,⌘. Wegen T > 0 P✓0,⌘-f.s. gilt (teile durch T )
�⇤(x, y) =
(1, V (x, y) > c(T (x,y))
T (x,y)
=: c⇤
0, V (x, y) c⇤,
wobei c⇤ bestimmt wird durch ↵ = P✓0,⌘(V > c(T )
T
|T = t)V, T unabh.
= P✓0,⌘(V > c(t)
t
), d.h.c(t) hängt nicht von t ab und wir können stattdessen ↵ = P
✓0,⌘(V > c⇤) schreiben. Wir habenschon in (*) gesehen, dass V (x, y) unter P
✓0,⌘ genau die gewünschte Form hat, sodass c⇤ das(1� ↵)-Quantil von V (
˜X, ˜Y ) sein muss.
14
(b) Definiere P✓,⌘
:= PX1,...,Xn
,Y1,...,Yn . Dies ist dann eine zweiparametrige Exponentialfamilie,denn mit dem 2n-dim. Zählmaß µ2n
Z
auf N2n
0
gilt:
dP✓,⌘
dµ2n
Z
(x, y) =
nY
i=1
⇣�xi
1
xi
!
e��1
⌘·
mY
j=1
⇣�yj2
yj
!
e��2
⌘
= e��1n��2m
| {z }=:C(✓,⌘)
exp
⇣log(�
1
)
nX
i=1
xi
+ log(�2
)
mX
j=1
yj
⌘·
nY
i=1
1
xi
!
mY
j=1
1
yj
!
| {z }=:h(x,y)
= C(✓, ⌘) exp⇣log(�
1
/�2
)| {z }=:✓
nX
i=1
xi
| {z }=:U(x,y)
+ log(�2
)| {z }=:⌘
⇣ nX
i=1
xi
+
mX
j=1
yj
⌘
| {z }=:T (x,y)
⌘.
Außerdem ist H0
: ✓ ✓0
:= 0 , �1
�2
und entsprechend H1
: ✓ > ✓0
, �1
> �2
. Eingleichmäßig bester unverfälschter Test zum Niveau ↵ ist daher nach Vorlesung gegeben durch
�⇤(x, y) =
8><
>:
1, U(x, y) > c(T (x, y))
�(T (x, y)), U(x, y) = c(T (x, y))
0, U(x, y) c(T (x, y)),
wobei c(t), �(t) bestimmt wird aus ↵ = E✓0,⌘(�
⇤= 1|T = t) = �⇤(t)P
✓0,⌘(U = c(T )|T = t) +P✓0,⌘(U > c(T )|T = t). Um die Aussage der Aufgabenstellung zu zeigen, muss nur noch diese Be-
stimmungsgleichung umgeformt werden. Dazu genügt es zu zeigen, dass PU |T=t
✓0,⌘= Bin(t, t
n+m
).Hier ist (für t � u):
P✓0,⌘(U = u|T = t) =
P✓0,⌘(U = u, T = t)
P✓0,⌘(T = t)
=
P✓0,⌘(
Pn
i=1
xi
= u,P
m
j=1
yj
= t� u)
P✓0,⌘(T = t)
=
P✓0,⌘(
Pn
i=1
xi
= u) · P✓0,⌘(
Pm
j=1
yj
= t� u)
P✓0,⌘(T = t)
.
Beachte: Unter P✓0,⌘ (d.h. � := �
1
= �2
) gilt:P
n
i=1
xi
⇠ Poi(n�),P
m
j=1
yj
⇠ Poi(m�) undPn
i=1
xi
+
Pm
j=1
yj
⇠ Poi((m+ n)�) (Faltungseigenschaft Poisson-Verteilung). Damit gilt
P✓0,⌘(U = u|T = t) =
(�n)
u
u!
e��n · (�m)
t�u
(t�u)!
e��m
(�(n+m))
t
t!
e��(n+m)
=
✓tu
◆·⇣ n
n+m
⌘u
·⇣ m
n+m
⌘t�u
= Bin(t,n
n+m)(u)
das ist gerade die Zähldichte einer Binomialverteilung Bin(t, n
n+m
) an der Stelle u.(c) Mit ✓ := (� � 1) und ⌘ := (� � 1) und P
✓,⌘
:= PX1,...,Xn gilt
dP✓,⌘
d�(x) =
⇣�(� + �)
�(�)�(�)
⌘n
· exp⇣(� � 1)| {z }
=:⌘
·nX
i=1
log(xi
)
| {z }=:T (x)
+(� � 1)| {z }=:✓
·nX
i=1
log(1� xi
)
| {z }=:U(x)
⌘·
[0,1]
n
(x).
Der gleichmäßig unverfälschte Test für H0
: ✓ ✓0
(✓0
:= �0
� 1) gegen H1
: ✓ > ✓0
lautet dannnach Vorlesung
�⇤(x) =
(1, U(x) > c(T (x)),
0, U(x) c(T (x)),
15
mit ↵ = E✓0,⌘[�
⇤|T = t] = P✓0(U > c(T )|T = t) (da U, T stetig verteilt unter P
✓0,⌘, muss derFall U(x) = c(T (x)) nicht in den Test mit aufgenommen werden).(d) (a) P
✓,⌘
:= P(X1,Y1),...,(Xn
,Y
n
) bilden zweiparametrige natürlich parametrisierte Exponential-
familie (�2n das Lebesgue-Maß auf R2n, und ⌃ :=
✓1 ⇢⇢ 1
◆und ⌃
�1
=
1
1�⇢
2
✓1 �⇢�⇢ 1
◆):
dP✓,⌘
d�2n(x, y) =
nY
i=1
⇣1
(2⇡ det(⌃))1/2· exp
⇣� 1
2
✓xi
� µ1
yi
� µ2
◆0
⌃
�1
✓xi
� µ1
yi
� µ2
◆⌘⌘
= C(⇢) · exp⇣� 1
2(1� ⇢2)
⇣ nX
i=1
(xi
� µ1
)
2 � 2⇢nX
i=1
(xi
� µ1
)(yi
� µ2
) +
nX
i=1
(yi
� µ2
)
2
⌘⌘
=
˜C(µ1
, µ2
, ⇢) · exp⇣� 1
2(1� ⇢2)
⇣ nX
i=1
x2
i
� 2µ1
nX
i=1
xi
+ nµ2
1
� 2⇢nX
i=1
xi
yi
+ 2⇢µ1
nX
i=1
yi
+2⇢µ2
nX
i=1
xi
� 2⇢nµ1
µ2
+
nX
i=1
y2i
� 2µ2
nX
i=1
yi
+ nµ2
2
⌘⌘
=
˜
˜C(µ1
, µ2
, ⇢) · exp⇣
1
(1� ⇢2)
⇣µ1
nX
i=1
xi
+ µ2
nX
i=1
yi
� ⇢µ1
nX
i=1
yi
� ⇢µ2
nX
i=1
xi
⌘⌘· h(x, y)
=
˜
˜C(µ1
, µ2
, ⇢) · exp⇣(1 + ⇢)
1� ⇢2(µ
1
� µ2
)
| {z }=:✓
nX
i=1
xi
| {z }=:U(x,y)
+
(µ2
� ⇢µ1
)
1� ⇢2| {z }=:⌘
⇣ nX
i=1
xi
+
nX
i=1
yi
⌘
| {z }=:T (x,y)
⌘· h(x, y)
(Ansatz: Erzeuge zunächst den Term (µ1
�µ2
)
Pn
i=1
xi
im exp(...). Der Rest muss dann geeignetumgeformt werden, sodass nur noch ein weiterer Summand im exp(...) entsteht. Man kann auchzunächst ⇢ = 0 setzen, dann ist der Exponent von wesentlich einfacherer Gestalt und man kannleicht die Statistiken U, T herausfinden).Nun gilt H
0
: ✓ ✓0
:= 0 , µ1
µ2
und damit auch H1
: ✓ > ✓0
, µ1
> µ2
. Laut Vorlesungist damit ein gleichmäßig bester unverfälschter Test zum Niveau ↵:
�⇤(x, y) =
(1, U(x, y) > c(T (x, y)),
0, U(x, y) c(T (x, y)),
wobei c(t) bestimmt wird durch ↵ = E✓0,⌘[�
⇤= 1|T = t] = P
✓0,⌘(U > c(T )|T = t). Weil U, Toffensichtlich unter P
✓0,⌘ stetig verteilt sind (es sind Normalverteilungen), brauchen wir kein�(t) bzw. keinen Fall U(x, y) = c(T (x, y)) im Test.Wir werden nun die Bedingung U(x, y) > c(T (x, y)) im Test mit einer monotonen Transforma-tion äquivalent umformen. Definiere dazu
V (x, y) =nX
i=1
xi
�nX
i=1
yi
= U(x, y)� T (x, y).
Es giltdP
✓0,⌘
d�2n(x, y) =˜C(µ
1
, µ2
, ⇢) · exp⇣
⌘|{z}=
µ
1+⇢
T (x, y)⌘· h(x, y),
d.h. {P✓0,⌘ : ⌘ 2 R} = {P
✓0,µ
1+⇢
: µ 2 R} ist eine natürlich parametrisierte einparametrigeExponentialfamilie und daher ist die Statistik T (x, y) suffizient und vollständig für µ 2 R.
16
Außerdem gilt unter P✓0,⌘ (d.h. µ := µ
1
= µ2
), dass ( ˜Xi
, ˜Yi
) := (Xi
�µ, Yi
�µ)0iid⇠ N(0,⌃) und
daher ist
V (X, Y ) =
nX
i=1
Xi
�nX
i=1
Yi
=
nX
i=1
˜Xi
�nX
i=1
˜Yi
(⇤)
eine Funktion von i.i.d. Zufallsvariablen, deren Verteilung unabhängig von µ ist. Daher istV (x, y) verteilungsfrei für µ unter P
✓0,⌘. Mit dem Lemma von Basu folgt: V, T sind unabhängigunter P
✓0,⌘ (für alle ⌘ 2 R). Wir formen nun �⇤ um:
�⇤(x, y) =
(1, V (x, y) > c(T (x, y))� T (x, y) =: c⇤,
0, V (x, y) c⇤,
wobei c⇤ bestimmt wird durch ↵ = P✓0,⌘(V > c(T )
T
|T = t)V, T unabh.
= P✓0,⌘(V > c(t)
t
), d.h. c(t)hängt nicht von t ab und wir können stattdessen ↵ = P
✓0,⌘(V > c⇤) schreiben. Unter P✓0,⌘ gilt
aber (siehe (*)):
V (X, Y ) =
nX
i=1
(
˜Xi
� ˜Yi
)| {z }
=
⇣1 �1
⌘0
@Xi
Yi
1
A⇠N(0,
⇣1 �1
⌘⌃
⇣1 �1
⌘0)=N(0,2(1+⇢))
⇠ N(0, 2n(1 + ⇢),
(es sind n i.i.d. Summanden, daher werden die Varianzen in der Normalverteilung addiert).
Damit gilt also ↵ = P(V (X, Y ) > c⇤) = P( V (X, Y )p2n(1 + ⇢)| {z }⇠N(0,1)
> c
⇤p2n(1+⇢)
), d.h. c⇤ =p
2n(1 + ⇢)q1�↵
,
wobei q1�↵
ein (1� ↵)-Quantil der N(0, 1)-Verteilung.(e)(f) Wähle Merkmale A = Übergewicht, Bc = Fußballfan. Es ist p
1
= P(A|B), p2
= P(A|Bc
).In diesem Fall entsprechen die HypothesenH
0
: p2
p1
Fußballfans leiden gleich oder weniger häufig an Übergewicht v.s. H1
: p2
> p1
.
Die Kontingenztafel lautet ausgefüllt wie folgt:A Ac
B 6 8 14 = MBc
6 = U 2 8 = N12 = T 10 22 = N +M
Laut Vorlesung ist ein gleichmäßig bester unverfälschter Test zum Niveau ↵ = 0.01 gegebendurch
�⇤(u, t) =
8><
>:
1, u > c(t),
p, u = c(t),
0, u < c(t),
mit ↵ = Ep1=p2 [�
⇤(U, T )|T = t] und PU |T=t
p1=p2 = Hypergeo(M + N,N, T ) = Hypergeo(22, 8, 12),d.h. c(T ) muss minimal gewählt werden sodass noch
↵ �X
u>c(T )
Hypergeo(22, 8, 12)(u)
gilt. Aus der Tabelle lesen wir ab: c(T ) = 7, d.h. U < c(T ). Daher kann die Behauptungstatistisch nicht gesichert werden. D.h. der Test liefert nicht, dass Fußballfans übergewichtigersind.
17
0.5 Nichtparametrik
Lösungen: (a) (i) Es gilt
E[ ˆfh
(ch)]X
i
iid=
1
hEK
✓X
i
� ch
h
◆�
supp(f) = [0, 1]=
1
h
Z1
0
K
✓z � ch
h
◆f(z) dz
Subst. u = (z � ch)/h=
Z 1h
�c
�c
K(u)f(h(c+ u)) du
supp(K) = [�1, 1], h klein=
Z1
�c
K(u)f(h(c+ u)) du.
Wegen der Stetigkeit von f gilt f(ch), f(h(c+u)) ! f(0). Mit dem Satz von den majorisiertenKonvergenz (maj. Funktion |K(u)| · C, beachte K ist integrierbar und f als stetige Funktionauf [0, 1] beschränkt durch C):
E[ ˆfh
(ch)]� f(ch) =
Z1
�c
K(u)f((c+ u)h) du� f(ch)
! f(0) ·Z
1
�c
K(u) du� f(0)
= f(0) ·✓Z
1
�c
K(u) du� 1
◆.
Weil der (nicht abgeschlossene) Träger von K dem Intervall [�1, 1] entspricht und c < 1, istR1
�c
K(u) du 6= 1. Damit ist die Behauptung gezeigt.(ii) Zunächst erhalten wir wie in (i):
E"
1
nh
nX
i=1
K
✓Yi
� x
h
◆#X
i
iid=
1
hEK
✓�X
i
� ch
h
◆�
supp(f) = [0, 1]=
1
h
Z1
0
K
✓�z � ch
h
◆f(z) dz
Subst. u = (�z � ch)/h= �
Z � 1h
�c
�c
K(u)f(�h(c+ u)) du
supp(K) = [�1, 1], h klein=
Z �c
�1
K(u)f(�h(c+ u)) du.
Für h klein gilt damit insgesamt wieder mit dem Satz von der majorisierten Konvergenz:
E[f ⇤h
(ch)]� f(ch) =
Z1
�c
K(u)f((c+ u)h) du+
Z �c
�1
K(u)f(�h(c+ u)) du� f(ch)
! f(0) ·Z
1
�c
K(u) du+ f(0) ·Z �c
�1
K(u) du� f(0)
= f(0) ·Z
1
�1
K(u) du| {z }K Kern
= 1
�f(0)
= 0.
18
(b) Da K einen kompakten Träger besitzt, können wir annehmen, dass Träger(K) ⇢ [�C,C]
mit einem C > 0. Dann ist
cov( ˆfh
(x1
), ˆfh
(x2
)) =
1
(nh)2
nX
i,j=1
cov✓K
✓X
i
� x1
h
◆, K
✓X
j
� x2
h
◆◆
Xi
unabh.=
1
(nh)2
nX
i=1
cov✓K
✓X
i
� x1
h
◆, K
✓X
i
� x2
h
◆◆
Xi
id. vert.=
1
h · (nh)cov✓K
✓X
1
� x1
h
◆, K
✓X
1
� x2
h
◆◆.
Sei nun n so groß, dass |x1
� x2
| > 2Chn
. Diese Wahl ist möglich wegen hn
! 0. Dann gilt:
K
✓X
1
� x1
h
◆6= 0 ) X
1
� x1
h2 [�C,C] ) X
1
2 [x1
� Ch, x1
+ Ch]
) X1
62 [x2
� Ch, x2
+ Ch] ) X1
� x2
h62 [�C,C] ) K
✓X
1
� x2
h
◆= 0
und somitEK
✓X
1
� x1
h
◆·K
✓X
1
� x2
h
◆�= 0.
Außerdem ist f stetig auf [�C,C] und daher dort beschränkt, |f | D. Damit können wir
E����K
✓X
1
� x1
h
◆����
�=
Z ����K✓z � x
1
h
◆���� f(z) dzSubst. u = (z � x
1
)/h= h ·
Z|K(u)|f(x
1
+ uh) du
= h ·Z
C
�C
|K(u)| f(x1
+ uh)| {z }D
du h ·D ·Z
C
�C
|K(u)| du| {z }
< 1 (K intbar, da Kern)
.
beschränken. Es folgt:����cov
✓K
✓X
1
� x1
h
◆, K
✓X
1
� x2
h
◆◆����
����E
K
✓X
1
� x1
h
◆·K
✓X
1
� x2
h
◆�����+ E����K
✓X
1
� x1
h
◆����
�· E
����K✓X
1
� x2
h
◆����
�
0 + h2 ·✓D ·
ZC
�C
|K(u)| du◆
2
.
Insgesamt:
���cov( ˆfh
(x1
), ˆfh
(x2
))
��� 1
n
1
h2
����cov✓K
✓X
1
� x1
h
◆, K
✓X
1
� x2
h
◆◆���� 1
n
✓D ·
ZC
�C
|K(u)| du◆
2
! 0.
(d) Sei x ein Stetigkeitspunkt von m und f mit f(x) > 0.Zunächst schreiben wir
mh
(x) =1
nh
Pn
i=1
Yi
·K�X
i
�x
h
�
1
nh
Pn
i=1
K�X
i
�x
h
�=
ˆZh
(x)
ˆfh
(x), ˆZ
h
(x) :=1
nh
nX
i=1
Yi
·K✓X
i
� x
h
◆.
19
Die Voraussetzungen für die Konvergenz des Kerndichteschätzers aus der Vorlesung sind erfüllt.Daher gilt:
ˆfh
(x)P! f(x).
(im Übrigen ist der folgende Beweis für die Konvergenz von ˆZh
(x) komplizierter; der Beweisfür die Konvergenz von ˆf
h
(x) kann mit einigen Vereinfachungen genauso geführt werden). Esgenügt also zu zeigen, dass
ˆZh
(x)P! m(x)f(x), (1)
dann folgt:
mh
(x) =ˆZh
(x)
ˆfh
(x)
P! m(x)f(x)
f(x)= m(x).
Wir zeigen (1) über die beiden Aussagen
b(x) = E[ ˆZh
(x)]�m(x)f(x) ! 0, �2
(x) = Var( ˆZh
(x)) ! 0.
Bias: Es ist mit Yi
= m(Xi
) + "i
:
E[ ˆZh
(x)]X
i
, "i
iid= E
⇣m(X
i
) + "i
⌘· 1hK
✓X
i
� x
h
◆����
Xi
von "i
unabh.= E
m(X
i
) · 1hK
✓X
i
� x
h
◆�+ E
1
hK
✓X
i
� x
h
◆�· E["
i
]|{z}=0
=
Zm(z)
1
hK
✓z � x
h
◆f(z) dz
Subst. u = (z � x)/h=
ZK(u) ·
hf(x+ uh)m(x+ uh)
idu.
Für den Bias folgt (K besitzt kompakten Träger, d.h. es ex. N > 0 mit 8u 2 [�N,N ]
c
: K(u) =0):
|b(x)|RK(u) du=1
=
����Z
K(u) ·hf(x+ uh)m(x+ uh)� f(x)m(x)
idu����
Z
N
�N
|K(u)| ·���f(x+ uh)m(x+ uh)� f(x)m(x)
��� du.
Aufgrund der Stetigkeit von f,m in x gibt es � > 0, sodass
|s� t| < � )���f(s)m(s)� f(t)m(t)
��� < 1.
Wegen h ! 0 können wir annehmen, dass |h| < �
N
. Damit ist für alle u 2 [�N,N ]:
|(x+ uh)� x| |uh| N · �N
< �, d.h.���f(x+ uh)m(x+ uh)� f(x)m(x)
��� < 1.
Entsprechend lässt sich der Satz von der majorisierten Konvergenz anwenden mit integrierbarerMajorante |K(u)|, und es folgt
|b(x)| Z
N
�N
|K(u)| ·���f(x+ uh)m(x+ uh)� f(x)m(x)
���| {z }
!0
du ! 0.
20
Varianz: Wieder gilt
Var( ˆZh
(x))X
i
, "i
iid.=
1
nh2
Var✓Yi
·K✓X
i
� x
h
◆◆
1
nh2
EY 2
i
·K2
✓X
i
� x
h
◆�
Y
i
=m(X
i
)+"
i
=
1
nh2
E⇣
m(Xi
)
2
+ 2m(Xi
)"i
+ "2i
⌘·K2
✓X
i
� x
h
◆�
Xi
unabh. von "i
=
1
nhEm2
(Xi
) · 1hK2
✓X
i
� x
h
◆�
+
2
nh2
E[m(Xi
)K2
✓X
i
� x
h
◆] · E["
i
]|{z}=0
+
1
nhE1
hK2
✓X
i
� x
h
◆�· E["2
i
]|{z}=1
=
1
nh
Z ⇣m2
(z) + 1
⌘· 1hK2
✓z � x
h
◆· f(z) dz
Subst. u = (z � x)/h=
1
nh
ZN
�N
⇣m2
(x+ uh) + 1
⌘·K2
(u)f(x+ uh) du.
Wegen der Stetigkeit von m, ⌧, f gibt es wieder � > 0 mit
|s� t| < � )���⇣m2
(s) + 1
⌘· f(s)�
⇣m2
(t) + 1
⌘· f(t)
��� < 1.
Da h ! 0, können wir |h| < �
N
annehmen. Somit ist für u 2 [�N,N ]:
|(x+ uh)� x| |uh| N · �N
< �,
d.h.���⇣m2
(x+ uh) + 1
⌘· f(x+ uh)�
⇣m2
(x) + 1
⌘· f(x)
��� < 1.
Damit können obiges Integral weiter abschätzen:
Var( ˆZh
(x)) 1
nh
ZN
�N
h⇣m2
(x) + 1
⌘f(x) + 1
i·K2
(u) du| {z }
=const.
! 0.
Damit ist alles gezeigt.
Homepage der Vorlesung:http://math.uni-heidelberg.de/stat/studinfo/teaching_stat/Statistik1_WS201617/
21