Upload
arthur-charpentier
View
4.301
Download
0
Embed Size (px)
DESCRIPTION
Β
Citation preview
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Probabilites & statistiques
quelques brefs rappels # 2
Arthur Charpentier, 2014
http ://freakonometrics.hypotheses.org/category/courses/m1-statistique
1
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Plan du cours
β¦ Introduction, la modelation statistique
β’ Rappels de probabilite
β¦ Fonctions usuelles, P, F , f , E, Var
β¦ Lois uselles, discetes et continues
β¦ Conditionnement, esperance conditionnelle et melanges
β¦ Convergence, approximations et theoremes limites
Β· Loi(s) des grands nombres
Β· Theoreme central limite
β’ Rappels de statistique (mathematique)
β¦ De la statistique descriptive a la statistique mathematique
β¦ Echantillonnage, moyenne et variance
β¦ Intervalle de confiance
β¦ Introduction aux tests
2
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Lβestimateur comme variable aleatoire
En statistique descriptive, on construit des estimateurs comme des fonctions des
valeurs de lβechantillon, {x1, Β· Β· Β· , xn}, e.g.
xn =x1 + Β· Β· Β·+ xn
n
En statistique mathematique, on suppose que xi = Xi(Ο), i.e. la realisation dβun
variable aleatoire sous-jacente
Xn =X1 + Β· Β· Β·+Xn
n
X1,..., Xn etant des variables aleatoires, Xn devient une variable aleatoire.
Exemple : supposons que nous disposons dβun echantillon de n = 20 valeurs
tirees suivant une loi uniforme sur [0, 1].
3
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Distribution de la moyenne d'un Γ©chantillon U([0,1])
FrΓ©
quen
ce
0.0 0.2 0.4 0.6 0.8 1.0
050
100
150
200
250
300
0.457675
β
0.0 0.2 0.4 0.6 0.8 1.0
Figure 1 β Distribution de la moyenne de {X1, Β· Β· Β· , X10}, Xi βΌ U([0, 1]).
4
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Distribution de la moyenne d'un Γ©chantillon U([0,1])
FrΓ©
quen
ce
0.0 0.2 0.4 0.6 0.8 1.0
050
100
150
200
250
300
0.567145
ββ ββ βββ ββββ β ββ βββ βββ βββ ββ ββ β ββ ββ βββ ββ β βββ ββ β ββ β ββ ββββ β ββ ββββ ββ β β ββββββ ββ β ββ βββ β ββ ββ β ββ ββ β ββ ββ βββ ββ βββ ββ ββββ ββββ ββ βββ β ββββ β β βββ ββ β ββ βββββ ββ β ββ ββ ββββββ β ββ βββ β ββ β ββ βββββ β βββββ βββ β β βββ βββββ βββ ββ β βββ ββ βββ β βββ ββ ββ ββ βββ ββ ββ βββββ βββββ βββ ββββ ββ β β ββββ βββ ββββ ββ ββββ β ββ βββββ ββββ ββ βββ ββ ββ ββ β β β βββ β βββ β βββ β ββ βββ β ββββ ββ ββ βββ ββ β ββ βββ β β βββ βββ βββ βββ βββ ββ βββ ββ ββ β ββ ββ β βββ βββ ββ β βββ β ββ βββ ββ ββ βββ ββ βββββββ ββ β βββ βββββ β β βββ ββ ββ ββββ ββ βββ ββ ββ ββ ββββ ββββββββ ββββ βββ ββ βββ βββ ββ ββββ ββ ββ β ββ ββ βββ βββ βββββ ββ ββ ββ ββ β ββ β βββ βββ ββ ββ ββ βββ β ββ ββ βββ ββββ βββ ββ ββββ ββ ββ ββ βββ β ββ ββ ββββ βββββ β βββ βββββ ββββ ββββ ββ ββ β β ββ ββ ββ ββ ββ β βββ β ββ ββ β ββ ββ β β βββββββββ ββββ βββ β βββ ββ ββ ββ ββ ββ βββ β βββ ββ β ββββ β ββ β βββ ββ ββ ββ βββββ ββ ββ ββ β ββ β β βββ ββ β ββ βββ ββββ ββ ββ ββ β ββββ ββ ββ ββ βββ βββ β ββ ββ β ββ β ββ βββ ββββ βββ ββ β βββββ βββ βββ ββ β βββ ββ βββ β ββββ ββ ββ ββββ ββ β βββ ββ βββ ββ ββ ββββ βββ β ββββ ββ ββββ β βββ β βββ ββ ββ β ββ β βββ ββ βββ βββ βββ β βββββ β ββ β βββ βββ ββ ββββ β β ββ ββ βββ ββ βββ ββββ βββ ββ ββ βββ ββββ βββ ββ ββββ ββ β βββββ ββ β ββ βββ β βββ βββ ββββ βββ βββββ βββ ββ β βββ βββ β βββ β ββββ ββ βββ β ββ ββ β ββ β ββ βββ βββ β ββ ββ βββ β βββ ββ ββ β βββ ββ β β ββββ β β ββ β ββ
0.0 0.2 0.4 0.6 0.8 1.0
Figure 2 β Distribution de la moyenne de {X1, Β· Β· Β· , X10}, Xi βΌ U([0, 1]).
5
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Lβestimateur comme variable aleatoire
Si lβechantillon change, lβestimateur nβest pas le meme.
Constituons 1000 echantillons de maniere aleatoire. En moyenne, lβestimateur
vaut 1/2. Aussi, la moyenne empirique est un estimateur sans biais de 1/2,
lβesperance mathematique de la loi uniforme sur [0, 1].
Cet estimateur a une variance, et aussi une loi (en lβoccurence une densite). Ici,
la moyenne empirique suit (presque) une loi normale.
On distingera toutefois les comportements a distance finie (n fixe) et
asymptotique (theoremes limites - loi des grands nombres et theoreme central
limite - obtenus lorsque nββ).
6
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Petites proprietes preliminaires
Soit x = (x1, Β· Β· Β· , xn) β Rn. Posons x =x1 + Β· Β· Β·+ xn
n. Alors,
minmβR
{nβi=1
[xi βm]2
}=
nβi=1
[xi β x]2
etnβi=1
[xi β x]2 =nβi=1
x2i β nx2
7
Arthur CHARPENTIER - Rappels de probabilites & statistiques
La moyenne (empirique)
Definition 1. Soit {X1, Β· Β· Β· , Xn} des variables i.i.d. de loi F . La moyenne
empirique est
Xn =X1 + Β· Β· Β·+Xn
n=
1
n
nβi=1
Xi
Si on suppose les Xi dβesperance finie (notee Β΅), alors
E(Xn) = E
(1
n
nβi=1
Xi
)β=
1
n
nβi=1
E (Xi) =1
nnΒ΅ = Β΅
β par linearite de lβesperance
Proposition 2. Si on suppose les Xi dβesperance finie (notee Β΅),
E(Xn) = Β΅.
La moyenne est un estimateur sans biais de lβesperance mathematique.
8
Arthur CHARPENTIER - Rappels de probabilites & statistiques
La moyenne (empirique)
Si on suppose les Xi independants de variance finie (notee Ο2), alors
Var(Xn) = Var
(1
n
nβi=1
Xi
)β=
1
n2
nβi=1
Var (Xi) =1
n2nΟ2 =
Ο2
n
β car les variables sont independantes, et car la variance est quadratique.
Proposition 3. Si on suppose les Xi i.i.d. de variance finie (notee Ο2),
Var(Xn) =Ο2
n.
9
Arthur CHARPENTIER - Rappels de probabilites & statistiques
La variance (empirique)
Definition 4. Soit {X1, Β· Β· Β· , Xn} des variables i.i.d. de loi F . La variance
empirique est
S2n =
1
nβ 1
nβi=1
[Xi βXn]2.
Si on suppose les Xi de variance finie (notee Ο2),
E(S2n) = E
(1
nβ 1
nβi=1
[Xi βXn]2
)β= E
(1
nβ 1
[nβi=1
X2i β nX
2
n
])
β par la propriete preliminaire enoncee auparavant
E(S2n) =
1
nβ 1[nE(X2
i )β nE(X2)]β=
1
nβ 1
[n(Ο2 + Β΅2)β n
(Ο2
n+ Β΅2
)]= Ο2
β car Var(X) = E(X2)β E(X)2
10
Arthur CHARPENTIER - Rappels de probabilites & statistiques
La variance (empirique)
Proposition 5. Si on suppose les Xi independants de variance finie (notee Ο2),
E(S2n) = Ο2.
La variance (empirique) est un estimateur sans biais de la variance.
Remarque Pour avoir un estimateur sans biais, on considere comme estimateur
S2n, avec un facteur nβ 1, et non pas
S2n =
1
n
nβi=1
[Xi βXn]2
(qui reste un estimateur classique).
11
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Cas dβun echantillon Gaussien
Proposition 6. Si on suppose les Xi i.i.d. de loi N (Β΅, Ο2), alors
β’ Xn et S2n sont des variables aleatoires independantes,
β’ Xn a pour loi N(Β΅,Ο2
n
)β’ (nβ 1)S2
n/Ο2 a pour loi Ο2(nβ 1).
Remarque Pour comprendre lβhistoire du nβ 1 degres de libertes pour une
somme de n termes, notons que
S2n =
1
nβ 1
[nβi=1
(Xi βXn)2
]=
1
nβ 1
[(X1 βXn)2 +
nβi=2
(Xi βXn)2
]
soit S2n =
1
nβ 1
( nβi=2
(Xi βXn)
)2
+nβi=2
(Xi βXn)2
car
nβi=1
(Xi βXn) = 0. Aussi S2n est fonction de nβ 1 variables (centrees),
X2 βXn, Β· Β· Β· , Xn βXn
12
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Cas dβun echantillon Gaussien
Proposition 7. Si on suppose les Xi i.i.d. de loi N (Β΅, Ο2), alors
β’βnXn β Β΅
Οsuit une loi N (0, 1)
β’βnXn β Β΅Sn
suit une loi de Student a nβ 1 degres de liberte
En effet,
βnXn β Β΅S
=βnXn β Β΅
ΟοΈΈ οΈ·οΈ· οΈΈN (0,1)
/
β(nβ 1)S2
n
Ο2οΈΈ οΈ·οΈ· οΈΈΟ2(nβ1)
Γβnβ 1
13
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Proprietes asymptotiques
Proposition 8. Si on suppose les Xi i.i.d. de loi F , de moyenne Β΅ et de
variance Ο2 (finie). Alors pour tout Ξ΅ > 0,
limnββ
P(|Xn β Β΅| > Ξ΅) = 0
i.e. XnPβ Β΅ (convergence en probabilite).
Proposition 9. Si on suppose les Xi i.i.d. de loi F , de moyenne Β΅ et de
variance Ο2 (finie). Alors pour tout Ξ΅ > 0,
limnββ
P(|S2n β Ο2| > Ξ΅) β€ Var(S2
n)
Ξ΅2
i.e. une condition suffisante pour que S2n
Pβ Ο2 (convergence en probabilite) est
que Var(S2n)β 0 lorsque nββ.
14
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Proprietes asymptotiques
Proposition 10. Si on suppose les Xi i.i.d. de loi F , de moyenne Β΅ et de
variance Ο2 (finie). Alors pour tout z β R,
limnββ
P(β
nXn β Β΅
Οβ€ z)
=
β« z
ββ
1β2Ο
exp
(β t
2
2
)dt
i.e.βnXn β Β΅
Ο
Lβ N (0, 1).
Remarque Si les Xi ont pour loi N (Β΅, Ο2), alors
βnXn β Β΅
ΟβΌ N (0, 1).
15
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Estimation de la variance
Considerons un echantillon Gaussien, alors
Var
((nβ 1)S2
n
Ο2
)= Var(Z) avec Z βΌ Ο2
nβ1
donc cette quantite vaut
(nβ 1)2
Ο4Var(S2
n) = 2(nβ 1)
de telle sorte que
Var(S2n) =
2(nβ 1)Ο4
(nβ 1)2=
2Ο4
(nβ 1).
16
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Estimation de lβecart-type et de la variance
Considerons le cas ou Xi βΌ N (Β΅, Ο2). Un estimateur naturel de Ο est
Sn =βS2n =
ββββ 1
nβ 1
nβi=1
(Xi βXn)2
On peut alors montrer que
E(Sn) =
β2
nβ 1
Ξ(n/2)
Ξ([nβ 1]/2)Ο βΌ
(1β 1
4nβ 7
32n2
)Ο 6= Ο
mais
SnPβ Ο et
βn(Sn β Ο)
Lβ N(
0,Ο
2
)
17
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Estimation de lβecart-type et de la variance
0 50 100 150
0.93
0.95
0.97
0.99
Taille de l'Γ©chantillon (n)
Bia
is (
mul
tiplic
atif)
Figure 3 β Biais lors de lβestimation de lβecart-type.
18
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Echantillon transforme
Soit g : Rβ R suffisemment reguliere pour ecrire un developpement de Taylor en
tout point,
g(x) = g(x0) + gβ²(x0) Β· [xβ x0] + un reste
Soit Yi = g(Xi). Alors, si E(Xi) = Β΅ avec gβ²(Β΅) 6= 0
Yi = g(Xi) β g(Β΅) + gβ²(Β΅) Β· [Xi β Β΅]
de telle sorte que
E(Yi) = E(g(Xi)) β g(Β΅)
et
Var(Yi) = Var(g(Xi)) β [gβ²(Β΅)]2Var(Xi)
Remarque Il ne sβagit que dβapproximations.
19
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Echantillon transforme
La delta-method permet dβobtenir des proprietes asymptotiques.
Proposition 11. Si on suppose les Xi i.i.d. de loi F , de moyenne Β΅ et de
variance Ο2 (finie), alors
βn(Xn β Β΅)
Lβ N (0, Ο2)
Et si gβ²(Β΅) 6= 0, alors
βn(g(Xn)β g(Β΅))
Lβ N (0, [gβ²(Β΅)]2Ο2)
Proposition 12. Si on suppose les Xi i.i.d. de loi F , de moyenne Β΅ et de
variance Ο2 (finie), et si gβ²(Β΅) = 0 mais gβ²β²(Β΅) 6= 0, alors
βn(g(Xn)β g(Β΅))
Lβ gβ²β²(Β΅)
2Ο2Ο2(1)
20
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Echantillon transforme
Example Si Β΅ 6= 0,βn
(1
Xn
β 1
Β΅
)Lβ N
(0,
1
Β΅4Ο2
)
21
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Intervalle de confiance pour Β΅
Quand on parlera de lβintervalle de confiance de Β΅ a un niveau de confiance 1β Ξ±(e.g. 95%), il sβagira du plus petit intervallle I tel que
P(Β΅ β I) = 1β Ξ±.
Notons uΞ± le quantile de la loi N (0, 1) au niveau Ξ±, i.e.
uΞ±/2 = βu1βΞ±/2 verifie Ξ¦(uΞ±/2) = Ξ±/2
Comme Z =βnXn β Β΅
ΟβΌ N (0, 1),
on peut en deduire que P(Z β [uΞ±/2, u1βΞ±/2]) = 1β Ξ±,
et donc
P(Β΅ β
[X +
uΞ±/2βnΟ,X +
u1βΞ±/2βn
Ο
])= 1β Ξ±.
22
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Intervalle de confiance, moyenne dβun echantillon normal
β’ si Ξ± = 10%, u1βΞ±/2 = 1.64 et donc, avec une probabilite de 90%,
X β 1.64βnΟ β€ Β΅ β€ X +
1.64βnΟ,
β’ si Ξ± = 5%, u1βΞ±/2 = 1.96 et donc, avec une probabilite de 95%,
X β 1.96βnΟ β€ Β΅ β€ X +
1.96βnΟ,
23
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Intervalle de confiance, moyenne dβun echantillon normal
Si la variance est inconnue, on lβestime par S2n =
1
nβ 1
(nβi=1
X2i
)βX2
n.
On a vu que
(nβ 1)S2n
Ο2=
nβi=1
Xi β E(X)
ΟοΈΈ οΈ·οΈ· οΈΈN (0,1)
2
οΈΈ οΈ·οΈ· οΈΈloi du Ο2(n)
β
Xn β E(X)
Ο/βnοΈΈ οΈ·οΈ· οΈΈ
N (0,1)
2
οΈΈ οΈ·οΈ· οΈΈloi du Ο2(1)
Le theoreme de Cochrane permet de conclure que(nβ 1)S2
n
Ο2βΌ Ο2(nβ 1).
24
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Intervalle de confiance, moyenne dβun echantillon normal
Comme Xn et S2n sont independantes,
T =βnβ 1
Xn β Β΅Sn
=
XnβΒ΅Ο/βnβ1β
(nβ1)S2n
(nβ1)Ο2
βΌ St(nβ 1).
Si t(nβ1)Ξ±/2 designe le quantile de la loi St(nβ 1) au niveau Ξ±/2, i.e.
t(n)Ξ±/2 = βt(nβ1)1βΞ±/2 verifie P(T β€ t(nβ1)Ξ±/2 ) = Ξ±/2
on peut en deduire que P(T β [t(nβ1)Ξ±/2 , t
(nβ1)1βΞ±/2]) = 1β Ξ±, et donc
P
Β΅ βX +
t(nβ1)Ξ±/2βnβ 1
Ο,X +t(nβ1)1βΞ±/2βnβ 1
Ο
= 1β Ξ±.
25
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Intervalle de confiance, moyenne dβun echantillon normal
β’ si n = 10 et Ξ± = 10%, u1βΞ±/2 = 1.833 et donc, avec une probabilite de 90%,
X β 1.833βnΟ β€ Β΅ β€ X +
1.833βnΟ,
β’ si n = 10 et si Ξ± = 5%, u1βΞ±/2 = 2.262 et donc, avec une probabilite de 95%,
X β 2.262βnΟ β€ Β΅ β€ X +
2.262βnΟ,
β3 β2 β1 0 1 2 3
0.0
0.1
0.2
0.3
0.4
Quantiles
Inte
rvall
e de
conf
iance IC 90%
IC 95%
Figure 4 β Quantiles pour n = 10, Ο connue ou inconnue.
26
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Intervalle de confiance, moyenne dβun echantillon normal
β’ si n = 20 et Ξ± = 10%, u1βΞ±/2 = 1.729 et donc, avec une probabilite de 90%,
X β 1.729βnΟ β€ Β΅ β€ X +
1.729βnΟ,
β’ si n = 20 et si Ξ± = 5%, u1βΞ±/2 = 2.093 et donc, avec une probabilite de 95%,
X β 2.093βnΟ β€ Β΅ β€ X +
2.093βnΟ,
β3 β2 β1 0 1 2 3
0.0
0.1
0.2
0.3
0.4
Quantiles
Inte
rvall
e de
conf
iance IC 90%
IC 95%
Figure 5 β Quantiles pour n = 20, Ο connue ou inconnue.
27
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Intervalle de confiance, moyenne dβun echantillon normal
β’ si n = 100 et Ξ± = 10%, u1βΞ±/2 = 1.660 et donc, avec une probabilite de 90%,
X β 1.660βnΟ β€ Β΅ β€ X +
1.660βnΟ,
β’ si n = 100 et si Ξ± = 5%, u1βΞ±/2 = 1.984 et donc, avec une probabilite de 95%,
X β 1.984βnΟ β€ Β΅ β€ X +
1.984βnΟ,
β3 β2 β1 0 1 2 3
0.0
0.1
0.2
0.3
0.4
Quantiles
Inte
rvall
e de
conf
iance IC 90%
IC 95%
Figure 6 β Quantiles pour n = 100, Ο connue ou inconnue.
28
Arthur CHARPENTIER - Rappels de probabilites & statistiques
La lecture des tables
Fonction de repartition de la loi normale X βΌ N (0, 1),
P(X β€ u) = Ξ¦(u) =
β« u
ββ
1β2Οeβy
2/2dy
Example P(X β€ 1, 96) = 0, 975.
29
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Interpretation dβun intervalle de confiance
Si on genere des echantillons i.i.d. suivant une loi N (Β΅, Ο2), avec Β΅ et Ο2 fixes, il y
a 90 chances sur 100 que Β΅ soit dans un des intervalles suivants[X +
uΞ±/2βnΟ,X +
u1βΞ±/2βn
Ο
]
β
β
β
β
βββ
β
β
β
β
β
βββ
ββββ
ββ
β
βββ
ββ
β
β
β
β
β
β
β
β
β
β
β
βββ
β
β
ββββ
β
ββ
ββ
ββ
β
ββ
β
β
β
ββ
βββ
β
β
β
ββ
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
ββ
ββ
β
β
β
βββ
β
β
βββ
β
ββ
β
β
β
β
β
β
ββ
β
β
ββ
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
ββ
β
β
ββββ
β
β
β
ββ
ββ
β
0 50 100 150 200
β1.0
β0.5
0.00.5
1.0
interv
alle de
confi
ance
Figure 7 β Intervalle de confiance pour Β΅, avec Ο2 connue.
30
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Interpretation dβun intervalle de confiance
ou X +t(nβ1)Ξ±/2βnβ 1
Ο,X +t(nβ1)1βΞ±/2βnβ 1
Ο
β
β
β
β
βββ
β
β
β
β
β
βββ
ββββ
ββ
β
βββ
ββ
β
β
β
β
β
β
β
β
β
β
β
βββ
β
β
ββββ
β
ββ
ββ
ββ
β
ββ
β
β
β
ββ
βββ
β
β
β
ββ
β
ββ
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
ββ
ββ
β
β
β
βββ
β
β
βββ
β
ββ
β
β
β
β
β
β
ββ
β
β
ββ
ββ
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
β
β
β
β
β
β
β
β
β
β
β
β
ββ
β
β
ββ
β
β
β
ββ
β
β
ββββ
β
β
β
ββ
ββ
β
0 50 100 150 200
β1.0
β0.5
0.00.5
1.0
interv
alle de
confi
ance
Figure 8 β Intervalle de confiance pour Β΅, avec Ο2 estimee.
31
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Un peu de tests
Le lien entre la decision est la vraie valeur peut etre represente par le tableau
ci-dessous
H0 vraie H1 vraie
Decision d0 Bonne decision erreur de seconde espece
Decision d1 erreur de premiere espece Bonne decision
32
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Resumons les principaux tests usuels
Considerons un test dβegalite de moyenne sur un echantillon H0 : Β΅ = Β΅0
H0 : Β΅6=Β΅0
La statistique de test est
T =βnxβ Β΅0
sou s2 =
1
nβ 1
nβi=1
(xi β x)2,
qui verifie, sous H0, T βΌ St(nβ 1).
β6 β4 β2 0 2 4 6
0.00.1
0.20.3
0.4
33
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Comparaison de moyennes de deux echantillons
Considerons un test dβegalite de moyenne sur deux echantillons.
On dispose de deux echantillons, {x1, Β· Β· Β· , xn} et {y1, Β· Β· Β· , ym}. On souhaite tester H0 : Β΅X = Β΅Y
H0 : Β΅X 6=Β΅Y
On rajoute une hypothese, X βΌ N (Β΅X , Ο2X) et Y βΌ N (Β΅Y , Ο
2Y ), i.e.
X βΌ N(Β΅X ,
Ο2X
n
)et Y βΌ N
(Β΅Y ,
Ο2Y
m
)
34
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Comparaison de moyennes de deux echantillons
β1 0 1 2
0.0
0.5
1.0
1.5
2.0
βββ β β ββ βββ βββ ββ
35
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Comparaison de moyennes de deux echantillons
Par independance entre X et Y , notons que β = X β Y suit une loi normale,
E(β) = Β΅X β Β΅Y et V ar(β) =Ο2X
n+Ο2Y
m
Donc sous H0, Β΅X β Β΅Y = 0 et donc
D βΌ N(
0,Ο2X
n+Ο2Y
m
),
i.e. β =X β YβΟ2X
n+Ο2Y
m
βΌ N (0, 1).
36
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Comparaison de moyennes de deux echantillons
Probleme ΟX et ΟY sont inconnus : on les remplace par des estimateurs ΟX et
ΟY ,
i.e. β =X β YβΟ2X
n+Ο2Y
m
βΌ St(Ξ½),
ou Ξ½ est une fonction (compliquee) de n1 et n2.
On se donne un seuil dβacceptation Ξ± β [0, 1] (e.g. 10%), on accepte H0 si tΞ±/2 β€ Ξ΄ β€ t1βΞ±/2on accepte H0 si Ξ΄ < tΞ±/2 ou Ξ΄ > t1βΞ±/2
37
Arthur CHARPENTIER - Rappels de probabilites & statistiques
β2 β1 0 1 2
0.0
0.1
0.2
0.3
0.4
0.5
βββ β β ββ βββ βββ ββ
ACCEPTATIONREJET REJET
38
Arthur CHARPENTIER - Rappels de probabilites & statistiques
On peut se demander la probabilite p dβobtenir une valueur au moins aussi
grande que Ξ΄ si H0 est vraie,
p = P(|Z| > |Ξ΄||H0 vraie) = P(|Z| > |Ξ΄||Z βΌ St(Ξ½)).
β2 β1 0 1 2
0.0
0.1
0.2
0.3
0.4
0.5
βββ β β ββ βββ βββ ββ
34.252 %
39
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Sous R, t.test(x, y, alternative = c("two.sided", "less", "greater"), mu = 0,
var.equal = FALSE, conf.level = 0.95) permet de tester si les moyennes de deux
chantillons x et y sont egales (mu=0), contre H1 : Β΅X 6= Β΅Y ("two.sided").
β2 β1 0 1 2
0.0
0.5
1.0
1.5
2.0
ββ ββ β βββ ββ ββ β ββ ββ
40
Arthur CHARPENTIER - Rappels de probabilites & statistiques
β2 β1 0 1 2
0.0
0.1
0.2
0.3
0.4
0.5
ββ ββ β βββ ββ ββ β ββ ββ
ACCEPTATIONREJET REJET
41
Arthur CHARPENTIER - Rappels de probabilites & statistiques
β2 β1 0 1 2
0.0
0.1
0.2
0.3
0.4
0.5
ββ ββ β βββ ββ ββ β ββ ββ
2.19 %
42
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Resumons les principaux tests usuels
Considerons un test dβegalite de moyenne sur un echantillon H0 : Β΅ = Β΅0
H0 : Β΅β₯Β΅0
La statistique de test est
T =βnxβ Β΅0
sou s2 =
1
nβ 1
nβi=1
(xi β x)2,
qui verifie, sous H0, T βΌ St(nβ 1).
β6 β4 β2 0 2 4 6
0.00.1
0.20.3
0.4
43
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Resumons les principaux tests usuels
Considerons un test dβegalite de moyenne sur un echantillon H0 : Β΅ = Β΅0
H0 : Β΅β€Β΅0
La statistique de test est
T =βnxβ Β΅0
sou s2 =
1
nβ 1
nβi=1
(xi β x)2,
qui verifie, sous H0, T βΌ St(nβ 1).
β6 β4 β2 0 2 4 6
0.00.1
0.20.3
0.4
44
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Resumons les principaux tests usuels
Considerons un test dβegalite de variance sur un echantillon H0 : Ο2 = Ο20
H0 : Ο2 6=Ο20
La statistique de test est
T =(nβ 1)s2
Ο20
ou s2 =1
nβ 1
nβi=1
(xi β x)2,
qui verifie, sous H0, T βΌ Ο2(nβ 1).
0 10 20 30 40
0.00
0.02
0.04
0.06
0.08
0.10
45
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Resumons les principaux tests usuels
Considerons un test dβegalite de variance sur un echantillon H0 : Ο2 = Ο20
H0 : Ο2β₯Ο20
La statistique de test est
T =(nβ 1)s2
Ο20
ou s2 =1
nβ 1
nβi=1
(xi β x)2,
qui verifie, sous H0, T βΌ Ο2(nβ 1).
0 10 20 30 40
0.00
0.02
0.04
0.06
0.08
0.10
46
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Resumons les principaux tests usuels
Considerons un test dβegalite de variance sur un echantillon H0 : Ο2 = Ο20
H0 : Ο2β€Ο20
La statistique de test est
T =(nβ 1)s2
Ο20
ou s2 =1
nβ 1
nβi=1
(xi β x)2,
qui verifie, sous H0, T βΌ Ο2(nβ 1).
0 10 20 30 40
0.00
0.02
0.04
0.06
0.08
0.10
47
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Resumons les principaux tests usuels
Considerons un test dβegalite de moyennes sur deux echantillons H0 : Β΅1 = Β΅2
H0 : Β΅1 6=Β΅2
La statistique de test est
T =
βn1n2n1 + n2
[x1 β x2]β [Β΅1 β Β΅2]
sou s2 =
(n1 β 1)s21 + (n2 β 1)s22n1 + n2 β 2
,
qui verifie, sous H0, T βΌ St(n1 + n2 β 2).
β6 β4 β2 0 2 4 6
0.00.1
0.20.3
0.4
48
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Resumons les principaux tests usuels
Considerons un test dβegalite de moyennes sur deux echantillons H0 : Β΅1 = Β΅2
H0 : Β΅1β₯Β΅2
La statistique de test est
T =
βn1n2n1 + n2
[x1 β x2]β [Β΅1 β Β΅2]
sou s2 =
(n1 β 1)s21 + (n2 β 1)s22n1 + n2 β 2
,
qui verifie, sous H0, T βΌ St(n1 + n2 β 2).
β6 β4 β2 0 2 4 6
0.00.1
0.20.3
0.4
49
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Resumons les principaux tests usuels
Considerons un test dβegalite de moyennes sur deux echantillons H0 : Β΅1 = Β΅2
H0 : Β΅1β€Β΅2
La statistique de test est
T =
βn1n2n1 + n2
[x1 β x2]β [Β΅1 β Β΅2]
sou s2 =
(n1 β 1)s21 + (n2 β 1)s22n1 + n2 β 2
,
qui verifie, sous H0, T βΌ St(n1 + n2 β 2).
β6 β4 β2 0 2 4 6
0.00.1
0.20.3
0.4
50
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Resumons les principaux tests usuels
Considerons un test dβegalite de variances sur deux echantillons H0 : Ο21 = Ο2
2
H0 : Ο21 6=Ο2
2
La statistique de test est
T =s21s22, si s21 > s22,
qui verifie, sous H0, T βΌ F(n1 β 1, n2 β 1).
0 10 20 30 40
0.00
0.02
0.04
0.06
0.08
0.10
51
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Resumons les principaux tests usuels
Considerons un test dβegalite de variances sur deux echantillons H0 : Ο21 = Ο2
2
H0 : Ο21β₯Ο2
2
La statistique de test est
T =s21s22, si s21 > s22,
qui verifie, sous H0, T βΌ F(n1 β 1, n2 β 1).
0 10 20 30 40
0.00
0.02
0.04
0.06
0.08
0.10
52
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Resumons les principaux tests usuels
Considerons un test dβegalite de variances sur deux echantillons H0 : Ο21 = Ο2
2
H0 : Ο21β€Ο2
2
La statistique de test est
T =s21s22, si s21 > s22,
qui verifie, sous H0, T βΌ F(n1 β 1, n2 β 1).
0 10 20 30 40
0.00
0.02
0.04
0.06
0.08
0.10
53
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Modele parametrique
On dispose dβun echantillon {x1, Β· Β· Β· , xn}, de n observations independantes.
On suppose que les xi sont des realisations dβune variable aleatoire X dont la loi
F est inconnue. Le but est de determiner F .
En statistique parametrique, on suppose que F appartient necessairement a une
famille caracterisee par un parametre ΞΈ β Ξ.
β’ X suit une loi de Bernoulli, X βΌ B(p), ΞΈ = p β (0, 1),
β’ X suit une loi de Poisson, X βΌ P(Ξ»), ΞΈ = Ξ» β R+,
β’ X suit une loi normale, X βΌ N (Β΅, Ο), ΞΈ = (Β΅, Ο) β RΓ R+,
On cherche donc une valeur de ΞΈ, notee ΞΈ0, inconnue, telle que lβon supposera
que X suit une loi FΞΈ0.
Remarque On supposera souvent que Ξ est un ouvert, il est delicat dβestimer
sur les bords.
54
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Exemple : jeu de pile ou face
On dispose dβun echantillon
{pile,pile, face,pile, face,pile, face, face,pile, face, pile, face}
que lβon interpretera en posant
X =
1 si pile
0 si face.
On dispose de lβechantillon
{1, 1, 0, 1, 0, 1, 0, 0, 1, 0, 1, 0}
On peut supposer ici que X suite une loi binomiale, X βΌ B(p), de parametre p
inconnu (mais que lβon va chercher a estimer).
55
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Inference statistique
Quelle est la vraie valeur de p, que lβon ne connaΔ±t pas ?
β’ Quelle est la valeur de p la plus vraisemblable ?
Sur n lancers, la probabilite dβobtenir precisement lβechantillon {x1, Β· Β· Β· , xn} est
P(X1 = x1, Β· Β· Β· , Xn = xn),
ou X1, Β· Β· Β· , Xn sont n versions independentes de X, supposees suivre la loi B(p).
Aussi,
P(X1 = x1, Β· Β· Β· , Xn = xn) =nβi=1
P(Xi = xi) =nβi=1
pxi Γ (1β p)1βxi ,
car pxi Γ (1β p)1βxi =
p si xi vaut 1
1β p si xi vaut 0
56
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Inference statistique
Aussi,
P(X1 = x1, Β· Β· Β· , Xn = xn) = pβn
i=1 xi Γ (1β p)βn
i=1 1βxi .
Cette fonction, qui depend de p mais aussi de {x1, Β· Β· Β· , xn} est appelee
vraisemblance de lβechantillon, et sera notee L (likelihood),
L(p;x1, Β· Β· Β· , xn) = pβn
i=1 xi Γ (1β p)βn
i=1 1βxi .
Ici, nous avons obtenu 5 valeurs de 1 et 6 fois 0. On en deduit les vraisemblances
suivante en fonction de lβechantillon.
57
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Valeur de p L(p;x1, Β· Β· Β· , xn)
0.1 5.314410e-06
0.2 8.388608e-05
0.3 2.858871e-04
0.4 4.777574e-04
0.5 4.882812e-04
0.6 3.185050e-04
0.7 1.225230e-04
0.8 2.097152e-05
0.9 5.904900e-07
0.0 0.2 0.4 0.6 0.8 1.0
0e
+0
01
eβ
04
2e
β0
43
eβ
04
4e
β0
45
eβ
04
ProbabilitΓ© p
Vra
ise
mb
lan
ce
L
β
β
β
β β
β
β
ββ
La valeur la plus vraisemblance pour p est obtenue au maximum de la
vraisemblance, i.e. 0.4545.
58
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Inference statistique
β’ Peut-on utiliser la moyenne empirique ?
Rappelons que lβon dispose de lβechantillon
{1, 1, 0, 1, 0, 1, 0, 0, 1, 0, 1, 0}
Rappelons que pour une loi binomiale, E(X) = p. Aussi, il pourrait etre legitime
de considerer comme estimateur de p la version empirique de E(X), i.e. x.
Un estimateur naturel de p serait donc x 5/11 = 0.4545.
59
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Le maximum de vraisemblance
Formellement, si fΞΈ designe la vraie loi (inconnue) de X,
β’ la densite de X si X est continue, i.e. fΞΈ(x) =dF (x)
dx= F β²(x),
β’ la loi de probabilite de X si X nβest pas continue, i.e. fΞΈ(x) = P(X = x),
La vraisemblance sβecrit, comme les Xi sont i.i.d.
L(ΞΈ;x1, Β· Β· Β· , xn) = P(X1 = x1, Β· Β· Β· , Xn = xn) =nβi=1
fΞΈ(xi)
Un estimateur naturel pour ΞΈ est obtenu au maximum de la vraisemblance,
ΞΈ β argmax{L(ΞΈ;x1, Β· Β· Β· , xn),ΞΈ β Ξ}.
Petite remarque pratique : pour toute fonction croissante h,
ΞΈ β argmax{h (L(ΞΈ;x1, Β· Β· Β· , xn)) ,ΞΈ β Ξ}.
60
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Le maximum de vraisemblance
0 1 2 3 4 5
0.4
0.6
0.8
1.0
1.2
1.4
1.6
1.8
Figure 9 β Invariance de la position du maximum par transformation croissante.
61
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Le maximum de vraisemblance
Prenons le cas particulier de la fonction h = log
ΞΈ β argmax{log (L(ΞΈ;x1, Β· Β· Β· , xn)) ,ΞΈ β Ξ}.
i.e. on cherche le maximum de la log-vraisemblance, qui sβecrit simplement
logL(ΞΈ;x1, Β· Β· Β· , xn) =nβi=1
log fΞΈ(xi)
et pour chercher le maximum, la condition du 1er ordre impose de calculer des
derivees (et la derivee dβune somme est plus simple a calculer que la probabilite
dβun produit), si ΞΈL(ΞΈ;x) est derivable.
62
Arthur CHARPENTIER - Rappels de probabilites & statistiques
0.0 0.2 0.4 0.6 0.8 1.0
0e
+0
01
eβ
04
2e
β0
43
eβ
04
4e
β0
45
eβ
04
ProbabilitΓ© p
Vra
ise
mb
lan
ce
L
β
β
β
β β
β
β
ββ
0.0 0.2 0.4 0.6 0.8 1.0
β3
0β
25
β2
0β
15
β1
0
ProbabilitΓ© pL
og
vra
ise
mb
lan
ce
L
β
ββ β β β
β
β
β
Figure 10 β Fonction de vraisemblance et de log-vraisemblance.
63
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Le maximum de vraisemblance
Les quations de vraisemblance sont alors
β’ condition du premier ordre
si ΞΈ β Rk,β log (L(ΞΈ;x1, Β· Β· Β· , xn))
βΞΈ
β£β£β£β£ΞΈ=ΞΈ
= 0
si ΞΈ β R,β log (L(ΞΈ;x1, Β· Β· Β· , xn))
βΞΈ
β£β£β£β£ΞΈ=ΞΈ
= 0
β’ condition du second ordre
si ΞΈ β Rk,β2 log (L(ΞΈ;x1, Β· Β· Β· , xn))
βΞΈβΞΈβ²
β£β£β£β£ΞΈ=ΞΈ
est definie negative
si ΞΈ β R,β2 log (L(ΞΈ;x1, Β· Β· Β· , xn))
βΞΈ
β£β£β£β£ΞΈ=ΞΈ
< 0
La fonctionβ log (L(ΞΈ;x1, Β· Β· Β· , xn))
βΞΈest appele fonction score : au maximum de
vraisemblance, le score est nul.
64
Arthur CHARPENTIER - Rappels de probabilites & statistiques
La notion dβinformation de Fisher
Un estimateur ΞΈ de ΞΈ sera dit exhaustif sβil fournit autant dβinformation sur ΞΈ que
lβensemble des observations {x1, Β· Β· Β· , xn}.
Lβinformation de Fisher associee a une densite fΞΈ, ΞΈR est
I(ΞΈ) = E(d
dΞΈlog fΞΈ(X)
)2
ou X a pour loi fΞΈ,
I(ΞΈ) = V ar
(d
dΞΈlog fΞΈ(X)
)= βE
(d2
dΞΈ2log fΞΈ(X)
).
Notons que lβinformation de Fisher est simplement la variance du score.
Pour parle aussi dβinformation de Fisher pour un observation unique. Dans le cas
dβun echantillon X1, Β· Β· Β· , Xn de densite fΞΈ, lβinformation est In(ΞΈ) = n Β· I(ΞΈ).
65
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Notions dβefficacite et dβoptimalite
Si ΞΈ est une estimateur sans biais de ΞΈ, alors V ar(ΞΈ) β₯ 1
nI(ΞΈ). Un estimateur qui
atteint cette borne sera dit efficace.
Mais la borne nβest pas toujours atteignable.
Un estimateur ΞΈ sans biais sera dit optimal sβil est de variance minimale parmi
tous les estimateurs sans biais.
La notion dβinformation de Fisher en dimension plus grande
Lβinformation de Fisher est la matrice k Γ k I = [Ii,j ] ou
Ii,j = E(β
βΞΈiln fΞΈ(X)
β
βΞΈjln fΞΈ(X)
).
66
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Exemple de calcul dβinformation de Fisher
Soit X suivant une loi P(ΞΈ),
log fΞΈ(x) = βΞΈ + x log ΞΈ β log(x!) etd2
dΞΈ2log fΞΈ(x) = β x
ΞΈ2
I(ΞΈ) = βE(d2
dΞΈ2log fΞΈ(X)
)= βE
(βXΞΈ2
)=
1
ΞΈ
Pour une loi B(n, ΞΈ), I(ΞΈ) =n
ΞΈ(1β ΞΈ)
Pour une loi BN (ΞΈ, Ο2), I(ΞΈ) =1
Ο2
Pour une loi BN (Β΅, ΞΈ), I(ΞΈ) =1
2ΞΈ2
67
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Le maximum de vraisemblance
Definition 13. Soit {x1, Β· Β· Β· , xn} un echantillon de loi fΞΈ, ou ΞΈ β Ξ. On appelle
estimateur du maximum de vraisemblance ΞΈn de ΞΈ
ΞΈn β argmax{L(ΞΈ;x1, Β· Β· Β· , xn),ΞΈ β Ξ}.
Proposition 14. Sous quelques conditions techniques, ΞΈn converge presque
surement vers ΞΈ, ΞΈnp.s.β ΞΈ.
Proposition 15. Sous quelques conditions techniques, ΞΈn est un estimateur
asymptotiquement efficace de ΞΈ,
βn(ΞΈn β ΞΈ)
Lβ N (0, Iβ1(ΞΈ)).
Lβestimateur du maximum de vraisemblance nβa aucune raison dβetre sans biais.
68
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Le maximum de vraisemblance, cas N (Β΅, Ο2)
Soit {x1, Β· Β· Β· , xn} un echantillon independant, distribue suivant la loi N (Β΅, Ο2),
de densite
f(x | Β΅, Ο2) =1β
2Ο Οexp
(β (xβ Β΅)2
2Ο2
).
La vraisemblance est alors
f(x1, . . . , xn | Β΅, Ο2) =nβi=1
f(xi | Β΅, Ο2) =
(1
2ΟΟ2
)n/2exp
(ββni=1(xi β Β΅)2
2Ο2
),
ou encore
f(x1, . . . , xn | Β΅, Ο2) =
(1
2ΟΟ2
)n/2exp
(ββni=1(xi β x)2 + n(xβ Β΅)2
2Ο2
).
69
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Le maximum de vraisemblance, cas N (Β΅, Ο2)
Le maximum de vraisemblance en Β΅ est obtenu a lβaide de la condition du
premier ordre,
β
βΒ΅log
((1
2ΟΟ2
)n/2exp
(ββni=1(xi β x)2 + n(xβ Β΅)2
2Ο2
))
=β
βΒ΅
(log
(1
2ΟΟ2
)n/2ββni=1(xi β x)2 + n(xβ Β΅)2
2Ο2
)
= 0β β2n(xβ Β΅)
2Ο2= 0.
qui donne Β΅ = x =βni=1 xi/n.
70
Arthur CHARPENTIER - Rappels de probabilites & statistiques
La seconde condition du premier ordre sβecrit
β
βΟlog
((1
2ΟΟ2
)n/2exp
(ββni=1(xi β x)2 + n(xβ Β΅)2
2Ο2
))
=β
βΟ
(n
2log
(1
2ΟΟ2
)ββni=1(xi β x)2 + n(xβ Β΅)2
2Ο2
)= βn
Ο+
βni=1(xi β x)2 + n(xβ Β΅)2
Ο3= 0.
Le maximum est alors obtenu pour Ο2 =βni=1(xi β Β΅)2/n.
Par substitution de Β΅, on peut ecrire
Ο2 =1
n
nβi=1
(xi β x)2 =1
n
nβi=1
x2i β1
n2
nβi=1
nβj=1
xixj .
On peut noter facilement que E [Β΅] = Β΅, mais aussi E[Ο2]
=nβ 1
nΟ2.
71
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Le maximum de vraisemblance, cas uniforme sur [0, ΞΈ]
La densite des Xi est ici fΞΈ(x) =1
ΞΈ1(0 β€ x β€ ΞΈ).
La vraisemblance sβecrit alors
L(ΞΈ;x1, Β· Β· Β· , xn) =1
ΞΈn
nβi=1
1(0 β€ xi β€ ΞΈ) =1
ΞΈn1(0 β€ inf{xi} β€ sup{xi} β€ ΞΈ).
Cette fonction nβest pas derivable en ΞΈ, mais on note que L est maximale pour ΞΈ
le plus petit possible, i.e. ΞΈ = sup{xi}.
βββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββ
βββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββββ
0.0 0.5 1.0 1.5 2.0 2.5 3.0
0.000
0.001
0.002
0.003
0.004
72
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Le maximum de vraisemblance
Notons que lβestimateur du maximum de vraisemblance nβest par necessairement
unique.
Supposons que {x1, Β· Β· Β· , xn} soient uniforment distribuees sur [ΞΈ, ΞΈ + 1]. Si
ΞΈβ = sup{xi} β 1 < inf{xi} = ΞΈ+
Alors tout estimateur ΞΈ β [ΞΈβ, ΞΈ+] est un estimateur du maximum de
vraisemblance de ΞΈ.
Enfin lβestimateur du maximum de vraisemblance nβest pas forcement sans biais.
Dans le cas de la loi exponentielle ΞΈ = 1/x. En utilisant des proprietes de la loi
inverse-gamma, onm peut montrer que
E(ΞΈ) =n
nβ 1ΞΈ > ΞΈ.
73
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Le maximum de vraisemblance, aspects numeriques
Pour les lois usuelles, sous R, library(MASS) permet de calculer le maximum de
vraisemblance pour les lois usuelles, e.g. fitdistr(x.norm,"normal") pour estimer les
parametres dβune loi normale pour un echantillon x.
Si on souhaite utiliser des methodes numeriques sous R, LV <-
function(theta){-sum(log(dexp(x,theta)))} puis optim(2,LV) permet de calculer
numeriquement le maximum de la fonction de log-vraisemblance.
Parfois, obtenir le maximum de la vraisemblance peut etre difficile, ou impossible.
On peut alors utiliser des methodes de type Newton-Rahpson ou la methode du
score pour approcher numeriquement le maximum.
Soit S(x, ΞΈ) =β
βΞΈlog f(x, ΞΈ) la fonction score. On pose
Sn(ΞΈ) =nβi=1
S(Xi, ΞΈ).
74
Arthur CHARPENTIER - Rappels de probabilites & statistiques
En faisant un developpement de Taylor, de Sn au voisinage de ΞΈ0,
Sn(x) = Sn(ΞΈ0) + (xβ ΞΈ0)Sβ²n(y) pour y β [x, ΞΈ0]
En x = ΞΈn,
Sn(ΞΈn) = 0 = +(ΞΈn β ΞΈ0)Sβ²n(y) pour y β [ΞΈ0, ΞΈn]
Aussi, ΞΈn = ΞΈ0 βSn(ΞΈ0)
Sβ²n(y)pour y β [ΞΈ0, ΞΈn]
75
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Le maximum de vraisemblance, aspects numeriques
Construisons la suite (Newton-Raphson)
ΞΈ(i+1)n = ΞΈ(i)n β
Sn(ΞΈ(i)n )
Sβ²n(ΞΈ(i)n )
,
a partir dβune valeur initiale ΞΈ(0)n bien choisie.
Construisons la suite (methode du score)
ΞΈ(i+1)n = ΞΈ(i)n β
Sn(ΞΈ(i)n )
nI(ΞΈ(i)n )
,
a partir dβune valeur initiale ΞΈ(0)n bien choisie.
76
Arthur CHARPENTIER - Rappels de probabilites & statistiques
La methode des moments
La methode des moments est la methode la plus simple et la plus intuitive pour
estimer un parametre ΞΈ. Si E(X) = g(ΞΈ), on cherche ΞΈ tel que x = g(ΞΈ).
Exemple Dans le cas dβune loi exponentielle sur E(ΞΈ), P(X β€ x) = 1β eβΞΈx,
E(X) = 1/ΞΈ, donc ΞΈ = 1/x.
Exemple Dans le cas dβune loi uniforme sur [0, ΞΈ], E(X) = ΞΈ/2, donc ΞΈ = 2x.
Si ΞΈ β R2, on utilise egalement soit V ar(X), soit E(X2).
77
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Comparer des estimateurs
Parmi les proprietes usuelles des estimateurs,
β’ sans biais, E(ΞΈn) = ΞΈ,
β’ convergent, ΞΈnPβ ΞΈ, quand nββ
β’ asymptotiquement normal,βn(ΞΈ β ΞΈ) Lβ N (0, Ο2) quand nββ,
β’ efficace
β’ optimal
Soient T1 et T2 deux estimateurs sans biais, alors T1 sera dit plus efficace que T2
sβil est de variance plus faible.
Pour comparer deux estimateurs sans biais, on compare souvent leur variance. Le
meilleur estimateur aura la variance la plus faible.
78
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Comparer des estimateurs, biais vs. variance
β2 β1 0 1 2 3 4
0.0
0.2
0.4
0.6
0.8
1.0
Figure 11 β Choisir un estimateur, ΞΈ1 versus ΞΈ2.
79
Arthur CHARPENTIER - Rappels de probabilites & statistiques
Comparer des estimateurs, biais vs. variance
β’ ΞΈ1 estime avec biais ΞΈ (E(ΞΈ1) 6= E(ΞΈ)),
β’ ΞΈ2 estime sans biais ΞΈ (E(ΞΈ2) = E(ΞΈ)),
β’ V ar(ΞΈ1) β€ V ar(ΞΈ2).
Lβestimateur ΞΈ1 peut etre interessant des lors que lβon peut estimer correctement
le biais. Mais
β’ le biais est souvent une fonction de ΞΈ (qui est inconnu),
β’ le biais est souvent une fonction compliquee de ΞΈ.
80