Upload
damon-watson
View
113
Download
3
Embed Size (px)
DESCRIPTION
第七章 参数估计. 数理统计的基本问题之一是根据样本所提供的信息,对总体的分布以及分布的数字特征做出统计推断.统计推断的主要内容分为两大类:一类是参数估计问题,另一类是假设检验问题.本章主要讨论参数估计问题.这里的参数可以是总体分布中的未知参数,也可以是总体的某个数字特征.若总体分布形式已知,但它的一个或多个参数未知或总体的某个数字特征未知时,就需借助总体 X 的样本来估计未知参数.以下主要讨论总体参数的点估计和区间估计. §7.1 点估计. 一.矩估计. - PowerPoint PPT Presentation
Citation preview
第七章 参数估计 数理统计的基本问题之一是根据样本所提供的信息,对总体的分布以及分布的数字特征做出统计推断.统计推断的主要内容分为两大类:一类是参数估计问题,另一类是假设检验问题.本章主要讨论参数估计问题.这里的参数可以是总体分布中的未知参数,也可以是总体的某个数字特征.若总体分布形式已知,但它的一个或多个参数未知或总体的某个数字特征未知时,就需借助总体 X的样本来估计未知参数.以下主要讨论总体参数的点估计和区间估计. §7.1 点估计
参数的点估计 (Point Estimation) ,就是利用样本的信息对总体分布中的未知参数作定值估计.设总体 X的分布函数形式为已知,但它的一个或多个参数为未知,我们的目的是构造一个相应的统计量 去估计该未知参数,即借助于总体 X的一个样本来估计总体的未知参数,这种估计称为参数的点估计.下面给出两种点估计量的求法.
),,,(ˆˆ21 nXXX
一.矩估计
矩估计 (Moment Estimation) 又称数字特征法估计,它的基本思想是用样本矩估计总体的相应矩,用样本的数字特征估计总体相应的数字特征.若总体 X中包含 k个未知参数 θ1 , θ2 ,…, θk,记总体原点矩 ,则由样本原点矩 可建立如下 k个方程的方程组. 即 ( 7-1 )
),,,( 21 kii iA
),,,(
),,,(),,,(
21
2122
2111
kkk
k
k
A
AA
n
i
kki
n
ii
n
ii
XEXn
XEXn
XEXn
1
2
1
2
1
1
1
1
注意:上述方程的右端实际上包含有未知参数 θ1 , θ2 ,…, θ,因此,( 7-1 )是 k个未知量、 k个方程的一个方程组,一般来说,我们可以从中解得
它们就是未知参数 θ1 , θ2 ,…, θ的矩估计.另外,( 7-1 )中也可用相应的中心矩代替.利用矩估计求出的估计量称为矩估计量,这种求估计量的方法称为矩法.
nkk
n
n
XXX
XXX
XXX
,,,ˆˆ
,,,ˆˆ,,,ˆˆ
21
2122
2111
可以看出,无论总体 X服从什么分布,只要 EX=μ, DX=σ2 存在,它们的矩估计量总是 矩估计既直观又简便,特别是在估计总体的均值、方差等数字特征时,不必知道总体的分布类型,这是矩估计的优点.矩估计的不足之处是要求总体存在所需的矩,在总体分布类型已知的情形下,矩估计也未充分利用总体分布类型提供的信息,这时它的精度可能比别的估计法低.
22ˆ,ˆ nSX
二.最大似然估计 矩估计不涉及总体的分布类型,而实际问题中总体的分布类型常常是已知的,这正是估计总体参数的一个有用信息.在估计参数时,我们应充分利用这些信息,以下给出在总体分布类型已知时的最大似然估计 (Maximum Likelihood Estimation) . 1. 最大似然估计法的基本思想:
在随机抽样中,对于随机样本 记它的取值为 ,由于 是随机的,在一次抽样中居然取到 则我们有理由认为该随机样本取到 的概率最大.从而可选取适当的参数,使其取到该样本值的概率达到最大,这就是最大似然估计的基本思想.先看一个例子,然后分别讨论离散情形和连续情形.
),,,( 21 nXXX
),,,( 21 nxxx ),,,( 21 nXXX
),,,( 21 nxxx
),,,( 21 nxxx
2. 最大似然估计的基本步骤( 1 )总体分布为离散的情形 总体 X的概率分布 , 其中 θ1 , θ2 ,…, θ是总体分布中的未知参数,这时样本值( )出现的概率是 ( 7-2 ) 记此概率 为 ,即
kxpxXP ,,,; 21 nxxxx ,,, 21
nx,,x,x 21
n
iki
n
iiinn
xp
xXpxXxXxXP
121
12211
,,,;
,,,
),,,( 21 kL
( 7-3 ) 它是参数 的函数,选择参数值 使 ( 7-4 ) 并用 作为 的估计值,这种求估计值的方法称为最大似然估计法;用这种方法求得的估计值 叫做 的最大似然估计值;而称 为参数 的似然函数 (Li
kelihood Function) . 如果似然函数 对 的导数或偏导数存在,那么根据多元函数极值理论
),,,;(),,,( 2121 kik xpL
k ,,, 21 k ˆ,,ˆ,ˆ21
kk LL ,,,maxˆ,,ˆ,ˆ2121
i kii ,,2,1
i i kL ,,, 21
kL ,,, 21 i
应有 ( 7-5 ) 从中解出的最大值点 即为最大似然估计值 . 由于对数函数 lnL是单调增加的,所以L和有相同的最大值点.利用这一事实,可将最大化 L的问题转化为最大化 lnL,这样,往往可简化最大似然估计的求法.通常将 lnL称为对数似然函数.
(2) 总体分布为连续的情形
0
,
i
ii xL
i kii ,,2,1ˆ
设总体 X的概率密度是 ,其中θ1 , θ2 ,…, θk为未知参数.考察随机样本( X1 , X2 ,…, Xn)落在样本值(
)的指定邻域内的概率
其中 都是充分小的常量.令
kxf ,,; 21
nx,,x,x 21
nnnnn xxXxxxxXxxxxXxxP ,,, 2222211111
n
i
xx
xx k
n
iiiiii
ii
ii
dxxfxxXxxP1
11
),,,(
nn
n
iki xxxxf
211
21 2,,,, ]2,,,,[1
21 i
n
iki xxf
n,,,ixi 21
,( 7-6 ) 由于 是常数,所以上述概率达到最大,当且仅当 L( θ1 , θ2 ,…, θk)达到最大.这里的 L( θ1 , θ2 ,…, θk)称为似然函数,满足
的 称为 的最大似然估计;这种求估计值的方法同样称为最大似然法.具体做法与情形( 1 )相同.
n
ikik xfL
12121 ,,,,,,
nn xxx 212
kk LL ,,maxˆ,,ˆ,ˆ2121
kii ,,2,1ˆ i