30
2019/6/10 6.3 小信号测量的区间估计 1 实验数据处理方法 第六章 参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

  • Upload
    others

  • View
    42

  • Download
    0

Embed Size (px)

Citation preview

Page 1: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 1

实验数据处理方法

第六章参数估计(Parameter estimation)

6. 3 小信号测量的区间估计

Page 2: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 2

6. 3 小信号测量的区间估计

区间估计的目的:

找出未知参数的一个变化范围

ba

使得的真值落入该范围的概率为

估计未知参数的估计值的精确性和可靠性

区间估计(Interval Estimation):

+= ˆ

Page 3: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 3

实验数据处理方法

第六章参数估计(Parameter estimation)

6. 3 小信号测量的区间估计

1. 基本概念2. 置信带构造的经典方法3. Feldman & Cousins方法4. 最大似然估计量方法

Page 4: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 4

6.3.1 基本概念

•小信号测量:

• 待测物理量本身数值很小(接近于零);• 待测量的现象(信号)出现的概率很小

例:中微子质量的测量,稀有衰变分支比的测量,…

受到测量误差、本底的影响,测量值有可能会出现负值!

Page 5: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 5

6.3.1 基本概念

•小信号测量的参数估计的特点:

1. 信号的实验测量值(如信号的事例数)通常是接近于零的小量,因此对待测信号的实验报道有时只能给出一定置信水平下的上限;

2. 实验测量值通常同时包含信号和本底的贡献,而且信号和本底的测量都存在统计涨落和系统误差;

3. 信号的测量值存在物理边界值:> 0;

4. 测量样本的容量很小

Page 6: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 6

6.3.1 基本概念

•置信带(Confidence belt)

实验观测值x, 待估计参数→观测量x的真值

参数的置信水平为的置信区间:

= ]),[( ulP

与特定的相对应,在x-

坐标系内,存在一个区域,对任何测量值x,上式成立,→置信水平为

的置信带

u

l

x0

Page 7: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 7

实验数据处理方法

第六章参数估计(Parameter estimation)

6. 3 小信号测量的区间估计

1. 基本概念2. 置信带构造的经典方法3. Feldman & Cousins方法4. 最大似然估计量方法

Page 8: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 8

6.3.2 置信带构造的经典方法

Neyman方法:1937年由J. Neyman提出

•构造方法:

对于任何特定的值,找到相应的x的C.L.=接受区间[xl, xu],使其满足关系式

)1()|],[( = ul xxxP

对所有可能的值,相应的接受区间的集合即构成置信水平为的置信带

设观测量x的概率密度函数为f(x|)

==u

l

x

xul dxxfxxxP )|()|],[(

Page 9: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 9

6.3.2 置信带构造的经典方法

Construct Horizontally

Read Vertically

x

注意:对任一特定的值,满足(1)式的区间有无穷多个➔

中心置信区间和上限置信区间

Page 10: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 10

6.3.2 置信带构造的经典方法

•中心置信区间

u

l

x0

满足

)1(2

1)|()|( −== ul xxPxxP

对任一观测值x0,这样确定的中心置信区间满足

)1(2

1)|()|( 00 −== xPxP ul xl

xu

Page 11: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 11

6.3.2 置信带构造的经典方法

•上限置信区间

满足

= )|( lxxP

对任一观测值x0,这样确定的上限置信区间满足

= )|( 0xP u

xl

x0

u

•对于所测结果是给置信水平为的中心区间还是上限区间很大程度上取决于作者的自由选择

= )|],0[( 0xP u

Page 12: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 12

6.3.2 置信带构造的经典方法

1)观测量x服从正态分布:

n

xy

−=

2已知,求待测参数的置信区间

=−−a

adyy )exp( 2

21

中心置信区间:

nax

nax

u

l

+=

−=

服从正态分布: 2

2

2

1)1,0(

y

eN−

=

上限置信区间:

=−

bdyy )exp( 2

21

nbxu

+=

Page 13: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 13

6.3.2 置信带构造的经典方法

特例:n = 1, = 1, =0.9

=−−a

adyy )exp( 2

21

中心置信区间:

axax ul +=−=

上限置信区间:

=−

bdyy )exp( 2

21

bxu +=

xx =

a=1.64b=1.28

问题1:如果x = -1.8,无对应的置信区间,置信区间为空集

Page 14: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 14

6.3.2 置信带构造的经典方法

在什么样的情况下给上限区间,什么情况下给中心区间?

➔基于观测值的突变方式(Flip-flopping policy):

• x < 3 : 上限区间• x ≥3: 中心区间• x < 0: 由于≥0,将x视为0,并据此确定的上限

上限区间

=x+1.28

=x+1.64

问题2:当1.36 < < 4.28时,x的接受区间的涵盖概率只有85%,小于90%

Page 15: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 15

6.3.2 置信带构造的经典方法

2)观测量x服从泊松分布:

设观测值x = 观测事例的总数n

➔包含信号事例,均值为,未知➔ 本底事例,均值为b,已知

!

)()|(

)(

n

ebnP

bn +−+=

]),[( ulP

中心置信区间: 上限置信区间:

)( uP

Page 16: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 16

6.3.2 置信带构造的经典方法

置信带的构造:对于任一值

==

==−

u

l

ni

n

i

iPiP )|()|(2

1

2 0

中心置信区间: 上限置信区间:

=

=−ln

i

iP0

)|(1

= 0.9, b = 3.0

问题1:如果n = 0,无对应的置信区间,置信区间为空集

Page 17: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 17

6.3.2 置信带构造的经典方法

n

)|( xP

Page 18: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 18

6.3.2 置信带构造的经典方法

“Flip-Flopping”

n

Allowed

n

Allowed

1 sided2 sided

n

This is not a true confidence belt! Coverage varies.

Page 19: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 19

6.3.2 置信带构造的经典方法

经典方法构造置信带的问题:

• Flip-Flopping: 置信带涵盖概率变化,低涵盖概率;• 置信区间空集

Page 20: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 20

实验数据处理方法

第六章参数估计(Parameter estimation)

6. 3 小信号测量的区间估计

1. 基本概念2. 置信带构造的经典方法3. Feldman & Cousins方法4. 最大似然估计量方法

Page 21: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 21

6.3.3 Feldman & Cousins方法

Page 22: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 22

6.3.3 Feldman & Cousins方法

Page 23: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 23

6.3.3 Feldman & Cousins方法

置信带构造方法:

1. 对于任一特定的x, 令best是的物理上允许的值,且使P(x|)达到最大

)}|({)|( xPMaxxP best =

2. 定义似然比:

)|(

)|(),(

bestxP

xPxR

=

设观测量x的概率密度函数:P(x|)

Page 24: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 24

6.3.3 Feldman & Cousins方法

置信带构造方法:

3. 对于任一特定的值,用下述方法求出x的置信水平为的接受区间:

分离变量的情况:x = n

① 计算R(n,), n = 0, 1, 2, … ;

② 按R从大到小的顺序决定每个n的秩(rank)r: R最大的n值→r = 1; R次大的n值→r = 2; ….

③ 按r从小到大的顺序对观测值n的概率P(n|)求和,直到满足:

r

rnP )|)((

④ [n1, n2]→满足上式的n(r)中的极小值和极大值

Page 25: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 25

6.3.3 Feldman & Cousins方法

置信带构造方法:

3. 对于任一特定的值,用下述方法求出x的置信水平为的接受区间:

连续变量的情况:

[x1, x2]

=

=

2

1

)|(

),(),( 21

x

xdxxP

xRxR

Measured value

Tru

e v

alu

e

Page 26: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

2019/6/10 6.3 小信号测量的区间估计 26

6.3.3 Feldman & Cousins方法

置信带构造方法:

3. 对于任一特定的值,用下述方法求出x的置信水平为的接受区间:

连续变量的情况:

[x1, x2]

=

=

2

1

)|(

),(),( 21

x

xdxxP

xRxR

Tru

e v

alu

e

Measured value

Page 27: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

F&C: Likelihood Ratio

6.3 小信号测量的区间估计 27

• Likelihood Ratio determines what x‘s are included into the confidence interval for a given

=5.0=0.5

=0.1

fixed

„best“, physically allowed

Page 28: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

F&C Confidence Intervals

6.3 小信号测量的区间估计 28

CL=90%

• Confidence interval is 0..UL, i.e. upper limit

• Measurement with asymmetric errors, e.g.

6.1

2.12+

• Measurement with symmetric errors, e.g. 6.0 1.6

Page 29: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

Poissonian Distribution

6.3 小信号测量的区间估计 29

• Poissonian process (true rate ) with background b

• Measurement is number of events n, predicted background b (here assumed to be known without error)

• n discrete → confidence level can only be reached approximately → slight (conventional) overcoverage

• Likelihood Ratio:

Page 30: 实验数据处理方法 - HEPGhepg.sdu.edu.cn/~zhangxy/Education/DataAnalysis/... · 实验数据处理方法 第六章参数估计 (Parameter estimation) 6. 3 小信号测量的区间估计

Poissonian Distribution (II)

6.3 小信号测量的区间估计 30

• Note: upper limit for n=0 is 1