Upload
leoma
View
155
Download
6
Embed Size (px)
DESCRIPTION
第五章 信道编码定理. 信道编码定理. 1. 离散信道编码问题 2. 信道译码 3.Fano 不等式和信道编码逆定理 4. 联合典型序列及信道编码定理. 1. 离散信道编码问题. 纠错编码器. 将输入的信息数字序列变成另外一个数字序列,人为地按照一定的规律增加多余度,以便纠正传输过程中出现的错误,以尽可能小的错误概率恢复原来的信源数字序列 有限状态开关网络: 信息数字: k 0 位,每位持续时间, t s =1/ R s 码字输出序列: n 0 位,每位持续时间, t c n 0 t c =k 0 t s. 纠错编码器. - PowerPoint PPT Presentation
Citation preview
第五章 信道编码定理
信道编码定理 1.离散信道编码问题 2.信道译码 3.Fano不等式和信道编码逆定理 4.联合典型序列及信道编码定理
1.离散信道编码问题
纠错编码器 将输入的信息数字序列变成另外一个数字序列,
人为地按照一定的规律增加多余度,以便纠正传输过程中出现的错误,以尽可能小的错误概率恢复原来的信源数字序列
有限状态开关网络:信息数字: k0位,每位持续时间, s=1/Rs
码字输出序列: n0位,每位持续时间, c
n0c=k0s
纠错编码器 送给纠错编码器的消息是经过最佳信源编码后,信息
速率为比特 /秒的离散二元或 q 元数字序列。 分组码 每 K 个信息数字为一组,计算出 N个编码数字,称这
些数字为一个码字。通常 N为整数。 卷积码
输出的 n0长码段不仅依赖于当前的 k0位信息数字,还依赖于前 m 个信息段的信息数字,即总共与( m+ 1) k0个信息数字有关。
几个概念 码率 R = K/N
误组率
误比特率
L
lelb
mm
pL
p
xxp
1
'
1
)(
2.信道译码问题
译码错误概率
)|'(1)|'()( ymmpymmPyp NNe
-误组率
译码准则最小错误概率译码:是 pe(y) 最小最大后验概率译码:
选 m,使得 pr(m|y) 最大
)|()|'( ympymp rr
最大似然译码
1
( ) ( | )( | )
( )
( ) ( ) ( | )
( | ') ( | )
M
mm
Q m p mp m
Q m p
p m p m
yy
y
y y x
y y
所有 Q(m)相同
译码原则:
最大对数似然译码
)|(ln)'|(ln mypmyp
最小汉明距离译码 汉明距离 d(x, y), x, y中分量不同的数目 码字先验等概 K元对称信道
)1/()|(
1)|(
Kpijp
piip
最小汉明距离译码
]/)1)(1ln[(),()1ln(
)1ln()),((1
ln),(
)|(ln)|(ln1
pKpxydpN
pxydNK
pxyd
xypxyp
m
mm
N
nmiim
判决区域 Ym: lnp(y|xm) > lnp(y|xm’) 给定 m, 错误概率
M
meme
Yymem
pmQp
xyppCm
1
)(
)|(
高斯信道
N
nnmnmn
N
n
N
nmnnm
N
n
mnnm
yxxxyxy
xyxyp
1
2
11
2
12
2
2min)(min)|ln(max
}2
)(exp{
2
1)|(max
若发送信号能量相等 ,最大相关译码
Fano不等式和信道编码逆定理
Fano 不等式和编码逆定理 信源序列: u=(u1,u2,…,uL) ∈UL 码序列(信道输入): x=(x1,x2,…,xN)
接收序列(信道输出): y=(y1,y2,…,yN)
译码器输出: v=(v1,v2,…,vL)
Fano 不等式主要说明 Pb, HL(U), 和 I(UL;VL) 之间的关系
Fano 不等式
CL
NUH
YXIL
UH
VUIUHL
VUHL
pHMp
VUHpHMp
L
NNL
LLL
LLbb
bb
)(
);(1
)(
)];()([1
)|(1
)()1log(
)|()()1log(
Fano 不等式
做了一次译码判决后所保留的关于信源的不确定性可分为 2个部分:第一,判决的结果是对的还是错的,其不确定性: H(Pb);第二,若判决是错的,为确定到底是其余 M -1种可能事件中哪一个,所需信息量不超过 log(M -1)
Pb
HUVlogM
Log(M-1)
信道编码逆定理 离散平稳源有 M 个字母,熵为 HL(U)(limL->∞),
信道容量为 C, 当 HL(U)>(N/L)C时 , 误码率为非零值。
联合典型序列及信道编码定理
联合典型序列x 是典典典典
y 是典典典典
xy 是典典典典
典典典典 x 典 y 典典典典典典典
1| log ( ) ( ) |
1| log ( ) ( ) |
1| log ( ) ( ) |
p H XN
p H YN
p H XYN
x
y
xy
联合典型序列
[ ( | ) 2 ]|
[ ( ; ) 3 ] [ ( ; ) 3 ]
( , ) ( , )
| ( , ) | 2
(1 )2 ( ) ( ) 2
[ ( , )] 1XY
N H X YX Y
N I X Y N I X Y
T N
r XY
T N
p p
P T N
x y
x y
x y
信道编码定理 Shannon 信道编码定理:给定容量为 C的离散
无记忆信道 {X,P(x|y),Y}, 若编码速率 R<C, 则 R是可达的
可达:对给定离散无记忆信道和任意 e>0, 若有一种编码速率为 R 的码,在 N 足够大时,能使 Pe<e ,就称 R 是可达的。
思路:编码规则采用随机编码;译码规则是联合典型序列译码