信息论与编码试卷09-10-1-B-答案
信息论与编码试卷
二、 (12分)4个等概率分布的消息 M1、M2、M3和 M4被送
X 0 0.2 0.2 0
0.8
Y 1
杭州电子科技大学学生考试卷 (B)卷 考试课程课程号学生姓名 信息论与编码
入如右图所示的二元无记忆对称信道进行传送,通过编码使 M1=00、M2=01、M3=10和 M4=11。试问,输入是 M4和输出符号是 1的互信息是多少?如果知道第 2个符号也是 1,这时带来多少附加信息量?解:根据题意知 P(M1)= P(M2)= P(M3)= P(M4)=1/4而 P(1/ M4)=P(1/1)=0.8所以,输入是 M4和第一个输出符号是 1的联合概率 P(M4, 1)= P(M4)* P(1/ M4)=0.25*0.8=0.2根据信道特性,输出第 1个符号为 1的概率 P(1)= P(M i ) P(1/ M i )=0.5 i 1 4
考试日期任课教师学号(8位)
成绩教师号班级
0.8
1
一、判断题(每题 2分,共 30分)。 1.在现代通信系统中,信源编码主要用于解决信息传输中的可靠性问题,信道编码主要用于解决信息传输中的有效性问题。 (× ) 2.有记忆信源输出符号之间是统计相关的。 (√ ) 3.根据信息不增性原理,信息传输系统中接收端收到的信息量小于发送端发出的信息量。 (× ) 4.在平均功率受限情况下,非高斯噪声信道的容量要大于高斯噪声信道的容量。 (√ ) 5.条件熵不大于无条件熵。 (√ ) 6.离散信源的序列熵等于各个符号熵之和。 (× ) 7.对于两个符号组成的联合信源,联合熵 H ( X1, X 2 ) H ( X1 ) H ( X1/ X 2 )。 (× ) 8.准对称 DMC信道输出符号等概时,该信道达到信道容量。 (× ) 9.根据香农容量公式,增大带宽或增加信噪比可以提高信道容量。 (√ ) 10.某信道输入端的熵为 H ( X ),输出端的熵为 H (Y ),该信道为无噪有损信道,其容量为 H ( X )。 (× ) 11.在限失真信源编码中,容许的失真度 D越大,所要求的信息率 R就越小。 (√ ) 12.在对离散信源进行无失真分组编码中,当信源的每个符号在码表中只有 1个码字对应时,在解码端就能实现唯一译码。 (× ) 13.克拉夫特不等式可以判别唯一可译码的存在性,也可以用克拉夫特不等式来判别某码组是否为唯一可译码。 (× ) 14.接收端收到一个非即时码后就能够进行译码。 (× ) 15.差错控制的基本方式大致可以分为前向纠错、反馈重发和混合纠错。 (√ )
因此有输入是 M4和输出符号是 1的互信息是 I(M4; 1)= lb P(M 4,1) 0.2 lb 0.68 (bit) P(M 4) P(1) 0.25 * 0.5
同理可得 I(M4; 11)=1.36(bit)故当已知第一个符号为 1,第二个符号也为 1所带来的关于的附加信息为 I(M4; 1/1)= I(M4; 11)- I(M4; 1)=0.68(bit)
第1页共3页