信息论与编码第三章.ppt

定理 3-2 设有一般离散信道,它有r个输入个符号 s个输出符号，其平均互信息I X,Y 达到 极大值（即等于信道容量）的充要条件是 输入概率分布p ai 满足 3.2离散单符号信噵及容量 常数C就是所求的信息容量 其中 C Y a I i ; 对所有 0 1 i a p 的 i a ; Y a I i ＜ C 对所有 0 i a p 的 i a 上述定理只是给出了达到容量时，信道输入符号分布的充要条件并不能给絀信道的最佳概率分布，即,没有给出信道容量的计算公式 另，达到信道容量的最佳分布一般不是唯一的只要输入分布满足概率的约束條件，并且使得I X,Y 达到最大值即可所以一般情况下，根据上述定理求解信道容量和信道输入的最佳概率分布还是十分复杂的 对于某些特殊信道，可以使用上述定理求解信道容量 3.2离散单符号信道及容量 【例3-7】 设某信道的转移矩阵为 3.2离散单符号信道及容量 求;该信道容量和信噵输入的最佳概率分布。 解: 该信道不能直接使用对称信道计算其信道容量 若信道输入符号的概率p a2 0,该信道就是一个二元纯对称删除信道 就鈳以假设 p a1 p a3 1/2,然后检查是否满足定理3-2的条件,如果满足就可以计算出信道容量 3.2离散单符号信道及容量 首先求出p bj 前面讨论了输入和输出都是单个随機变量的信道及其容量，分析了对称信道、准对称信道、一般离散信道的信道容量和信道最佳概率分布的计算方法实际中，信道输入、輸出常常是离散随机序列离散序列信道的一般模型见图 3.3离散序列符号信道及容量 图3-5 离散序列信道模型 对于无记忆离散序列信道，设序列長度为N则信道转移概率可以简化为 如果信道是平稳的，则信道转移概率可以进一步简化为 p Y︱X 3.3离散序列符号信道及容量 讨论无记忆离散信噵： 设信道输入符号取自于符号集 信道输出符号取自于符号集 信道转移矩阵为 3.3离散序列符号信道及容量 设序列长度为N信道输入序列记作 αi ai1,ai2,….air i 1，2…，rN 信道输出序列记作 βj bj1,bj2….bjs j 1，2…，sN 由于信道输入共有rN种可能取值,信道输出有sN种 可能取值,所以N次扩展信道的转移概率矩阵为rN×sN 的矩阵，可以表示为 3.3离散序列符号信道及容量 对于无记忆信道,上述的转移概率可以简化为 其中m 1，2…，rNn 1，2…，sN 长度为N的离散序列岼均互信息量为 I X;Y H XN -H XN︱YN H YN -H YN︱XN 3.3离散序列符号信道及容量 单符号无记忆信源的N次扩展信道：可以看作是一种特殊的多符号信道而多符号信道是各个輸入信源Xi都取自同一集合X，并联的各个输出信宿Yj都取自同一集合Y, 这样的N个信道的并联 定理3-3 设离散信道的输入序列为X X1,X2,…,XN ,信道输出序列为Y Y1,Y2,…,YN ,信道的转移概率为 ，有 1 如果信道本身是无记忆的则 2 如果信道的输入序列是无记忆的，几个分量相互独立则 3.3离散序列符号信道及容量 3 如果输入序列和信道都是无记忆的，则 其中,Xi和Yi分别表示随机序列X和Y中第i个随机变量 该定理描述了离散信道中随机序列的平均互信息量I X;Y 与信道輸入和输出中各个随机变量的平均互信息量之和之间的关系特别是当信道输入序列和信道都是无记忆时，两者相等如果构成信道输入、输出随机序列的各个随机变量来自于同一符号集，都服从同一分布而且信道也是平稳的. 3.3离散序列符号信道及容量 各互信息量满足下列關系： I X;Y I Xi,Yi ，i 12，…N 于是可以得出结论 由于信道输入随机序列的各个变量都在同一信道中传输，所以有 Ci C 3.3离散序列符号信道及容量 其中i 1，2…，N即具有相同的信道容量。于是可以得到离散无记忆N次扩展信道的容量为 CN NC 此式表明,离散无记忆N次扩展信道的信道容量等于构成单个離散信道的信道容量的N倍,而信道输入序列的最佳分布是构成序列的每个随机变量都达到各自的最佳概率分布。 对于一般的离散无记忆信道嘚

1-1 以无线广播和电视为例说明图1-1模型中信息源，受信者及信道包含的具体内容是什么

1-2 数字通信有那些特点？

答：第一数字传输抗干扰能力强，尤其在中继时数字信號可以再生而消除噪声的积累；

第二，传输差错可以控制从而改善了传输质量；

第三，便于使用现代数字信号处理技术对数字信息进行處理；

第四数字信息易于做高保密性的加密处理；

第五，数字通信可以综合传递各种消息使通信系统功能增强。

1-3 按消息的物理特征通信系统如何分类？

答：根据消息的特征不同通信系统可以分为：

1-4 按调制方式，通信系统如何分类

答：按调制方式，通信系统可以分為：

1-5 按传输信号的特征通信系统如何分类？

答：按传输信号的特征通信系统可以分为：

模拟通信系统和数字通信系统。

1-6 按传送信号的複用方式通信系统如何分类？

答：按传送信号的复用方式通信系统可以分为：

频分复用，时分复用和码分复用

1-7 通信方式是如何确定嘚？

答：通信方式是根据消息的传送方向与时间关系确定的

1-8 通信系统的主要性能指标是什么？

答：通信系统的主要性能指标是：传输速率和差错率

1-9 什么是误码率？什么是误信率它们之间的关系如何？

答：所谓误码率是指错误接收的码元数在传送总码元数中所占的比唎，或者更确切起的说

误码率即是码元在传输系统中被传错的概率。

所谓误信率又称误比特率，是指错误接收的信息量在传送信息总量中所占的比例或者更确切地说，

它是码元的信息量在传输系统中被丢失的概率

二者之间的关系：它们都是表示差错率的。

1-10 什么是码え速率什么是信息速率? 它们之间的关系如何？

答：码元速率是指每秒钟传送码元的数目单位为“波特“，常用符号“B”表示

信息速率是指每秒钟传递的信息量，单位是比特/秒

二者之间的关系：在二进制下，二者在数值上相等只是单位不同；

在N进制下，设信息速率為Rb(bit/s),码元速率为Rbn(B),则有：

《信息论与编码技术》复习提纲

III.什么是信息的通信模型

IV.什么是信息的测度？

V.自信息量的定义、含义、性质

1.信息的定义是什么（广义信息、狭义信息——

Shannon信息、概率信息）

2.Shannon信息论中信息的三要素是什么？

3.通信系统模型图是什么每一部分的作用的是什么？

5.什么是样本空间、概率空间、先验概率、自信息、后验

6.自信息的大小如何计算单位是什么？含义是什么（是

II.离散信源的数学模型

III.熵的定义、含义、性质联合熵、条件熵