第三章 无失真信源 笔记

(123) 2024-03-09 09:01:02

3.1信源分类及其数学模型

数学上,信源是产生随机变量 X X X,随机矢量X和随机过程X(t)的源。
信源是发出消息(序列)的设备
第三章 无失真信源 笔记 (https://mushiming.com/)  第1张
第三章 无失真信源 笔记 (https://mushiming.com/)  第2张
第三章 无失真信源 笔记 (https://mushiming.com/)  第3张第三章 无失真信源 笔记 (https://mushiming.com/)  第4张
第三章 无失真信源 笔记 (https://mushiming.com/)  第5张

离散单符号信源

第三章 无失真信源 笔记 (https://mushiming.com/)  第6张
第三章 无失真信源 笔记 (https://mushiming.com/)  第7张

第三章 无失真信源 笔记 (https://mushiming.com/)  第8张第三章 无失真信源 笔记 (https://mushiming.com/)  第9张

离散多符号信源

第三章 无失真信源 笔记 (https://mushiming.com/)  第10张
第三章 无失真信源 笔记 (https://mushiming.com/)  第11张

当离散多符号信源为无记忆信源时:

第三章 无失真信源 笔记 (https://mushiming.com/)  第12张

离散无记忆信源的N次扩展信源

第三章 无失真信源 笔记 (https://mushiming.com/)  第13张

第三章 无失真信源 笔记 (https://mushiming.com/)  第14张

离散平稳信源

第三章 无失真信源 笔记 (https://mushiming.com/)  第15张

离散平稳有记忆信源

第三章 无失真信源 笔记 (https://mushiming.com/)  第16张
第三章 无失真信源 笔记 (https://mushiming.com/)  第17张

马尔科夫信源——不是离散平稳信源

当记忆长度为m+1时,称这种有记忆信源为m阶马尔可夫信源。也就是信源每次发出的符号只与前m个符号有关,与更前面的符号无关

模拟信源

第三章 无失真信源 笔记 (https://mushiming.com/)  第18张
由于模拟信源的情况比较复杂,限于学时,我们重点只对单变量连续信源进行讨论
在数字通信系统工程实践中,波形信源常常被转化成连续信源或离散信源——这个转化过程本质上就是一个限失真的过程,但在本章,我们将离散化后的信源看成一个新的无失真信源讨论。

单变量(符号)连续信源

信源虽输出是单个符号(代码)的消息,但其可能出现的消息数是不可数的无限值,即输出消息的符号集A的取值是连续的,或取值是实数集(-∞,∞)。这种信源称为连续心愿,其数学模型是连续型的概率空间,可用一维的连续型随机变量X来表示这类消息
第三章 无失真信源 笔记 (https://mushiming.com/)  第19张

矢量(多符号)连续心愿

波形信源

信源输出的消息时间和取值都是连续的,这种信源输出的消息可用随机过程来描述,称这类信源为随机波形信源
第三章 无失真信源 笔记 (https://mushiming.com/)  第20张
如果随机过程是平稳的随机过程,时间离散化后可转换成平稳的随机序列。若再对每个取样值(连续型的)经过分层(量化),就可将连续的取值转换成有限的或可数的离散值。

第三章 无失真信源 笔记 (https://mushiming.com/)  第21张

第三章 无失真信源 笔记 (https://mushiming.com/)  第22张

3.2信源输出信息量的测度

离散信源输出的信息量的度量:数值上:等于信源的熵
各类离散信源的熵的度量:单符号信源:H(x)
离散无记忆信源X的N次扩展信源的熵=离散信源X的熵的N倍

第三章 无失真信源 笔记 (https://mushiming.com/)  第23张
第三章 无失真信源 笔记 (https://mushiming.com/)  第24张

离散平稳有记忆信源的熵

第三章 无失真信源 笔记 (https://mushiming.com/)  第25张
多符号离散平稳有记忆信源X的熵H(X)是X中起始时刻随机变量 X 1 X_1 X1的熵与各阶条件熵之和.由于信源是平稳的,这个和值与起始时刻无关

离散平稳有记忆信源的条件熵,平均符号熵,熵率(极限熵)

第三章 无失真信源 笔记 (https://mushiming.com/)  第26张
第三章 无失真信源 笔记 (https://mushiming.com/)  第27张
符号间的相关性使得有记忆信源的每个符号平均携带的信息量减少
第三章 无失真信源 笔记 (https://mushiming.com/)  第28张
第三章 无失真信源 笔记 (https://mushiming.com/)  第29张
第三章 无失真信源 笔记 (https://mushiming.com/)  第30张

第三章 无失真信源 笔记 (https://mushiming.com/)  第31张

3.3信源输出信号携带信息的效率

第三章 无失真信源 笔记 (https://mushiming.com/)  第32张
有效程度的度量

  • 冗余度(二者之差)
  • 相对冗余度(二者的相对差)
  • 信源效率(二者之比)

第三章 无失真信源 笔记 (https://mushiming.com/)  第33张
第三章 无失真信源 笔记 (https://mushiming.com/)  第34张
第三章 无失真信源 笔记 (https://mushiming.com/)  第35张

第三章 无失真信源 笔记 (https://mushiming.com/)  第36张
从提高信息传输及存储效率的角度:希望冗余度越小越好> 信源编码通过减少冗余度提高传输与存储效率
从提高抗干扰能力的角度:希望增加或保留部分冗余度>信道编码通过增加冗余度提高抗干扰能力

3.4信源编码概述

第三章 无失真信源 笔记 (https://mushiming.com/)  第37张
第三章 无失真信源 笔记 (https://mushiming.com/)  第38张
编码目的

  • 实现系统优化:有效性,可靠性,安全性
  • 实现信源特性(信源表达的有效性和可靠性),信道特性(传输的有效性和可靠性)与整个系统的最佳匹配

信源编码:解决信源特性匹配(最佳表达)问题。前提:信道特性匹配的问题已解决
信道编码:解决信道特性匹配。前提:信源匹配问题已解决

信源编码
含义:实现信源特性与通信系统间的统计匹配的编码
对象:实际信源输出
目的:在无失真与限失真前提下更加有效的传输,存储信息,提高通信系统有效性
分类:无失真信源编码(冗余度压缩),限失真信源编码(熵压缩)

冗余度压缩编码,是可逆压缩,经编译码后可以无失真恢复
熵压缩编码,是不可逆压缩.译码时能按一定的失真容许度恢复,保留尽可能多的信息技术

3.5无失真信源编码定理

第三章 无失真信源 笔记 (https://mushiming.com/)  第39张
第三章 无失真信源 笔记 (https://mushiming.com/)  第40张
log n:等概率条件下的信息符号熵
log m:等概率条件下的码字符号熵
第三章 无失真信源 笔记 (https://mushiming.com/)  第41张

定长(等长)码信源编码定理

第三章 无失真信源 笔记 (https://mushiming.com/)  第42张

第三章 无失真信源 笔记 (https://mushiming.com/)  第43张
第三章 无失真信源 笔记 (https://mushiming.com/)  第44张
第三章 无失真信源 笔记 (https://mushiming.com/)  第45张

AEP定理

第三章 无失真信源 笔记 (https://mushiming.com/)  第46张
第三章 无失真信源 笔记 (https://mushiming.com/)  第47张
第三章 无失真信源 笔记 (https://mushiming.com/)  第48张
第三章 无失真信源 笔记 (https://mushiming.com/)  第49张

第三章 无失真信源 笔记 (https://mushiming.com/)  第50张

变长编码

前缀码

第三章 无失真信源 笔记 (https://mushiming.com/)  第51张
第三章 无失真信源 笔记 (https://mushiming.com/)  第52张
第三章 无失真信源 笔记 (https://mushiming.com/)  第53张
任何唯一可译码均满足Kraft不等式
唯一可译码一定满足Kraft不等式
满足Kraft不等式的码不一定是唯一可译码,但一定存在至少一种唯一可译码
对任何唯一可译码均可在不改变码字长度的条件下得到相应的前缀码

码的平均长度
第三章 无失真信源 笔记 (https://mushiming.com/)  第54张

第三章 无失真信源 笔记 (https://mushiming.com/)  第55张
第三章 无失真信源 笔记 (https://mushiming.com/)  第56张

第三章 无失真信源 笔记 (https://mushiming.com/)  第57张
第三章 无失真信源 笔记 (https://mushiming.com/)  第58张

第三章 无失真信源 笔记 (https://mushiming.com/)  第59张
第三章 无失真信源 笔记 (https://mushiming.com/)  第60张

3.6无失真信源编码实例

霍夫曼编码——针对无记忆信源

一种基于统计模型的压缩技术的代表
第三章 无失真信源 笔记 (https://mushiming.com/)  第61张
第三章 无失真信源 笔记 (https://mushiming.com/)  第62张
第三章 无失真信源 笔记 (https://mushiming.com/)  第63张
第三章 无失真信源 笔记 (https://mushiming.com/)  第64张

游程编码

游程:数字序列中连续出现相同符号的一段
第三章 无失真信源 笔记 (https://mushiming.com/)  第65张
游程变换减弱了原序列符号间的相关性
游程编码将二元序列变幻成了多元序列,这样就适用于其他方法,如霍夫曼编码,进一步压缩信源,提高通信效率
游程编码对多元序列意义不大

THE END

发表回复