箱内有80个红球 20个白球
红p(X1)=0.8 白 p(x2)=0.2
I(x1)=logp(x1)=log0.8 I(x2)=logp(x2)=log0.2 N次后 : 红次数：n*p(x1) 白色次数：n*p(x2) 总的信息量：n*p(x1)*I(x1)+ n*p(x2)*I(x2) 平均信息量= (n*p(x1)*I(x1)+ n*p(x2)*I(x2))/n
= p(x1)*I(x1)+ p(x2)*I(x2)= p(x1)* logp(x1)+ p(x2)* logp(x2) =∑p(Xi)*logp(Xi)= H(x) i=1,2
H(x)=0.8*log0.8+0.2*log0.2 bit/s
平均信息量及其应用_专业资料。对Shannon信息量,本文提出了平均信息量的概念并推导了计算公式,讨论了平均信息量作为评价信源提供信息量多少的依据的有关应用。http...
平均互信息量的定义很显然,信源X的熵H(X)与条件熵H(X
(i=1,2,3?,n) 为什么要引入平均自信息量?自信息量仅仅用来对同一个信源的各个消息所提供的信息进行度量和比较, 而平 均自信息量则是对信源本身的信息给...
噪声熵:H(Y/X) 2013-12-20 2 2.5 平均交互信息量的特性 2.5.1 I(X,Y)的非负性 2.5.2 平均交互信息量的交互性 2.5.3 平均交互信息量的极值性 2.5.4...
第二章 信息量和熵 一、离散变量的非平均信息量 1、离散变量的非平均自信息量 集合{X;p(x)}中某个事件 x 的自信息量定义为: I(x)=log 1 =—log p(...
89 每个符号的算术平均信息量为 符号数 57 I ? I ? 108 ( 比特 / 符号) 第1章 绪论若用熵的概念来计算: H ? ? 3 8 log 3 2 ? 1 4 log 1 2...
第2章 信息量和熵 2.1 离散变量的信息量 2.2 离散信源的信息熵 2.4 离散信源的平均互信息 2.5 连续变量的互信息和熵 2.6 凸函数与互信息的凸性 Wuhan ...
平均互信息量的定义很显然,信源X的熵H(X)与条件熵H(X
源 2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量 ?...
