信息论Matlab仿真——信息量的计算

《信息论与编码》第二章——信息量的计算

%@author Zhang
%@copyright Zhang
%@release 2021.06.16

%已知X和Y相互独立
PX = [0.1,0.2,0.3,0.4];
PY = [0.4,0.3,0.2,0.1];
n = size(PX,2);
m = size(PY,2);
%求X,Y自信息量
% IX_bit = -log2(PX);
% IX_Hart = -log10(PX);
% IX_Nat = -log(PX);
% IY_bit = -log2(PY);
% IY_Hart = -log10(PY);
% IY_Nat = -log(PY);
% %求X和Y的联合自信息量
%Pxy = PX' * PY;
% Ixy_bit = -log2(Pxy);
% Ixy_Hart = -log10(Pxy);
% Ixy_Nat = -log(Pxy);
%求在Y发生的条件下X发生的自信息量
%PXy = Pxy ./ repmat(PY,n,1);
% IXy_bit = -log2(PXy);
% IXy_Hart = -log10(PXy);
% IXy_Nat = -log(PXy);
%若X表示信源发出的消息，Y表示信宿收到的消息
%求Y是X不确定度的减少量（Y对X的互信息量）
%PXy表示后验概率，PX表示先验概率
% P = PXy ./ repmat(PX',1,m);
% IXY_bit = log2(P);
% IXY_Hart = log10(P);
% IXY_Nat = log(P);