信息量的分析方法 : 度量信息多少的数据,叫信息量。申农在1948年的《通信的数学理论》中首先提出信息的度量问题,并运用概率论确定并证明了信息量的数学程式。如果某系统具有几种独立的可能状态(或结果):X1,X2,X3…Xn,每一状态出现的概率分别为P (X1),P (X2),…P (Xn),且所有概率之和等于1,那么,它的某个状态所具有的不定性数量为H (xi)=-logp (xi),i=1,2,…,n,而整个系统的各个状态所具有的平均不定性数量就是H (Xi)的数学期望,可记为H (X),
这正是统计热力学的熵函数,是一种不定性的度量。信息是一种被消除的不定性,因此可看作是“负熵”。式中当对数的底取2,且n=2,P (x1)=P (x2) =1/2时,H (X)=1,称为1比特。比特就是信息量的单位。可见任何一个事件,如果能够分解成n个可能的二中择一事件,它的信息量就是n个比特。实际上,全部狭义信息论就是建立在公式H (xi)和H (X)的基础上的。从公式可以看出,出现概率越小,信息量越大;出现概率越大,信息量越小。这和生活中事情越出人意料则信息量越大的感受是一致的。因此有人把信息称为“惊异测度”。信息量的度量可以用于提高通信效率。申农信息量公式只能适用于语法信息度量,不能解决语义信息的度量问题。关于广义信息度量以及信息度量一体化问题,目前都只处于摸索阶段。新闻学中,新闻信息量被理解为具有新鲜度(出现概率小)的事实的集合,新闻信息度量方法的研究还处于模糊定量阶段。- 欢迎来到文学网！