信息论

    信息论 : 研究信息的本质、计量、传输、变换、储存以及应用的科学理论。
1948年,美国学者克劳德·香农(Shannan,又译申农、仙农)在《贝尔系统电话杂志》上发表著名的长篇论文《通信的理论》,创立了作为现代通信工程科学理论基础的信息论。香农认为,“通信的基本问题是在通信的一端精确地或近似地复现另一端所挑选的讯息”。而要使信息在信道中被精确地传输,就必须对信道容量和通信内容(即讯息)进行计量。为此,香农把“信息”定义为“消除随机不定性的计量”,为方便起见,则可“将信息看作一种标准或数量单位”。这样,香农的“信息”概念在很大程度上便是“信息量”的概念,因而他在信息论中严格排除了信息的语义内容,只从概率论和数理统计方法从信息的语法形式上研究信息的计量问题。所以香农创立的信息论也叫概率信息论、语法信息论、技术信息论。
香农的“信息”概念后来被认为是狭义概念,他所创立的信息论也就被称为“狭义信息论”;相对于后继者的研究,香农对信息的研究则成为“经典”,其信息论也就被称为“经典信息论”。经典信息论的研究目的是处理信息的测量和传输问题,故而着眼于信息的语法层面(技术层面)。1949年,美国斯洛恩基金会的科学工程顾问沃伦·韦弗在与香农合著的《通信的数学理论》 (与香农论文同名)一书中指出,狭义信息论虽然主要研究信息的语法层面,但对于信息的语义层面、语用层面也是“有益的和有启示性的”。所以经典信息论在20世纪50、60年代被消化、理解的同时,也为许多学科广泛吸取,从而在70年代产生了广义信息论。
广义信息论被理解为利用狭义信息论观点来研究一切问题的理论,通常又被叫做“信息科学”。它是由系统论、信息论、控制论、计算机、仿生学、人工智能等理论相互渗透、相互结合而形成的一门研究信息的本质、规律与应用的“横向科学”,目前还处于发展的初级阶段。
广义信息论的“信息”概念在内涵上由语法信息层面扩展到语法信息、语义信息、语用信息三个层面,在范围上由概率性信息扩展到包含随机性(即概率性)、半随机性、确定性、模糊性等各种类型的信息,从而使“信息”成为一个与物质、能量并列的基本范畴。研究广义信息的广义信息论或信息科学的研究范围也就不再局限于信息的测量和传输,而是全面地研究信息的本质、识别、检测、提取、变换、传递、存贮、检索、处理、再生、转化和利用,从而为人们认识世界和改造世界,为人类体力劳动和智力劳动的解放提供了有效的理论、方法和工具。