熵:表示某些物质系统状态的一种量度,或说明其可能出现的程度,是对随机程度的度量,表示不确定性或混乱状态。熵在热力学、化学、治金学等学科中都有广泛的应用。在信息论中,熵表示一个基本量。“信息”这个术语近似于物理学中的“熵”。信息量的公式和统计物理学中熵的公式极其近似,只是正负符号不同而已。在信息论中,抉择所要传递的信息时,信息量是对选择自由度的度量,熵与人们在组织讯息时的自由选择度相联系。熵是描写不肯定性大小的量,熵愈大不肯定性愈大。系统信息量的增加表示不确定性的减少,减少多少不确定性就表示消除多少确定性的程度,因此,可以把信息看作是负熵,信息量越大,负熵就越大,熵值就越小。
- 欢迎来到文学网!