是信息论中信息量的统计表述。香农（Shannon）定义信息量为：`I=-Ksum_ip_ilnp_i`，表示信息所消除的不确定性（系统有序程度）的量度，K为待定常数，pi为事件出现的概率，$sump_i=1$。对于N个等概率事件，pi=1/N，系统的信息量为I=-Klnpi=KlnN。平衡态时系统热力学函数熵的最大值为$S=-ksum_iW_ilnW_i=kln\Omega$，k为玻尔兹曼常数，Wi=1/Ω为系统各状态的概率，$sum_iW_i=1$，Ω为系统状态数，熵是无序程度的量度。信息量I与熵S具有相同的统计意义。设K为玻尔兹曼常数k，则信息量I可称信息熵，为$H=-ksum_ip_ilnp_i$，信息给系统带来负熵。如取K=1，对数底取2，熵的单位为比特（bit）；取底为e，则称尼特。信息熵是生命系统（作为非平衡系统）在形成有序结构——耗散结构时，所接受的负熵的一部分。