笔趣阁

熵熵增逆熵（第1页）

熵（shang），

热力学中表征物质状态的参量之一，

用符号s表示，

其物理意义是体系混乱程度的度量！

熵，

最初是根据热力学第二定律引出的，

一个反映自过程不可逆性的物质状态参量。

热力学第二定律，

是根据大量观察结果总结出来的规律：

在孤立系统中，

体系与环境没有能量交换，

体系总是自地向混乱度增大的方向变化，

总使整个系统的熵值增大，

此即熵增原理。

摩擦使一部分机械能不可逆地转变为热，

使熵增加，

所以说整个宇宙可以看作一个孤立系统，

是朝着熵增加的方向演变的！

从一个自进行的过程来考察：

热量q由高温(t1）物体传至低温(t2）物体，

高温物体的熵减少ds1=dqt1，

低温物体的熵增加ds2=dqt2，

把两个物体合起来当成一个系统来看，

熵的变化是ds=ds2－ds1＞o，

即熵是增加的。

在信息论中，

熵（英语：entropy）是接收的每条消息中包含的信息的平均量，

又被称为信息熵、信源熵、平均自信息量。

这里，

“消息”

代表来自分布或数据流中的事件、样本或特征！

（熵最好理解为不确定性的量度

而不是确定性的量度，

因为越随机的信源的熵越大。）

来自信源的另一个特征是样本的概率分布。

这里的想法是，

比较不可能生的事情，

当它生了，会提供更多的信息！

由于一些其他的原因，

把信息（熵）定义为

概率分布的对数的相反数是有道理的。

事件的概率分布和每个事件的信息量

构成了一个随机变量，

这个随机变量的均值（即期望）

就是这个分布产生的信息量的平均值（即熵）。

熵的单位通常为比特，

但也用sh、nat、hart计量，