信息熵、玻尔兹曼熵和克劳修斯熵的关系

信息熵、玻尔兹曼熵和克劳修斯熵的关系

现在，虽然信息熵、薄面函数和克劳修斯熵之间的关系尚是明确的，但缺乏严格的论证。特别是薄面函数和克劳修斯熵之间的关系。作者认为，薄面函数和克劳修斯熵是等效的。本文否认了这一等价关系。13个熵及其含义1.1力学第二定律的提出1854年克劳修斯(Clausius)发表了《力学的热理论的第二定律的另一种形式》的论文,给出了可逆循环过程中热力学第二定律的数学表示形式:∮dQT=0∮dQΤ=0,而引入了一个新的后来定名为熵的态参量.1865年他发表了《力学的热理论的主要方程之便于应用的形式》的论文,把这一新的态参量正式定名为熵.并将上述积分推广到更一般的循环过程,得出了热力学第二定律的数学表示形式:∮dQT≤0∮dQΤ≤0,等号对应于可逆过程,不等号对应于不可逆过程.由此熵S的定义为或Sa−Sb≥∫badQT(2)Sa-Sb≥∫abdQΤ(2)式(2)中的a、b表示始末两个状态,Sa、Sb为始末两个状态的熵,dQ为系统吸收的热量,T为热源的温度,可逆过程中T也是系统的温度.当系统经历绝热过程或系统是孤立的时候,dQ=0,此时有即有熵增原理:孤立系统或绝热过程熵总是增加的.由此定义的熵称克劳修斯熵,或热力学熵.熵是一个态函数,是热力学宏观量.对绝热过程和孤立系统中所发生的过程,由熵函数的数值可判定过程进行的方向和限度.1.2玻尔兹曼-普朗克1896年玻尔兹曼(Boltzmann)建立了熵S和系统宏观态所对应的可能的微观态数目W(即热力学概率)的联系:S∝lnW.1900年普朗克(Planck)引进了比例系数k——称为玻尔兹曼常量,写出了玻尔兹曼-普朗克公式:式(5)所定义的熵称为玻尔兹曼熵,或统计熵.由此玻尔兹曼表明了熵S是同热力学概率W相联系的,揭示了宏观态与微观态之间的联系,指出了热力学第二定律的统计本质:熵增加原理所表示的孤立系统中热力学过程的方向性,正相应于系统从热力学概率小的状态向热力学概率大的状态过渡,平衡态热力学概率最大,对应于S取极大值的状态;熵自发地减小的过程不是绝对不可能的,不过概率非常小而已.1.3最大信息熵原理1948年仙农(Shannon)发表了《通信的数学理论》,使用概率方法,奠定了现代信息论的基础.仙农引入了信源的信息熵:它代表了信源输出后每个消息所提供的平均信息量,或信源输出前的平均不确定度.ai为信源可能取的消息(符号),P(ai)为选择信源符号ai作为消息的先验概率.1957年詹尼斯(Jaynes)将信息熵引入统计力学,并提出了最大信息熵原理.詹尼斯的信息熵定义为式(6)的定义只比仙农熵的原定义式差一比例系数.当研究的系统为热力学系统时,式(6)中的Pi为系统的第i个微观态出现的概率;而一般情况Pi为信息源的第i个信息基元出现的概率.这样定义的信息熵表示的是系统(信息源或热力学系统——也是信息源)的不确定性.信息熵也称为广义熵.2信息熵玻尔兹曼熵克劳修斯熵三种熵按定义出现的先后,虽然克劳修斯熵在前,玻尔兹曼熵次之,信息熵最后,但从所包含的内容来看却相反.用数学语言可表示为:信息熵⊃玻尔兹曼熵⊃克劳修斯熵,即S信⊃S玻⊃S克.下面详细阐述.2.1建立规则w由式(6),并注意到孤立系统平衡态的等概率假设,即平衡态的每一个微观态的概率为Pi=1/W,这里的W为孤立系统的总的微观态数.得式(7)的右端正是玻尔兹曼熵.当然式(7)也可反过来看,即可由式(5)推出式(6),只是逻辑关系差点.需要注意的是:一定的孤立系统,粒子数N、能量E、体积V不变;而不同状态的孤立系统,N、E、V是不同的.所以总的微观状态数W是N、E、V的函数.2.2主要的推导系统文献由玻尔兹曼关系对单原子理想气体推出了克劳修斯熵的表达式.事实上,若由文献、中玻氏关系计算出的孤立系统单原子理想气体和满足关系ε=cp的经典理想气体的熵为对式(8)、(9)微分,并令dN=0,得:并注意到pV=NkT,E分别为3NkT/2和3NkT.两式共同有而由可逆过程热力学第一定律式(14)正是克劳修斯熵的表达式.即克劳修斯熵可由玻尔兹曼熵推出.上面的推导显然要比文献的推导简单得多.但是上述所有推导(包括文献)的不足之处是:都是由理想气体推出的.如下本文不涉及具体系统,由玻尔兹曼熵推出克劳修斯熵.任一以V为唯一外参量的孤立系统的熵由式(5)表示.对式(5)微分,得又令α=∂lnW∂N‚β=∂lnW∂E‚κ=∂lnW∂V(17)α=∂lnW∂Ν‚β=∂lnW∂E‚κ=∂lnW∂V(17)则有dS=k(αdN+βdE+κdV)(18)当粒子数不变时,dN=0.为讨论β、κ的意义,考虑由同种组元、两个子系统1、2构成的孤立系统.由熵增原理很容易证明:热平衡条件、(在热平衡的基础上)力学平衡条件分别为注意到热平衡定律及热流是从高温物体流向低温物体的,故可取即β=1/kT,β是统计力学温度.有时也将式(21)作为热力学绝对温度的定义.在统计力学中,任何涉及到温度的地方,都是β.文献及上述用理想气体的推导,所用的麦克斯韦速度分布、粒子能量平均值的得出,事实上都用到了统计温度β=1/kT.又因为力学平衡是在达到热平衡的基础上的平衡,可取[或注意到式(29),由式(28)]κ=p/kT,p为压强.这样式(18)变为即由玻尔兹曼熵推导出了克劳修斯熵的表达式.而式(22)的得出,并没用到任何具体系统.2.3配分函数为条件下的正则配分函数为则式对式(6)的信息熵表达式及如下的约束条件:由拉格朗日条件极值及最大信息熵原理,可得正则分布函数其中正则配分函数为则式(26)的得出用了由式(19)及式(26)得:由式(28)也可说明κ=p/kT.将式(28)代入式(26)得式(22).这正是克劳修斯熵的表达式.2.4玻尔兹曼熵克劳修斯熵.非平衡态.特性.一个是玻尔兹曼熵非平衡区域的划分.文献提出玻尔兹曼熵与克劳修斯熵是等价的,因为文献由玻尔兹曼关系对单原子理想气体导出了克劳修斯熵的表达式,但并没有由克劳修斯熵导出玻尔兹曼关系.“等价”是一数学名词,意为两者之间互为充分必要条件,即可互相推导.因此文献中提到的“等价”不是数学意义上的等价,而指的是两种熵是同一个物理量.注意到克劳修斯熵是宏观物理量,是唯象的热力学理论中的态函数,而玻尔兹曼熵是统计熵,是与微观状态数直接相联系的,所以是微观熵.因此不可能从宏观的热力学熵推导出微观的玻尔兹曼熵.还应注意到玻尔兹曼关系,虽然是在“孤立”的条件下得出来的,但任何系统(正则系统或巨正则系统等)的平衡态,微观状态数都占绝对压倒的优势,平均分布等于最概然分布.则对于平衡态,微观状态数有即玻尔兹曼关系式适用于任何系统的平衡态.上面已由玻尔兹曼熵推出了克劳修斯熵,说明满足玻氏关系的玻尔兹曼熵S玻必满足克劳修斯熵S克的表达式,即但注意到上述推导过程中用了平衡条件,即只是在平衡态时有式(30a),所以式(30a)的准确表达式应为而克劳修斯表达式表示了所有平衡态的克劳修斯熵,则任给一个平衡态的克劳修斯熵,必能从玻尔兹曼熵推导出来,即这一克劳修斯熵也属于玻尔兹曼熵.所以又有再考虑到玻尔兹曼熵、克劳修斯熵都可向非平衡态延拓.在局域平衡假设下,克劳修斯熵可表示为各局域熵之和:又可容易地证明玻尔兹曼熵具有可加性,即因此在满足局域平衡的非远离平衡态的非平衡区域仍有再注意到玻氏关系对任何非平衡态都成立,即玻尔兹曼熵可以延拓到任何非平衡区域.而在不满足局域平衡的远离平衡态的非平衡区域,没有式(32),即克劳修斯熵不能延拓到远离平衡态的非平衡区域.不仅如此,玻氏关系中的热力学概率还可以延拓到非热力学系统,而克劳修斯表达式只能是热力学系统.所以玻尔兹曼熵要比克劳修斯熵包含的内容要广.综上所述,有2.5信息熵与玻尔兹曼熵、克劳修斯熵由信息熵的表达式(6)及詹尼斯的最大信息熵原理,用到热力学系统的平衡态,求信息熵的条件极值,可得平衡态的7种分布函数及相应的熵.当然也包括玻尔兹曼熵.再注意到式(6)中的Pi可以是任何一种研究对象的概率,没有受到平衡态、等概率(玻尔兹曼关系要求等概率)、热力学系统等等的限制.而且詹尼斯的最大信息熵原理不仅可用于平衡态,还可以用于非平衡定态,即非平衡定态的熵取极大值.信息熵概念的含义比玻尔兹曼熵、克劳修斯熵要广,对于热力学过程信息熵就为克劳修斯熵、部分的玻尔兹曼熵.但克劳修斯熵却并不能应用于非热力学过程,因为克劳修斯熵的概念局限于粒子热运动这种特定的物质运动方式,它与能量(热量)的分配有特定的比例关系.对于并不涉及热量、能量转换的非热力学过程,克劳修斯熵是不能应用的.玻尔兹曼熵具有克劳修斯熵的所有特征,且玻尔兹曼熵还可以延拓到非热力学系统和远离平衡态的热力学系统的非平衡态,但是为了保持熵函数的特征,要加入等概率的条件.信息熵可以与热量、能量转换的多少没有关系,也可