離散熵演算法

㈠ 熵怎麼計算

熱力學中表徵物質狀態的參量之一,通常用符號S表示。在經典熱力學中，可用增量定義為dS＝(dQ/T)，式中T為物質的熱力學溫度;dQ為熵增過程中加入物質的熱量；下標「可逆」表示加熱過程所引起的變化過程是可逆的。若過程是不可逆的,則dS＞(dQ/T)不可逆。單位質量物質的熵稱為比熵,記為 s。熵最初是根據熱力學第二定律引出的一個反映自發過程不可逆性的物質狀態參量。熱力學第二定律是根據大量觀察結果總結出來的規律，有下述表述方式：①熱量總是從高溫物體傳到低溫物體，不可能作相反的傳遞而不引起其他的變化；②功可以全部轉化為熱，但任何熱機不能全部地、連續不斷地把所接受的熱量轉變為功（即無法製造第二類永動機）；③在孤立系統中,實際發生的過程,總使整個系統的熵值增大，此即熵增原理。摩擦使一部分機械能不可逆地轉變為熱，使熵增加。熱量dQ由高溫(T1)物體傳至低溫(T2)物體,高溫物體的熵減少dS1=dQ/T1,低溫物體的熵增加dS2=dQ/T2,把兩個物體合起來當成一個系統來看,熵的變化是dS＝dS2－dS1＞0，即熵是增加的。
物理學上指熱能除以溫度所得的商，標志熱量轉化為功的程度。物質都有自己的標准熵，一個反應可以根據各種物質的熵來計算熵變。ΔH-TΔs是計算自由能的公式，用來判斷反應的自發性。

㈡ 信息熵的計算公式，麻煩通俗地講一下。

信息熵的計算公式：H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2,..n)。

其中，x表示隨機變數，與之相對應的是所有可能輸出的集合，定義為符號集,隨機變數的輸出用x表示。P(x)表示輸出概率函數。變數的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。

信息熵是數學方法和語言文字學的結合，基本計算公式是未H = - LOG2(P)。其中，H 表示信息熵，P 表示某種語言文字的字元出現的概率，LOG2是以二為底的對數，用的是二進制，因而，信息熵的單位是比特（BIT，即二進制的0和1）。信息熵值就是信息熵的數值。

(2)離散熵演算法擴展閱讀：

信息熵的相關介紹：

一個信源發送出什麼符號是不確定的，衡量它可以根據其出現的概率來度量。概率大，出現機會多，不確定性小；反之不確定性就大。不確定性函數f是概率P的減函數；兩個獨立符號所產生的不確定性應等於各自不確定性之和。

人們常常說信息很多，或者信息較少，但卻很難說清楚信息到底有多少。比如一本五十萬字的中文書到底有多少信息量。

直到1948年，香農提出了「信息熵」的概念，才解決了對信息的量化度量問題。信息熵這個詞是C．E．香農從熱力學中借用過來的。熱力學中的熱熵是表示分子狀態混亂程度的物理量。香農用信息熵的概念來描述信源的不確定度。資訊理論之父克勞德·艾爾伍德·香農第一次用數學語言闡明了概率與信息冗餘度的關系。

㈢ 熵定律的計算公式

計算公式

1、克勞修斯首次從宏觀角度提出熵概念，其計算公式為:S=Q/T,(計算熵差時，式中應為△Q)

2、波爾茲曼又從微觀角度提出熵概念，公式為:S=klnΩ，Ω是微觀狀態數，通常又把S當作描述混亂成度的量。

3、筆者針對Ω不易理解、使用不便的現狀，研究認為Ω與理想氣體體系的宏觀參量成正比，即:Ω(T)=(T/εT)3/2,Ω(V)=V/εV，得到理想氣體的體積熵為SV=klnΩv=klnV,溫度熵為ST=klnΩT=(3/2)klnT ，計算任意過程的熵差公式為△S=(3/2)kln(T'/T)+kln(V'/V),這微觀與宏觀關系式及分熵公式，具有易於理解、使用方便的特點，有利於教和學，可稱為第三代熵公式。

上述三代熵公式，使用的物理量從形式上看具有"直觀→抽象→直觀"的特點，我們認為這不是概念游戲，是對熵概念認識的一次飛躍。

拓展資料

熵定律是科學定律之最，這是愛因斯坦的觀點。我們知道能源與材料、信息一樣，是物質世界的三個基本要素之一，而在物理定律中，能量守恆定律是最重要的定律，它表明了各種形式的能量在相互轉換時，總是不生不滅保持平衡的。熵的概念最早起源於物理學，用於度量一個熱力學系統的無序程度。熱力學第二定律，又稱"熵增定律"，表明了在自然過程中，一個孤立系統的總混亂度(即"熵")不會減小。

詳細內容

最高定律

在等勢面上，熵增原理反映了非熱能與熱能之間的轉換具有方向性，即非熱能轉變為熱能效率可以100%,而熱能轉變成非熱能時效率則小於100%(轉換效率與溫差成正比),這種規律制約著自然界能源的演變方向，對人類生產、生活影響巨大;在重力場中，熱流方向由體系的勢焓(勢能+焓)差決定，即熱量自動地從高勢焓區傳導至低勢焓區，當出現高勢焓區低溫和低勢焓區高溫時，熱量自動地從低溫區傳導至高溫區，且不需付出其它代價，即絕對熵減過程。

顯然熵所描述的能量轉化規律比能量守恆定律更重要，通俗地講:熵定律是"老闆"，決定著企業的發展方向，而能量守恆定律是"出納",負責收支平衡，所以說熵定律是自然界的最高定律。

分熵的特點

熵概念源於卡諾熱機循環效率的研究，是以熱溫商的形式而問世的，當計算某體系發生狀態變化所引起的熵變總離不開兩點，一是可逆過程;二是熱量的得失，故總熵概念擺脫不了熱溫商這個原始外衣。當用狀態數來認識熵的本質時，我們通過研究發現，理想氣體體系的總微觀狀態數受宏觀的體積、溫度參數的控制，進而得到體系的總熵等於體積熵與溫度熵之和(見有關文章)，用分熵概念考察體系的熵變化，不必設計什麼可逆路徑，概念直觀、計算方便(已被部分專家認可),因而有利於教和學。

熵流

熵流是普里戈津在研究熱力學開放系統時首次提出的概念(普里戈津是比利時科學家，因對熱力學理論有所發展，獲得1977年諾貝爾化學獎)，普氏的熵流概念是指系統與外界交換的物質流及能量流。

我們認為這個定義不太精闢，這應從熵的本質來認識它，不錯物質流一定是熵的載體，而能量流則不一定，能量可分熱能和非熱能[如電能、機械能、光能(不是熱輻射)]，當某絕熱系統與外界交換非熱能(發生可逆變化)時，如通電導線(超導材料)經過絕熱系統內，對體系內熵沒有影響，准確地說能量流中只有熱能流(含熱輻射)能引人熵流(對非絕熱系統)。

對於實際情形，非熱能作用於系統發生的多是不可逆過程，會有熱效應產生，這時系統出現熵增加，這只能叫(有原因的)熵產生，而不能叫熵流的流入，因能量流不等於熵流，所以不論什麼形式的非熱能流都不能叫熵流，更不能籠統地把能量流稱為熵流。