樣本熵演算法

㈠ 信息熵的計算公式，麻煩通俗地講一下。

信息熵的計算公式：H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑P(xi)log(2,P(xi)) (i=1,2,..n)。

其中，x表示隨機變數，與之相對應的是所有可能輸出的集合，定義為符號集,隨機變數的輸出用x表示。P(x)表示輸出概率函數。變數的不確定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。

信息熵是數學方法和語言文字學的結合，基本計算公式是未H = - LOG2(P)。其中，H 表示信息熵，P 表示某種語言文字的字元出現的概率，LOG2是以二為底的對數，用的是二進制，因而，信息熵的單位是比特（BIT，即二進制的0和1）。信息熵值就是信息熵的數值。

(1)樣本熵演算法擴展閱讀：

信息熵的相關介紹：

一個信源發送出什麼符號是不確定的，衡量它可以根據其出現的概率來度量。概率大，出現機會多，不確定性小；反之不確定性就大。不確定性函數f是概率P的減函數；兩個獨立符號所產生的不確定性應等於各自不確定性之和。

人們常常說信息很多，或者信息較少，但卻很難說清楚信息到底有多少。比如一本五十萬字的中文書到底有多少信息量。

直到1948年，香農提出了「信息熵」的概念，才解決了對信息的量化度量問題。信息熵這個詞是C．E．香農從熱力學中借用過來的。熱力學中的熱熵是表示分子狀態混亂程度的物理量。香農用信息熵的概念來描述信源的不確定度。資訊理論之父克勞德·艾爾伍德·香農第一次用數學語言闡明了概率與信息冗餘度的關系。

㈡ 一個八進制信源的最大熵怎麼算

一個八進制信源的最大熵演算法：當信源各符號無相關性、等概散布時,信源嫡為最大值。八進制信源的最大嫡為3bit/符號。

㈢ 熵值法得出的結果全是0

熵值法的計算公式上會有取對數，因此如果小於等於0的數字取對數，則會出現null值。
此種情況共有兩種辦法。 第一種：對數值為0的指標非負平移，如果某列（某指標）數據出現小於等於0，則讓該列數據同時加上一個『平移值』【該值為某列數據最小值的絕對值+0.01】，以便讓數據全部都大於0，因而滿足演算法要求。 第二種：研究者也可以手工查看數據並將小於等於0的數據設置為異常值，這種做法會讓樣本減少。 SPSSAU這兩種方法都有提供，在綜合評價》熵值法，可以進行分析。

㈣ 熵值法平移取值一般加幾

熵值法的計算公式上會有取對數，因此如果小於等於0的數字取對數，則會出現null值。
此種情況共有兩種辦法。第一種：對數值為0的指標非負平移，如果某列（某指標）數據出現小於等於0，則讓該列數據同時加上一個『平移值』【該值為某列數據最小值的絕對值+0.01】，以便讓數據全部都大於0，因而滿足演算法要求。第二種：研究者也可以手工查看數據並將小於等於0的數據設置為異常值，這種做法會讓樣本減少。SPSSAU這兩種方法都有提供，在綜合評價》熵值法，可以進行分析。

㈤ 熵怎麼計算

熱力學中表徵物質狀態的參量之一,通常用符號S表示。在經典熱力學中，可用增量定義為dS＝(dQ/T)，式中T為物質的熱力學溫度;dQ為熵增過程中加入物質的熱量；下標「可逆」表示加熱過程所引起的變化過程是可逆的。若過程是不可逆的,則dS＞(dQ/T)不可逆。單位質量物質的熵稱為比熵,記為 s。熵最初是根據熱力學第二定律引出的一個反映自發過程不可逆性的物質狀態參量。熱力學第二定律是根據大量觀察結果總結出來的規律，有下述表述方式：①熱量總是從高溫物體傳到低溫物體，不可能作相反的傳遞而不引起其他的變化；②功可以全部轉化為熱，但任何熱機不能全部地、連續不斷地把所接受的熱量轉變為功（即無法製造第二類永動機）；③在孤立系統中,實際發生的過程,總使整個系統的熵值增大，此即熵增原理。摩擦使一部分機械能不可逆地轉變為熱，使熵增加。熱量dQ由高溫(T1)物體傳至低溫(T2)物體,高溫物體的熵減少dS1=dQ/T1,低溫物體的熵增加dS2=dQ/T2,把兩個物體合起來當成一個系統來看,熵的變化是dS＝dS2－dS1＞0，即熵是增加的。
物理學上指熱能除以溫度所得的商，標志熱量轉化為功的程度。物質都有自己的標准熵，一個反應可以根據各種物質的熵來計算熵變。ΔH-TΔs是計算自由能的公式，用來判斷反應的自發性。

㈥ 熵值法步驟

（1）方法原理及適用場景

熵值法屬於一種客觀賦值法，其利用數據攜帶的信息量大小計算權重，得到較為客觀的指標權重。熵值是不確定性的一種度量，熵越小，數據攜帶的信息量越大，權重越大；相反熵越大，信息量越小，權重越小。

適用場景：熵值法廣泛應用於各個領域，對於普通問卷數據（截面數據）或面板數據均可計算。在實際研究中，通常情況下是與其他權重計算方法配合使用，如先進行因子或主成分分析得到因子或主成分的權重，即得到高維度的權重，然後再使用熵值法進行計算，想得到具體各項的權重。

（2）操作步驟

使用SPSSAU【綜合評價-熵值法】。

使用熵值法計算權重時，需將數據整理為以下格式：

（3）注意事項

熵值法的計算公式上會有取對數，因此如果小於等於0的數字取對數，則會出現null值。此種情況共有兩種辦法。

• 第一種：SPSSAU非負平移功能是指，如果某列（某指標）數據出現小於等於0，則讓該列數據同時加上一個『平移值』【該值為某列數據最小值的絕對值+0.01】，以便讓數據全部都大於0，因而滿足演算法要求。

• 第二種：研究者也可以手工查看數據並將小於等於0的數據設置為異常值，但此種做法會讓樣本減少。

㈦ 常見的監督學習演算法

K-近鄰演算法：K-近鄰是一種分類演算法，其思路是如果一個樣本在特徵空間中的k個最相似(即特徵空間中最鄰近)的樣本中的大多數屬於某一個類別，則該樣本也屬於這個類別。

K通常是不大於20的整數。KNN演算法中，所選擇的鄰居都是已經正確分類的對象。該方法在定類決策上只依據最鄰近的一個或者幾個樣本的類別來決定待分樣本所屬的類別。

ID3演算法：劃分數據集的最大原則就是將數據變得更加有序。熵（entropy）是描述信息不確定性（雜亂程度）的一個值。

(7)樣本熵演算法擴展閱讀：

注意事項：

分類：當數據被用於預測類別時，監督學習也可處理這類分類任務。給一張圖片貼上貓或狗的標簽就是這種情況。當分類標簽只有兩個時，這就是二元分類，超過兩個則是多元分類。

預測：這是一個基於過去和現在的數據預測未來的過程，其最大應用是趨勢分析。一個典型實例是根據今年和前年的銷售業績以預測下一年的銷售業績。

㈧ 熵值法的步驟

(1)選取n個國家，m個指標，則為第i個國家的第j個指標的數值。（i=1,2…,n; j=1,2,…,m）
(2) 指標的標准化處理:異質指標同質化
由於各項指標的計量單位並不統一,因此在用它們計算綜合指標前,我們先要對它們進行標准化處理,即把指標的絕對值轉化為相對值,並令，從而解決各項不同質指標值的同質化問題。而且,由於正向指標和負向指標數值代表的含義不同(正向指標數值越高越好,負向指標數值越低越好) ,因此,對於高低指標我們用不同的演算法進行數據
標准化處理。其具體方法如下:
正向指標:
負向指標:
則為第i個國家的第j個指標的數值。（i=1,2…,n; j=1,2,…,m）。為了方便起見，仍記數據。
（3）計算第 j 項指標下第 i 個國家占該指標的比重。
（4）計算第 j 項指標的熵值。
（5）計算第j項指標的差異系數。對第項指標，指標值的差異越大，對方案評價的左右就越大，熵值就越小，定義差異系數。
（6）求權值。
（7）計算各國家的綜合得分。

㈨ 筆記：模糊熵、樣本熵、近似熵都是什麼反映了什麼

轉帖

從原理上能看出來，這三個數據都是評價波形前後部分之間的混亂程度的。所以這三個數據都是評價波形前後重復性的，也就是頻率。熵越大，波形中各個頻率越多，熵越小，波形中亂七八糟的頻率越小。三個之間的區別的話近似熵，1991年的演算法。樣本熵，2000年的演算法。近似熵在比較的時候有一個自身比較的數值在裡面，這個演算法優化了。模糊熵，2007年的演算法。前面兩個演算法在評價時加入了一個閾值：大於閾值就混亂，小於就不混亂。模糊熵加入了一個fuzzy的思想在裡面。更科學一些。啥叫fuzzy，就比如說，原來分男女，只有 是 或者 不是 這種。現在加入了模糊思想，就告訴你，這貨有0.8的概率是男的，有0.2的概率是女的這種。這種軟分類其實更科學的。更多的可以參考fuzzy c means演算法。模糊熵就把閾值分割的0或者1變成了0.4，0.5這種數據，更科學一些。

㈩ 求信息熵的計算方法!!

H(x)=lb，應該是求平均互信息熵。

熵的計算