em演算法的例子
1. EM演算法和混合高斯模型（一）
EM（Expectation Maximization）演算法是一種迭代演算法，用於含有隱變數的概率模型參數的極大似然估計，或極大後驗估計。EM演算法的每次迭代由兩步組成：E步，求期望（expectation）；M步，求極大值，因而被稱為期望極大演算法，簡稱EM演算法。
本文從EM演算法的引入說起，簡單介紹EM演算法的推導過程，以及其在高斯混合模型中的應用。更多的關於EM演算法的推導細節，可參見 人人都懂EM演算法 。
假設我們需要調查我們學校學生的身高分布。我們先假設學校所有學生的身高服從正態分布 。( 注意：極大似然估計的前提一定是要假設數據總體的分布，如果不知道數據分布，是無法使用極大似然估計的 )，這個分布的均值μ和標准差為σ 未知，如果我們估計出這兩個參數，那我們就得到了最終的結果。那麼怎樣估計這兩個參數呢？
學校的學生這么多，我們不可能挨個統計吧？這時候我們需要用到概率統計的思想，也就是抽樣，根據樣本估算總體。假設我們隨機抽到了 200 個人（也就是 200 個身高的樣本數據，為了方便表示，下面「人」的意思就是對應的身高）。然後統計抽樣這 200 個人的身高。根據這 200 個人的身高估計均值 μ和方差σ 。例子來自 人人都懂EM演算法 。
現在我們假設這200個人的身高服從一個正態分布N(μ，σ)，因此可以直接使用極大似然估計方法估計出這個分布的參數μ和σ。
但是，這200個人的身高真的是服從同一個正態分布嗎？實際情況並不是這樣的，男生和女生分別服從兩種不同的正態分布，即男生 女生各服從一個正態分布 ，( 注意：EM演算法和極大似然估計的前提是一樣的，都要假設數據總體的分布，如果不知道數據分布，是無法使用EM演算法的 )，而且假設我們現在只有身高數據，丟失了性別數據，那麼該怎樣評估學生的身高分布呢？
這個時候，對於每一個樣本或者你抽取到的人，就有兩個問題需要估計了，一是這個人是男的還是女的，二是男生和女生對應的身高的正態分布的參數是多少。這兩個問題是相互依賴的：
但是現在我們既不知道每個學生是男生還是女生，也不知道男生和女生的身高分布。這就成了一個先有雞還是先有蛋的問題了。雞說，沒有我，誰把你生出來的啊。蛋不服，說，沒有我，你從哪蹦出來啊。為了解決這個你依賴我，我依賴你的循環依賴問題，總得有一方要先打破僵局，不管了，我先隨便整一個值出來，看你怎麼變，然後我再根據你的變化調整我的變化，然後如此迭代著不斷互相推導，最終就會收斂到一個解（草原上的狼和羊，相生相剋）。這就是EM演算法的基本思想了。
EM的意思是「Expectation Maximization」，具體方法為：
上面的學生屬於男生還是女生我們稱之為隱含參數，女生和男生的身高分布參數稱為模型參數。
EM 演算法解決這個的思路是使用啟發式的迭代方法，既然我們無法直接求出模型分布參數，那麼我們可以先猜想隱含參數（EM 演算法的 E 步），接著基於觀察數據和猜測的隱含參數一起來極大化對數似然，求解我們的模型參數（EM演算法的M步)。由於我們之前的隱含參數是猜測的，所以此時得到的模型參數一般還不是我們想要的結果。我們基於當前得到的模型參數，繼續猜測隱含參數（EM演算法的 E 步），然後繼續極大化對數似然，求解我們的模型參數（EM演算法的M步)。以此類推，不斷的迭代下去，直到模型分布參數基本無變化，演算法收斂，找到合適的模型參數。
在開始介紹EM演算法之前，讓我們先來了解一個重要的定理——Jensen不等式。
如下圖，如果函數f(x)是凸函數，x是隨機變數，有 0.5 的概率是 a，有 0.5 的概率是 b， x的期望值就是 a 和 b 的中值了，那麼：
對於m個相互獨立的樣本:
假如沒有隱含變數z， 我們僅需要找到合適的θ極大化對數似然函數即可:
現在我們給定一個θ值（初始化θ），那麼logL(θ)的值就取決於Q i (z)和P(x (i) ,z (i) )。我們可以通過調整這兩個概率使下屆逼近logL(θ)的真實值，當不等式變為等式時，說明我們調整後的下屆就等於logL(θ)了。由Jeson不等式可知，等式成立的條件是隨機變數是常數，則有：
如果Q i (z (i) ) = P(z (i) |x (i) , θ)，則（2）式使我們包含隱藏數據的對數似然函數的一個下屆。如果我們能極大化這個下屆，則也在嘗試極大化我們的對數似然函數。即我們需要極大化下式：
由於對logaf(x)求導的結果與f(x)的系數無關（(ln(ax))'= (lna + lnx)'=1/x），因此對θ求極大似然時，可以去掉式中的常數部分Q i (z (i) )：
現在，讓我們來總結一下EM演算法的流程。
輸入：觀察數據x = (x (1) , x (2) , ... , x (m) ), 聯合分布P(x, z|θ)，條件分布P(z|x,θ)，極大迭代次數J。
（1）隨機初始化模型參數θ值；
（2）迭代求解各個分布模型的參數以及各個模型的概率：
for j from 1 to J:
輸出：模型參數θ
圖中的直線式迭代優化的路徑，可以看到每一步都會向最優值前進一步，而且前進路線是平行於坐標軸的，因為每一步只優化一個變數。
這猶如在x-y坐標系中找一個曲線的極值，然而曲線函數不能直接求導，因此什麼梯度下降方法就不適用了。但固定一個變數後，另外一個可以通過求導得到，因此可以使用坐標上升法，一次固定一個變數，對另外的求極值，最後逐步逼近極值。對應到EM上，E步：固定 θ，優化Q；M步：固定 Q，優化 θ；交替將極值推向極大。
E步 ：初始化θ A =0.6和θ B =0.5（θ A 和θ B 分別表示兩個硬幣出現正面的概率），計算每次擲硬幣選擇A和B的概率，例如第一個實驗中選擇A的概率為：
M步 ：求出似然函數下屆Q(θ，θ i ), y i 代表第j次試驗正面朝上的個數，μ j 代表第j次試驗選擇硬幣A的概率，1-μ j 代表第j次試驗選擇硬幣B的概率。
參考：
人人都懂EM演算法
《統計學習方法》. 李航
2. EM演算法深度解析
最近在做文本挖掘的時候遇到了EM演算法，雖然讀書的時候簡單地接觸過，但當時並沒有深入地去了解，導致現在只記得演算法的名字。既然EM演算法被列為數據挖掘的十大演算法之一，正好借這個機會，重新學習一下這個經典的演算法。學習的過程中，我發現網上的資料大多講解地不夠細致，很多地方解釋得並不明了。因此我決定拋開別人的想法，僅從數學推導本身出發，盡力理解每一個公式的含義，並將其對應到實際的實驗過程當中。這篇博客記錄了我對與EM演算法的思考與理解，也是我人生中的第一篇博客，希望能夠對於想要學習EM演算法的同學有所幫助。
前面談到我在做文本挖掘的時候遇到了EM演算法，EM演算法用於估計模型中的參數。提到參數估計，最常見的方法莫過於極大似然估計——在所有的候選參數中，我們選擇的參數應該讓樣本出現的概率最大。相信看到這篇筆記的同學一定對極大似然估計非常熟悉，而EM演算法可以看作是極大似然估計的一個擴充，這里就讓我們用極大似然估計來解決一個簡單的例子，來開始正式的討論。
有A，B，C三枚硬幣，我們想要估計A，B，C三枚硬幣拋出正面的概率 , , 。我們按如下流程進行實驗100次：
記錄100次實驗的結果如下：
我們將上面的實驗結果表述如下：
表示第i次實驗中，硬幣A的結果，1代表正面，0代表反面； 表示第i次實驗中，硬幣B或硬幣C拋出正面的個數，則參數 的極大似然估計分別為：
即硬幣A，B，C各自拋出正面的次數占總次數的比例，其中 為指示函數。
實驗流程與1相同，但是我們不慎遺失了硬幣A的記錄結果，導致我們只知道隨後十次拋出了多少次正面，多少次反面，卻不知道實驗結果來自於硬幣B還是硬幣C。在這種情況下，我們是否還能估計出 , , 的值呢？
這時候利用極大似然估計似乎行不通了， 因為這種情況下，我們不但缺失了硬幣A產生的觀測值，同時也不知道哪些觀測值屬於硬幣B，哪些觀測值屬於硬幣C。
有些同學可能會提出，雖然我們無法得到三個硬幣各自產生的樣本，但是我們依然可以得到每個觀測值出現的概率。比如在第一次實驗中， 我們拋出了5次正面5次反面，我們可以做如下思考：
假設這5次正面由硬幣B得到，那麼概率應該為 ，而這次觀測值來自於硬幣B，也就是硬幣A拋出正面的概率為
假設這5次正面由硬幣C得到，那麼概率應該為 ，而這次觀測值來自於硬幣C，也就是硬幣A拋出反面的概率為
綜合起來，利用條件概率公式，這個觀測值出現的概率就是
因此我們可以將樣本整體的概率和似然函數利用 , , 表示出來，通過對似然函數求導，令其關於 的偏導數等於0，我們可以求出三個參數的值。
這個思路聽上去十分合理，我們可以順著這個思路進行數學推導，看看可以得到什麼樣的結果。首先我們計算樣本的概率:
對應的似然函數為
其中 關於 的條件分布為
的分布為
因此我們可以得到
至此，我們成功地得到了似然函數。然而觀察可以發現，這個函數是由100項對數函數相加組成，每個對數函數內部包含一個求和，想通過求導並解出導數的零點幾乎是不可能的。當然我們可以通過梯度下降來極小化這個函數，藉助深度學習庫的自動微分系統在實現上也非常容易。但是這種做法過於簡單粗暴，有沒有辦法來優雅地解決這個問題呢？在繼續討論之前，我們先將這類問題進行一般化表述：
我們觀測到隨機變數 產生的m個相互獨立的樣本 , 的分布由聯合分布 決定， 是缺失數據或無法在實驗中被直接觀測到，稱為 隱變數 ，我們想要從樣本中估計出模型參數 的值。在接下來的討論中，我們假定 的取值是離散的，於是可以得到似然函數如下:
接下來，我們就探討一下，如何利用EM演算法解決這個問題。
這一部分的數學推導，主要參考了吳恩達CS229n的筆記，並且根據個人的思考和理解，盡力對公式的每一步進行詳細的解釋。我們先簡單地介紹一下琴生不等式。
琴生不等式有多種形式，下面給出其離散形式的表述和概率論中的表述:
1.若 為嚴格凹函數， 為定義域內的n個點， 是n個正實數，且滿足 , 則下述不等式成立:
當且僅當 時，不等式取等號。
2.若 為嚴格凹函數， 為實值隨機變數，且期望存在，則下述不等式成立:
當且僅當 ，即 為常數時，不等式取等號。
註： 這里將函數上方為凹集的函數稱為凹函數， 例如 函數就是凹函數。
相信大家對琴生不等式都十分熟悉，因此這里就不做過多的說明。接下來，我們將琴生不等式應用到我們的問題中。
回到我們之前的問題上， 我們想要極大化下面這個函數:
但是我們無法對這個函數直接求導，因此我們藉助琴生不等式，對這個函數進行變換。為了讓過程看上去簡潔，下面只對求和中的第 項進行計算。
令 滿足 ，且 ，則根據琴生不等式，可以得到：
當且僅當 為常數時，上述不等式取等號。也就是說，對於任意 ， 是一個與 無關的量。設對於任意 ，我們可以得到：
因此當 時，不等式 取等號，容易驗證此時 , 與 無關。將 綜合一下，我們可以得到以下結論:
到這里為止，我們已經擁有了推導出EM演算法的全部數學基礎，基於 我們可以構建出E步和M步。上面的數學推導雖然看上去略為復雜，但實際上只用到了三個知識點：
1.琴生不等式:
2.條件概率:
3.聯合分布求和等於邊緣分布:
對上面的數學推導有疑問的同學，可以結合上面這三點，再將整個推導過程耐心地看一遍。
大部分關於EM演算法的資料，只是在數學形式上引入了 函數，即 ，以滿足琴生不等式的使用條件，卻沒有過多地解釋 函數本身。這導致了很多人完全看懂了演算法的推導，卻還是不理解這些數學公式究竟在做什麼，甚至不明白EM演算法為什麼叫做EM演算法。所以在給出E步和M步之前，我想先談一談 函數。
我們回顧一下 函數所滿足的條件（暫時不考慮琴生不等式取等號的限制），
在 所有可能的取值處有定義。可以看出， 是 的樣本空間上任意的一個概率分布。因此，我們可以對不等式 進行改寫。首先我們可以將含有 的求和寫成期望的形式:
這里 指的是在概率分布 下，求隨機變數 和 的期望。有同學會問，為什麼我們平時求期望的時候只要寫 ，並沒有指明是在哪個概率分布下的期望。這是因為一般情況下，我們都清楚地知道隨機變數 所服從的分布 ，並且默認在分布 下求期望。
舉個例子，我手上有一個硬幣，拋了10次，問拋出正面次數的期望。這種情況下，大部分人會默認硬幣是均勻的，也就是說拋出正面的次數 服從二項分布 ，期望 。這時有人提出了質疑，他說我認為你這個硬幣有問題，拋出正面的概率只有0.3，那麼在他眼裡， 期望 。
回到正題，我們利用等式 改寫不等式 ，可以得到:
這正是琴生不等式在概率論中的形式。我們可以將不等式倒過來理解：
首先，假定隨機變數 服從概率分布 ， 是 的樣本空間上的任意一個概率分布。這里 可以是一組定值，也可以是關於參數 的函數。
顯然，當我們取不同的 時，隨機變數 的期望也會隨之改變。需要注意的是，由於 與 相關，所以這里的期望不是一個數值，而是關於 的函數。
當我們令 為 的後驗分布 時，上面的期望最大。這里有兩點需要注意，1. 後驗分布 也是一個關於參數 的函數。2. 由於期望是關於 的函數，所以這里的最大指的並非是最大值，而是最大的函數。
若對於每一個 ，我們都令 為 的後驗分布 ，則上述期望之和等於我們要極大化的似然函數，即
通過上述分析，我們為尋找似然函數的極大值點 提供了一個思路。我們不去極大化似然函數本身，而是去極大化 。至於如何將這個思路實際應用，就要利用到EM演算法中的E-step和M-step。
這一節中，我們先給出E-step和M-step的數學形式，隨後在結合拋硬幣的例子來解釋這兩步究竟在做什麼。下面進入演算法的流程，首先我們任意初始化 ，按下述過程進行迭代直至收斂：
在第 次迭代中，
(E-step)對於每個 ，令
(M-step)更新 的估計值，令
EM演算法從任意一點 出發，依次利用E-step優化 ，M-step優化 ，重復上述過程從而逐漸逼近極大值點。而這個過程究竟是怎樣的呢，就讓我們一步步地揭開EM演算法的面紗。
假設我們現在隨機初始化了 ，進入第一輪迭代：
(E-step)
由於我們已經假定模型參數為 ，所以此時 不再是與 有關的函數，而是由一組常數構成的概率分布。結合拋硬幣的例子來看，這一步是在我們已知模型參數 的基礎上(雖然這是我們瞎猜的)，去推測每一次的觀測值是由哪個硬幣產生的，或者說我們對每一次觀測值做一個軟分類。比如我們根據初始化的參數，計算出 ， 。可以解釋為第 個觀測值有20%的概率來自於硬幣B，80%的概率來自於硬幣C；或者說硬幣A拋出了0.2個正面，0.8個反面。
(M-step)
考慮到 是一組常數，我們可以舍棄常數項，進一步簡化上面這個要極大化的函數
由於 不再與 相關，因此上面的函數變成了對數函數求和的形式，這個函數通常來說是容易求導的，令導數等於0，我們可以求出新的參數 。我們仍舊以拋硬幣為例進行解釋，
令 , 可以得到，
這三個參數的解釋是顯而易見的。我們在E-step中對每個觀測值進行了軟分類， 可以看成是硬幣A拋出正面的次數，所以 是 的極大似然估計； 是我們拋硬幣B的次數， 是硬幣B拋出正面的次數，所以 是 的極大似然估計；對於 我們有相同的解釋。
我們將這個結果與拋硬幣1中極大似然估計的結果相比較可以發現，之前結果中的指示函數 變成了這里的 ，在指示函數下，某個觀測值要麼來自於硬幣B，要麼來自於硬幣C，因此也稱為硬分類。而在 函數下，某個觀測值可以一部分來自於硬幣B，一部分來自於硬幣C，因此也稱作軟分類。
將上述兩步綜合起來，EM演算法可以總結如下：我們首先初始化模型的參數，我們基於這個參數對每一個隱變數進行分類，此時相當於我們觀測到了隱變數。有了隱變數的觀測值之後，原來含有隱變數的模型變成了不含隱變數的模型，因此我們可以直接使用極大似然估計來更新模型的參數，再基於新的參數開始新一輪的迭代，直到參數收斂。接來下我們就討論為什麼參數一定會收斂。
前面寫了太多的公式，但是這一部分我不打算給出收斂性的數學推導。其實數學上證明EM演算法的收斂性很容易，只需要證明每一輪迭代之後，參數的似然函數遞增，即
3. 怎麼通俗易懂地解釋EM演算法並且舉個例子
你知道一些東西（觀察的到的數據），你不知道一些東西（觀察不到的），你很好奇，想知道點那些不了解的東西。怎麼辦呢，你就根據一些假設（parameter）先猜（E-step），把那些不知道的東西都猜出來，假裝你全都知道了;然後有了這些猜出來的數據，你反思一下，更新一下你的假設（parameter）,讓你觀察到的數據更加可能(Maximize likelihood;M-stemp);然後再猜，在反思，最後，你就得到了一個可以解釋整個數據的假設了。1.注意，你猜的時候，要盡可能的猜遍所有情況，然後求期望（Expected）；就是你不能僅僅猜一個個例，而是要猜出來整個宇宙；2.為什麼要猜，因為反思的時候，知道全部的東西比較好。（就是P(X,Z)要比P(X)好優化一些。Z是hidden states）3.最後你得到什麼了？你得到了一個可以解釋數據的假設，可能有好多假設都能解釋數據，可能別的假設更好。不過沒關系，有總比沒有強，知足吧。（你陷入到local minimum了）
公司有很多領導=[A總，劉總，C總]，同時有很多漂亮的女職員=[小甲，小章，小乙]。（請勿對號入座）你迫切的懷疑這些老總跟這些女職員有問題。為了科學的驗證你的猜想，你進行了細致的觀察。於是，觀察數據：1）A總，小甲，小乙一起出門了；2）劉總，小甲，小章一起出門了；3）劉總，小章，小乙一起出門了；4）C總，小乙一起出門了；收集到了數據，你開始了神秘的EM計算：初始化，你覺得三個老總一樣帥，一樣有錢，三個美女一樣漂亮，每個人都可能跟每個人有關系。所以，每個老總跟每個女職員「有問題」的概率都是1/3;這樣，（E step）1）A總跟小甲出去過了1/2*1/3=1/6次，跟小乙也出去了1/6次；（所謂的fractional count）2）劉總跟小甲，小章也都出去了1/6次3）劉總跟小乙，小章又出去了1/6次4）C總跟小乙出去了1/3次
4. 怎麼通俗易懂地解釋EM演算法並且舉個例子
在統計計算中，最大期望（EM）演算法是在概率（probabilistic）模型中尋找參數最大似然估計或者最大後驗估計的演算法，其中概率模型依賴於無法觀測的隱藏變數（Latent Variable）。最大期望經常用在機器學習和計算機視覺的數據聚類（Data Clustering）領域。
最大期望演算法經過兩個步驟交替進行計算：
第一步是計算期望（E），利用對隱藏變數的現有估計值，計算其最大似然估計值；
第二步是最大化（M），最大化在 E 步上求得的最大似然值來計算參數的值。
M 步上找到的參數估計值被用於下一個 E 步計算中，這個過程不斷交替進行。
總體來說，EM的演算法流程如下：
初始化分布參數
2.重復直到收斂：
E步驟：估計未知參數的期望值，給出當前的參數估計。
M步驟：重新估計分布參數，以使得數據的似然性最大，給出未知變數的期望估計。
5. 數據分析中缺失值的處理
數據缺失在許多研究領域都是一個復雜的問題，對數據挖掘來說，缺失值的存在，造成了以下影響：
1.系統丟失了大量的有用信息
2.系統中所表現出的不確定性更加顯著，系統中蘊涵的確定性成分更難把握
3.包含空值的數據會使挖掘過程陷入混亂，導致不可靠的輸出
數據挖掘演算法本身更致力於避免數據過分擬合所建的模型，這一特性使得它難以通過自身的演算法去很好地處理不完整數據。因此，缺失值需要通過專門的方法進行推導、填充等，以減少數據挖掘演算法與實際應用之間的差距。
1.列表顯示缺失值 mice包 md.pattern( )
2.圖形探究缺失值 VIM包
3.用相關性探索缺失值
1.人工填寫
由於最了解數據的還是用戶自己，因此這個方法產生數據偏離最小，可能是填充效果最好的一種。然而一般來說，該方法很費時，當數據規模很大、空值很多的時候，該方法是不可行的。
2.特殊值填充
將空值作為一種特殊的屬性值來處理，它不同於其他的任何屬性值。如所有的空值都用「unknown」填充。這樣將形成另一個有趣的概念，可能導致嚴重的數據偏離，一般不推薦使用。
3.平均值填充
將信息表中的屬性分為數值屬性和非數值屬性來分別進行處理。如果空值是數值型的，就根據該屬性在其他所有對象的取值的平均值來填充該缺失的屬性值；如果空值是非數值型的，就根據統計學中的眾數原理，用該屬性在其他所有對象的取值次數最多的值(即出現頻率最高的值)來補齊該缺失的屬性值。另外有一種與其相似的方法叫條件平均值填充法（Conditional Mean Completer）。在該方法中，缺失屬性值的補齊同樣是靠該屬性在其他對象中的取值求平均得到，但不同的是用於求平均的值並不是從信息表所有對象中取，而是從與該對象具有相同決策屬性值的對象中取得。這兩種數據的補齊方法，其基本的出發點都是一樣的，以最大概率可能的取值來補充缺失的屬性值，只是在具體方法上有一點不同。與其他方法相比，它是用現存數據的多數信息來推測缺失值。
4.熱卡填充
對於一個包含空值的對象，熱卡填充法在完整數據中找到一個與它最相似的對象，然後用這個相似對象的值來進行填充。不同的問題可能會選用不同的標准來對相似進行判定。該方法概念上很簡單，且利用了數據間的關系來進行空值估計。這個方法的缺點在於難以定義相似標准，主觀因素較多。
5.K最近距離鄰法
先根據歐式距離或相關分析來確定距離具有缺失數據樣本最近的K個樣本，將這K個值加權平均來估計該樣本的缺失數據。
同均值插補的方法都屬於單值插補，不同的是，它用層次聚類模型預測缺失變數的類型，再以該類型的均值插補。假設X=(X1,X2…Xp)為信息完全的變數，Y為存在缺失值的變數，那麼首先對X或其子集行聚類，然後按缺失個案所屬類來插補不同類的均值。如果在以後統計分析中還需以引入的解釋變數和Y做分析，那麼這種插補方法將在模型中引入自相關，給分析造成障礙。
6.使用所有可能的值填充
用空缺屬性值的所有可能的屬性取值來填充，能夠得到較好的補齊效果。但是，當數據量很大或者遺漏的屬性值較多時，其計算的代價很大，可能的測試方案很多。
7.組合完整化方法
用空缺屬性值的所有可能的屬性取值來試，並從最終屬性的約簡結果中選擇最好的一個作為填補的屬性值。這是以約簡為目的的數據補齊方法，能夠得到好的約簡結果；但是，當數據量很大或者遺漏的屬性值較多時，其計算的代價很大。
8.回歸
基於完整的數據集，建立回歸方程（模型）。對於包含空值的對象，將已知屬性值代入方程來估計未知屬性值，以此估計值來進行填充，當變數不是線性相關或預測變數高度相關時會導致有偏差的估計（SPSS菜單里有這種方法）
9.期望值最大化方法
EM演算法是一種在不完全數據情況下計算極大似然估計或者後驗分布的迭代演算法。在每一迭代循環過程中交替執行兩個步驟：E步（Excepctaion step,期望步），在給定完全數據和前一次迭代所得到的參數估計的情況下計算完全數據對應的對數似然函數的條件期望；M步（Maximzation step，極大化步），用極大化對數似然函數以確定參數的值，並用於下步的迭代。演算法在E步和M步之間不斷迭代直至收斂，即兩次迭代之間的參數變化小於一個預先給定的閾值時結束。該方法可能會陷入局部極值，收斂速度也不是很快，並且計算很復雜。（SPSS菜單里有這種方法）
10.1多重插補原理
多值插補的思想來源於貝葉斯估計，認為待插補的值是隨機的，它的值來自於已觀測到的值。具體實踐上通常是估計出待插補的值，然後再加上不同的雜訊，形成多組可選插補值。根據某種選擇依據，選取最合適的插補值。
10.2多重填補在SPSS中的實現
10.2.1缺失模式分析
分析>多重歸因>分析模式
10.2.2缺失值的多重填充
分析>多重歸因>歸因缺失數據值
10.2.3採用填充後的數據建模
10.3多重填補在R中的實現（基於mice包）
實例：
11.C4.5方法
通過尋找屬性間的關系來對遺失值填充。它尋找之間具有最大相關性的兩個屬性，其中沒有遺失值的一個稱為代理屬性，另一個稱為原始屬性，用代理屬性決定原始屬性中的遺失值。這種基於規則歸納的方法只能處理基數較小的名詞型屬性。
就幾種基於統計的方法而言，刪除元組法和平均值填充法差於熱卡填充法、期望值最大化方法和多重填充法；回歸是比較好的一種方法，但仍比不上熱卡填充和期望值最大化方法；期望值最大化方法缺少多重填補包含的不確定成分。值得注意的是，這些方法直接處理的是模型參數的估計而不是空缺值預測本身。它們合適於處理無監督學習的問題，而對有監督學習來說，情況就不盡相同了。譬如，你可以刪除包含空值的對象用完整的數據集來進行訓練，但預測時你卻不能忽略包含空值的對象。另外，C4.5和使用所有可能的值填充方法也有較好的補齊效果，人工填寫和特殊值填充則是一般不推薦使用的。
補齊處理只是將未知值補以我們的主觀估計值，不一定完全符合客觀事實，在對不完備信息進行補齊處理的同時，我們或多或少地改變了原始的信息系統。而且，對空值不正確的填充往往將新的雜訊引入數據中，使挖掘任務產生錯誤的結果。因此，在許多情況下，我們還是希望在保持原始信息不發生變化的前提下對信息系統進行處理。
直接在包含空值的數據上進行數據挖掘，這類方法包括貝葉斯網路和人工神經網路等。
貝葉斯網路是用來表示變數間連接概率的圖形模式，它提供了一種自然的表示因果信息的方法，用來發現數據間的潛在關系。在這個網路中，用節點表示變數，有向邊表示變數間的依賴關系。貝葉斯網路僅適合於對領域知識具有一定了解的情況，至少對變數間的依賴關系較清楚的情況。否則直接從數據中學習貝葉斯網的結構不但復雜性較高（隨著變數的增加，指數級增加），網路維護代價昂貴，而且它的估計參數較多，為系統帶來了高方差，影響了它的預測精度。當在任何一個對象中的缺失值數量很大時，存在指數爆炸的危險。人工神經網路可以有效的對付空值，但人工神經網路在這方面的研究還有待進一步深入展開。人工神經網路方法在數據挖掘應用中的局限性。
多數統計方法都假設輸入數據是完整的且不包含缺失值，但現實生活中大多數數據集都包含了缺失值。因此，在進行下一步分析前，你要麼刪除，要麼用合理的數值代理它們，SPSS、R、Python、SAS等統計軟體都會提供一些默認的處理缺失值方法，但這些方法可能不是最優的，因此，學習各種各樣的方法和他們的分支就顯得非常重要。Little和Rubin的《Sstatistical Analysis With Missing Data 》是缺失值領域里經典的讀本，值得一看。
6. EM Algorithm
EM演算法和之前學的都不太一樣，EM演算法更多的是一種思想，所以後面用幾個例子講解，同時也會重點講解GMM高斯混合模型。
極大似然估計這裡面用的比較多。假設我們想要知道我們學生身高的分布，首先先假設這些學生都是符合高斯分布 我們要做的就是要估計這兩個參數到底是多少。學生這么多，挨個挨個來肯定是不切實際的，所以自然就是抽樣了。
為了統計學生身高，我們抽樣200個人組成樣本
我們需要估計的參數 首先估計一下抽到這兩百人的概率一共是多少，抽到男生A的概率 抽到學生B的概率 所以同時抽到這兩個學生的概率就是 那麼同時抽到這200個學生的G概率
最後再取一個對數就好了：
似然函數的執行步驟：
1.得到似然函數
2.取對數整理
3.求導數，另導數為零
4.解方程得到解
首先引出凸函數的概念 那麼就是凸函數，所以它的圖像就是一個勾形的，看起來是一個凹函數，實際上是凸函數。
正常來看先是要引入一個最大似然函數： 但這樣其實是和難求的，P(x|θ)完全混在了一起，根本求不出來，所以我們要引入一個輔助變數z。
所以我們引入隱變數的原因是為了轉化成和這幾個高斯模型相關的式子，否則無從下手。化簡一下上式子： 既然z可以指定x，那麼我們只需要求解出z就好了。
注意上面凸函數所提到的一個期望性質，這里就可以使用了。因為雖然優化了上面的式子，還是不能求出來，因為z變數實在是太抽象了，找不到一個合適的公式來表示它。EM的一個方法就是用優化下界函數的方法來達到優化目標函數的目的。
既然z很抽象，那麼我們就需要一個轉變一下。對於每一個樣例x都會對應一個z，那麼假設一個分布Q(z)是滿足了z的分布的，而Q(z)滿足的條件是 Qi意味著每一個x對應的z都會對應著一個Q了，這里有點復雜，再詳細解釋一下。一個x對應一組z，z是一個向量，但是每一個z又會分別對應一個一個分布Q。以為最後得到的z不會是一個數字，而是一個概率，也就是說Q(z)得到的是這個x樣例屬於這個類別的概率是多少。而z的數量，一個是當前有多少個分布混合在一起的數量。
再梳理一下：現在的樣本是xi，那麼每一個xi將會對應著一組的z，每一個xi同時也會對應著一個分布Qi，z其實就是反應了這個樣本是來自於哪個分布的。比如這個x是A1分布做了3，A2分布做了5，那麼z可能就是={3,5}。所以Qi(z)得到的是這個x屬於這些個分布的概率，也就是說這些分布對x做了多少百分比的功，自然就是要等於1了。
還要注意的是，上面的 這個並不能得到Qi(z)就是分布對x做了多少功的結論，得到這個結論是後面下界函數與目標函數相等得到的。這里只是知道了總和等於1，因為是分布的總和嘛。
現在就到了公式的化簡：
仔細看一下這個式子 這個式子其實就是求 的期望，假設 ，那麼可以利用上面 。於是化簡：
這個時候就得到了下界函數，上面也講過了，想要相等，自然就是x要是常數，所以 既然 ，而且z也是一樣的，因為一個樣本嘛。所以上下加和（如果是離散的，那就sum一下，連續的那就積分，這里是離散的，所以就是sum一下）。於是有
於是有：
這就是整一個EM演算法的框架了，可以看到其實沒有比較具體的演算法，大致上就是一個框架。那麼問題來了，怎麼樣證明這東西是一個收斂的？？
可以直接把高斯混合模型代入EM框架裡面。
存在多個高斯分布混合生成了一堆數據X，取各個高斯分布的概率是 ，第i個高斯分布的均值是 ，方差是 ，求法φ，μ，σ。
按照套路，第一個E-step求出Q，於是有：
意思就是求出第i個樣本屬於第j個分布的概率是多少。之後就是M-step了，就是化簡了：
這里可能需要解釋一下，根據 至於條件，因為很明顯，z是隱變數，只是指明了x是屬於哪個類別，和μ，Σ沒有什麼關系，所以直接忽略那兩個參數了，所以P(z)是沒有那兩個參數的，z是代表了分布，所以每一個分布的概率肯定是包括了，所以就只有一個概率的參數。P(x|z)是本身的概率，就是已經知道分布是那個了，求屬於這個分布的概率是多少，既然已經選定了分布那麼自然就不需要再看φ了，因為φ是各個分布的概率。
現在有兩個硬幣AB，進行5次試驗每一次投10次，並不知道是哪個硬幣投的，求兩種硬幣的正面的概率。
首先E-step：
首先先初始化一下，
第一個試驗選中A的概率：
同樣求得
計算機出每一個試驗的概率然後相加求均值。
之後就是M-step了：
方差的求解就不玩了，主要就是迭代求解μ和φ的值了。
首先是生成數據，4個高斯分布，每一個高斯分布的sigma都是一樣的，不一樣的只有μ和α，也就是φ，習慣上把前面的一個參數叫做權值，所以用α來表示。
這四個模型的比例分別是1:2:3:4，使用EM來找到他們屬於的類別。
其實如果用kmeans聚類的話更加快速，但是這里還是用EM。
E-step：
就是按照公式來求解w即可，求解每一個分布對樣本點做了多少的功，之後求單個樣本點求比例。
M-step：
直接按照公式優化即可。
運行函數。看看結果：
結果其實還是相差不大。達到預期。
上面所講的其實只是一種理解方法，在李航老師的統計學習方法裡面是另一種比較厲害的解法：
1.E-step：求出Q函數。
2.M-step：利用Q函數求極大值。
其實這兩種方法是完全一樣的，Q函數就是下界函數，
EM和Kmeans演算法其實很類似，事實上步驟基本可以用EM框架來替換，但是Kmeans演算法是硬分類，說一不二，但是EM演算法不太一樣，是軟分類，百分之幾是那個，百分之幾是這個。
缺點也還是有的：初值敏感，局部最優。因為存在了隱變數，所以導致了直接對x做極大似然是不可行的，log已經在sum的外面了。所以EM演算法就轉向了下界函數，而這種方法本來就不保證找到局部最優解。
如果將樣本看作觀察值，潛在類別看作是隱藏變數，那麼聚類問題也就是參數估計問題。如果一個目標函數存在多個變數，那麼梯度下降牛頓法這些逼近方法就用不了了。但我們可以使用坐標上升方法，固定一個變數，對另外一個求導數，然後替換最後逐步逼近極值點。對應到EM演算法也是一樣，E步求隱含的z變數，Mstep求解其他參數。
7. 數據挖掘十大經典演算法之EM
EM（Expectation-Maximum）演算法也稱期望最大化演算法，它是最常見的隱變數估計方法，在機器學習中有極為廣泛的用途，例如常被用來學習高斯混合模型（Gaussian mixture model，簡稱GMM）的參數；隱式馬爾科夫演算法（HMM）、LDA主題模型的變分推斷等等。
EM演算法是一種迭代優化策略，由於它的計算方法中每一次迭代都分兩步，其中一個為期望步（E步），另一個為極大步（M步），一輪輪迭代更新隱含數據和模型分布參數，直到收斂，即得到我們需要的模型參數。
1. EM演算法推導過程
補充知識：Jensen不等式：
如果f是凸函數，函數的期望 大於等於 期望的函數。當且僅當下式中X是常量時，該式取等號。（應用於凹函數時，不等號方向相反）
2. EM演算法流程
3. EM演算法的其他問題
上面介紹的傳統EM演算法對初始值敏感，聚類結果隨不同的初始值而波動較大。總的來說，EM演算法收斂的優劣很大程度上取決於其初始參數。
EM演算法可以保證收斂到一個穩定點，即EM演算法是一定收斂的。
EM演算法可以保證收斂到一個穩定點，但是卻不能保證收斂到全局的極大值點，因此它是局部最優的演算法，當然，如果我們的優化目標是凸的，則EM演算法可以保證收斂到全局最大值，這點和梯度下降法這樣的迭代演算法相同。
EM演算法的簡單實例： https://zhuanlan.hu.com/p/40991784
參考：
https://zhuanlan.hu.com/p/40991784
https://blog.csdn.net/u011067360/article/details/24368085
8. 數據分析中的缺失值處理
數據分析中的缺失值處理
沒有高質量的數據，就沒有高質量的數據挖掘結果，數據值缺失是數據分析中經常遇到的問題之一。當缺失比例很小時，可直接對缺失記錄進行舍棄或進行手工處理。但在實際數據中，往往缺失數據佔有相當的比重。這時如果手工處理非常低效，如果舍棄缺失記錄，則會丟失大量信息，使不完全觀測數據與完全觀測數據間產生系統差異，對這樣的數據進行分析，你很可能會得出錯誤的結論。
造成數據缺失的原因
現實世界中的數據異常雜亂，屬性值缺失的情況經常發全甚至是不可避免的。造成數據缺失的原因是多方面的：
信息暫時無法獲取。例如在醫療資料庫中，並非所有病人的所有臨床檢驗結果都能在給定的時間內得到，就致使一部分屬性值空缺出來。
信息被遺漏。可能是因為輸入時認為不重要、忘記填寫了或對數據理解錯誤而遺漏，也可能是由於數據採集設備的故障、存儲介質的故障、傳輸媒體的故障、一些人為因素等原因而丟失。
有些對象的某個或某些屬性是不可用的。如一個未婚者的配偶姓名、一個兒童的固定收入狀況等。
有些信息（被認為）是不重要的。如一個屬性的取值與給定語境是無關。
獲取這些信息的代價太大。
系統實時性能要求較高。即要求得到這些信息前迅速做出判斷或決策。
對缺失值的處理要具體問題具體分析，為什麼要具體問題具體分析呢？因為屬性缺失有時並不意味著數據缺失，缺失本身是包含信息的，所以需要根據不同應用場景下缺失值可能包含的信息進行合理填充。下面通過一些例子來說明如何具體問題具體分析，仁者見仁智者見智，僅供參考：
「年收入」：商品推薦場景下填充平均值，借貸額度場景下填充最小值；
「行為時間點」：填充眾數；
「價格」：商品推薦場景下填充最小值，商品匹配場景下填充平均值；
「人體壽命」：保險費用估計場景下填充最大值，人口估計場景下填充平均值；
「駕齡」：沒有填寫這一項的用戶可能是沒有車，為它填充為0較為合理；
」本科畢業時間」：沒有填寫這一項的用戶可能是沒有上大學，為它填充正無窮比較合理；
「婚姻狀態」：沒有填寫這一項的用戶可能對自己的隱私比較敏感，應單獨設為一個分類，如已婚1、未婚0、未填-1。
缺失的類型
在對缺失數據進行處理前，了解數據缺失的機制和形式是十分必要的。將數據集中不含缺失值的變數稱為完全變數，數據集中含有缺失值的變數稱為不完全變數。從缺失的分布來將缺失可以分為完全隨機缺失，隨機缺失和完全非隨機缺失。
完全隨機缺失（missing completely at random,MCAR）：指的是數據的缺失是完全隨機的，不依賴於任何不完全變數或完全變數，不影響樣本的無偏性。如家庭地址缺失。
隨機缺失(missing at random,MAR)：指的是數據的缺失不是完全隨機的，即該類數據的缺失依賴於其他完全變數。例如財務數據缺失情況與企業的大小有關。
非隨機缺失(missing not at random,MNAR)：指的是數據的缺失與不完全變數自身的取值有關。如高收入人群的不原意提供家庭收入。
對於隨機缺失和非隨機缺失,刪除記錄是不合適的,隨機缺失可以通過已知變數對缺失值進行估計；而非隨機缺失還沒有很好的解決辦法。
說明:對於分類問題，可以分析缺失的樣本中，類別之間的比例和整體數據集中，類別的比例
缺失值處理的必要性
數據缺失在許多研究領域都是一個復雜的問題。對數據挖掘來說，預設值的存在，造成了以下影響：
系統丟失了大量的有用信息；
系統中所表現出的不確定性更加顯著，系統中蘊涵的確定性成分更難把握；
包含空值的數據會使挖掘過程陷入混亂，導致不可靠的輸出。
數據挖掘演算法本身更致力於避免數據過分擬合所建的模型，這一特性使得它難以通過自身的演算法去很好地處理不完整數據。因此，預設值需要通過專門的方法進行推導、填充等，以減少數據挖掘演算法與實際應用之間的差距。
缺失值處理方法的分析與比較
處理不完整數據集的方法主要有三大類：刪除元組、數據補齊、不處理。
刪除元組
也就是將存在遺漏信息屬性值的對象（元組，記錄）刪除，從而得到一個完備的信息表。這種方法簡單易行，在對象有多個屬性缺失值、被刪除的含缺失值的對象與初始數據集的數據量相比非常小的情況下非常有效，類標號缺失時通常使用該方法。
然而，這種方法卻有很大的局限性。它以減少歷史數據來換取信息的完備，會丟棄大量隱藏在這些對象中的信息。在初始數據集包含的對象很少的情況下，刪除少量對象足以嚴重影響信息的客觀性和結果的正確性；因此，當缺失數據所佔比例較大，特別當遺漏數據非隨機分布時，這種方法可能導致數據發生偏離，從而引出錯誤的結論。
說明:刪除元組，或者直接刪除該列特徵，有時候會導致性能下降。
數據補齊
這類方法是用一定的值去填充空值，從而使信息表完備化。通常基於統計學原理，根據初始數據集中其餘對象取值的分布情況來對一個缺失值進行填充。數據挖掘中常用的有以下幾種補齊方法：
人工填寫（filling manually）
由於最了解數據的還是用戶自己，因此這個方法產生數據偏離最小，可能是填充效果最好的一種。然而一般來說，該方法很費時，當數據規模很大、空值很多的時候，該方法是不可行的。
特殊值填充（Treating Missing Attribute values as Special values）
將空值作為一種特殊的屬性值來處理，它不同於其他的任何屬性值。如所有的空值都用「unknown」填充。這樣將形成另一個有趣的概念，可能導致嚴重的數據偏離，一般不推薦使用。
平均值填充（Mean/Mode Completer）
將初始數據集中的屬性分為數值屬性和非數值屬性來分別進行處理。
如果空值是數值型的，就根據該屬性在其他所有對象的取值的平均值來填充該缺失的屬性值；
如果空值是非數值型的，就根據統計學中的眾數原理，用該屬性在其他所有對象的取值次數最多的值(即出現頻率最高的值)來補齊該缺失的屬性值。與其相似的另一種方法叫條件平均值填充法（Conditional Mean Completer）。在該方法中，用於求平均的值並不是從數據集的所有對象中取，而是從與該對象具有相同決策屬性值的對象中取得。
這兩種數據的補齊方法，其基本的出發點都是一樣的，以最大概率可能的取值來補充缺失的屬性值，只是在具體方法上有一點不同。與其他方法相比，它是用現存數據的多數信息來推測缺失值。
熱卡填充（Hot deck imputation，或就近補齊）
對於一個包含空值的對象，熱卡填充法在完整數據中找到一個與它最相似的對象，然後用這個相似對象的值來進行填充。不同的問題可能會選用不同的標准來對相似進行判定。該方法概念上很簡單，且利用了數據間的關系來進行空值估計。這個方法的缺點在於難以定義相似標准，主觀因素較多。
K最近距離鄰法（K-means clustering）
先根據歐式距離或相關分析來確定距離具有缺失數據樣本最近的K個樣本，將這K個值加權平均來估計該樣本的缺失數據。
使用所有可能的值填充（Assigning All Possible values of the Attribute）
用空缺屬性值的所有可能的屬性取值來填充，能夠得到較好的補齊效果。但是，當數據量很大或者遺漏的屬性值較多時，其計算的代價很大，可能的測試方案很多。
組合完整化方法（Combinatorial Completer）
用空缺屬性值的所有可能的屬性取值來試，並從最終屬性的約簡結果中選擇最好的一個作為填補的屬性值。這是以約簡為目的的數據補齊方法，能夠得到好的約簡結果；但是，當數據量很大或者遺漏的屬性值較多時，其計算的代價很大。
回歸（Regression）
基於完整的數據集，建立回歸方程。對於包含空值的對象，將已知屬性值代入方程來估計未知屬性值，以此估計值來進行填充。當變數不是線性相關時會導致有偏差的估計。
期望值最大化方法（Expectation maximization，EM）
EM演算法是一種在不完全數據情況下計算極大似然估計或者後驗分布的迭代演算法。在每一迭代循環過程中交替執行兩個步驟：E步（Excepctaion step,期望步），在給定完全數據和前一次迭代所得到的參數估計的情況下計算完全數據對應的對數似然函數的條件期望；M步（Maximzation step，極大化步），用極大化對數似然函數以確定參數的值，並用於下步的迭代。演算法在E步和M步之間不斷迭代直至收斂，即兩次迭代之間的參數變化小於一個預先給定的閾值時結束。該方法可能會陷入局部極值，收斂速度也不是很快，並且計算很復雜。
多重填補（Multiple Imputation，MI）
多重填補方法分為三個步驟：
為每個空值產生一套可能的填補值，這些值反映了無響應模型的不確定性；每個值都被用來填補數據集中的缺失值，產生若干個完整數據集合。
每個填補數據集合都用針對完整數據集的統計方法進行統計分析。
對來自各個填補數據集的結果進行綜合，產生最終的統計推斷，這一推斷考慮到了由於數據填補而產生的不確定性。該方法將空缺值視為隨機樣本，這樣計算出來的統計推斷可能受到空缺值的不確定性的影響。該方法的計算也很復雜。
C4.5方法
通過尋找屬性間的關系來對遺失值填充。它尋找之間具有最大相關性的兩個屬性，其中沒有遺失值的一個稱為代理屬性，另一個稱為原始屬性，用代理屬性決定原始屬性中的遺失值。這種基於規則歸納的方法只能處理基數較小的名詞型屬性。
就幾種基於統計的方法而言，刪除元組法和平均值法差於熱卡填充法、期望值最大化方法和多重填充法；回歸是比較好的一種方法，但仍比不上hot deck和EM；EM缺少MI包含的不確定成分。值得注意的是，這些方法直接處理的是模型參數的估計而不是空缺值預測本身。它們合適於處理無監督學習的問題，而對有監督學習來說，情況就不盡相同了。譬如，你可以刪除包含空值的對象用完整的數據集來進行訓練，但預測時你卻不能忽略包含空值的對象。另外，C4.5和使用所有可能的值填充方法也有較好的補齊效果，人工填寫和特殊值填充則是一般不推薦使用的。
不處理
補齊處理只是將未知值補以我們的主觀估計值，不一定完全符合客觀事實，在對不完備信息進行補齊處理的同時，我們或多或少地改變了原始的信息系統。而且，對空值不正確的填充往往將新的雜訊引入數據中，使挖掘任務產生錯誤的結果。因此，在許多情況下，我們還是希望在保持原始信息不發生變化的前提下對信息系統進行處理。
不處理缺失值，直接在包含空值的數據上進行數據挖掘的方法包括貝葉斯網路和人工神經網路等。
貝葉斯網路提供了一種自然的表示變數間因果信息的方法，用來發現數據間的潛在關系。在這個網路中，用節點表示變數，有向邊表示變數間的依賴關系。貝葉斯網路僅適合於對領域知識具有一定了解的情況，至少對變數間的依賴關系較清楚的情況。否則直接從數據中學習貝葉斯網的結構不但復雜性較高（隨著變數的增加，指數級增加），網路維護代價昂貴，而且它的估計參數較多，為系統帶來了高方差，影響了它的預測精度。
人工神經網路可以有效的對付缺失值，但人工神經網路在這方面的研究還有待進一步深入展開。
知乎上的一種方案：
4.把變數映射到高維空間。比如性別，有男、女、缺失三種情況，則映射成3個變數：是否男、是否女、是否缺失。連續型變數也可以這樣處理。比如Google、網路的CTR預估模型，預處理時會把所有變數都這樣處理，達到幾億維。這樣做的好處是完整保留了原始數據的全部信息、不用考慮缺失值、不用考慮線性不可分之類的問題。缺點是計算量大大提升。
而且只有在樣本量非常大的時候效果才好，否則會因為過於稀疏，效果很差。
總結
大多數數據挖掘系統都是在數據挖掘之前的數據預處理階段採用第一、第二類方法來對空缺數據進行處理。並不存在一種處理空值的方法可以適合於任何問題。無論哪種方式填充，都無法避免主觀因素對原系統的影響，並且在空值過多的情形下將系統完備化是不可行的。從理論上來說，貝葉斯考慮了一切，但是只有當數據集較小或滿足某些條件（如多元正態分布）時完全貝葉斯分析才是可行的。而現階段人工神經網路方法在數據挖掘中的應用仍很有限。值得一提的是，採用不精確信息處理數據的不完備性已得到了廣泛的研究。不完備數據的表達方法所依據的理論主要有可信度理論、概率論、模糊集合論、可能性理論，D-S的證據理論等。
9. C語言中0.5f代表啥,和0.5F有區別么
f指float型，c中的實數默認為double，除非後面跟著f的才指float。若把它賦給一個float型變數則會有精度損失的編譯警告提示，0.5f的意思是告訴編譯器將這個0.5按float型處理。這里的0.5f和0.5F沒有區別。例如0xa5、0Xa5、0xA5、0XA5完全相同。
(9)em演算法的例子擴展閱讀：
單精度浮點型（float ）專指佔用32位存儲空間的單精度（single-precision ）值。單精度在一些處理器上比雙精度更快而且只佔用雙精度一半的空間，但是當值很大或很小的時候，它將變得不精確。當你需要小數部分並且對精度的要求不高時，單精度浮點型的變數是有用的。
雙精度型，正如它的關鍵字「double 」表示的，佔用64位的存儲空間。在一些現代的被優化用來進行高速數學計算的處理器上雙精度型實際上比單精度的快。所有超出人類經驗的數學函數，如sin( )，cos( ) ，tan()和sqrt( )均返回雙精度的值。