em演算法r語言
『壹』 缺失的參數mac什麼意思
對於你的蘋果電腦出現了缺少參數這樣的提醒很有可能是你的插件沒有安裝完全。
『貳』 大數據挖掘需要學習哪些技術大數據的工作
處理大數據需要一個綜合、復雜、多方位的系統，系統中的處理模塊有很多，而數據挖掘技術以一個獨立的身份存在於處理大數據的整個系統之中，與其他模塊之間相輔相成、協調發展。在大數據時代中，數據挖掘技術的地位是無可比擬的。
數據挖掘的基本流程
在正式講數據挖掘知識清單之前，我先和你聊聊數據挖掘的基本流程。
數據挖掘的過程可以分成以下 6 個步驟。
商業理解：數據挖掘不是我們的目的，我們的目的是更好地幫助業務，所以第一步我們要從商業的角度理解項目需求，在這個基礎上，再對數據挖掘的目標進行定義。
數據理解：嘗試收集部分數據，然後對數據進行探索，包括數據描述、數據質量驗證等。這有助於你對收集的數據有個初步的認知。
數據准備：開始收集數據，並對數據進行清洗、數據集成等操作，完成數據挖掘前的准備工作。
模型建立：選擇和應用各種數據挖掘模型，並進行優化，以便得到更好的分類結果。
模型評估：對模型進行評價，並檢查構建模型的每個步驟，確認模型是否實現了預定的商業目標。
上線發布：模型的作用是從數據中找到金礦，也就是我們所說的「知識」，獲得的知識需要轉化成用戶可以使用的方式，呈現的形式可以是一份報告，也可以是實現一個比較復雜的、可重復的數據挖掘過程。數據挖掘結果如果是日常運營的一部分，那麼後續的監控和維護就會變得重要。
數據挖掘的十大演算法
為了進行數據挖掘任務，數據科學家們提出了各種模型，在眾多的數據挖掘模型中，國際權威的學術組織 ICDM （the IEEE International Conference on Data Mining）評選出了十大經典的演算法。
按照不同的目的，我可以將這些演算法分成四類，以便你更好的理解。
分類演算法：C4.5，樸素貝葉斯（Naive Bayes），SVM，KNN，Adaboost，CART
聚類演算法：K-Means，EM
關聯分析：Apriori
連接分析：PageRank
1. C4.5
C4.5 演算法是得票最高的演算法，可以說是十大演算法之首。C4.5 是決策樹的演算法，它創造性地在決策樹構造過程中就進行了剪枝，並且可以處理連續的屬性，也能對不完整的數據進行處理。它可以說是決策樹分類中，具有里程碑式意義的演算法。
2. 樸素貝葉斯（Naive Bayes）
樸素貝葉斯模型是基於概率論的原理，它的思想是這樣的：對於給出的未知物體想要進行分類，就需要求解在這個未知物體出現的條件下各個類別出現的概率，哪個最大，就認為這個未知物體屬於哪個分類。
3. SVM
SVM 的中文叫支持向量機，英文是 Support Vector Machine，簡稱 SVM。SVM 在訓練中建立了一個超平面的分類模型。如果你對超平面不理解，沒有關系，我在後面的演算法篇會給你進行介紹。
4. KNN
KNN 也叫 K 最近鄰演算法，英文是 K-Nearest Neighbor。所謂 K 近鄰，就是每個樣本都可以用它最接近的 K 個鄰居來代表。如果一個樣本，它的 K 個最接近的鄰居都屬於分類 A，那麼這個樣本也屬於分類 A。
5. AdaBoost
Adaboost 在訓練中建立了一個聯合的分類模型。boost 在英文中代表提升的意思，所以 Adaboost 是個構建分類器的提升演算法。它可以讓我們多個弱的分類器組成一個強的分類器，所以 Adaboost 也是一個常用的分類演算法。
6. CART
CART 代表分類和回歸樹，英文是 Classification and Regression Trees。像英文一樣，它構建了兩棵樹：一棵是分類樹，另一個是回歸樹。和 C4.5 一樣，它是一個決策樹學習方法。
7. Apriori
Apriori 是一種挖掘關聯規則（association rules）的演算法，它通過挖掘頻繁項集（frequent item sets）來揭示物品之間的關聯關系，被廣泛應用到商業挖掘和網路安全等領域中。頻繁項集是指經常出現在一起的物品的集合，關聯規則暗示著兩種物品之間可能存在很強的關系。
8. K-Means
K-Means 演算法是一個聚類演算法。你可以這么理解，最終我想把物體劃分成 K 類。假設每個類別裡面，都有個「中心點」，即意見領袖，它是這個類別的核心。現在我有一個新點要歸類，這時候就只要計算這個新點與 K 個中心點的距離，距離哪個中心點近，就變成了哪個類別。
9. EM
EM 演算法也叫最大期望演算法，是求參數的最大似然估計的一種方法。原理是這樣的：假設我們想要評估參數 A 和參數 B，在開始狀態下二者都是未知的，並且知道了 A 的信息就可以得到 B 的信息，反過來知道了 B 也就得到了 A。可以考慮首先賦予 A 某個初值，以此得到 B 的估值，然後從 B 的估值出發，重新估計 A 的取值，這個過程一直持續到收斂為止。
EM 演算法經常用於聚類和機器學習領域中。
10. PageRank
PageRank 起源於論文影響力的計算方式，如果一篇文論被引入的次數越多，就代表這篇論文的影響力越強。同樣 PageRank 被 Google 創造性地應用到了網頁權重的計算中：當一個頁面鏈出的頁面越多，說明這個頁面的「參考文獻」越多，當這個頁面被鏈入的頻率越高，說明這個頁面被引用的次數越高。基於這個原理，我們可以得到網站的權重劃分。
最後
演算法可以說是數據挖掘的靈魂，也是最精華的部分。這 10 個經典演算法在整個數據挖掘領域中的得票最高的，後面的一些其他演算法也基本上都是在這個基礎上進行改進和創新。今天你先對十大演算法有一個初步的了解，你只需要做到心中有數就可以了。
『叄』 急求如何用MATLab實現EM演算法
最大期望演算法（Expectation Maximization Algorithm，又譯期望最大化演算法），是一種迭代演算法，用於含有隱變數（hidden variable）的概率參數模型的最大似然估計或極大後驗概率估計。
實現代碼如下：
02 Jul 2015 hui cheng
06 May 2015 Mei Dong
very good job！
12 Nov 2014 Jobaer
please, sir , send me a source code on image segmentation. I want to segement weeds from soil.My email address is [email protected] .
18 Jan 2014 HuangJunFeng HuangJunFeng
16 Dec 2013 widdy
19 Feb 2013 Tong Chu
01 Jan 2013 manas nag
sir
after executing this it is declaring that k is undefined
04 Dec 2012 Jason Rebello
Some people want to know how to view the segmented image. For example suppose you have two classes ie k=2; us the following code to view it
[row col] = size(ima);
final_img = zeros(row,col);
for i=1:row
for j=1:col
if mask(i,j)==1
final_img(i,j)=1;
else
final_img(i,j)=255;
end
end
end
imshow(final_img/255);
This is a naive way of viewing it .. you may have to change somethings if k>2. Anywayz hope it helps. The mask basically stores the segmented image.
16 Nov 2011 surya
great job.i am using the same algorithm in my project for x-ray images.can u please tell how to view the segmented image
Comment only
18 Feb 2010 prashanth
Sir, I am starting my project on the same subject. i was unable to find the algorithm psuedocode for em algorithm. kindly send me one at [email protected]. Also can u just tell me the explanation for the source code..
Comment only
21 Dec 2009 maria
Hi, could you please explain how I can use "mask" to see result of segmentation??
Comment only
17 Mar 2009 Patrick
Greetings Prof., Very nice .. could you please let me know what exactly does the mask variable store ? As what i see it classifies each pixel that falls within each class . Am i correct in that assumption?
Thanks
24 May 2008 darko brajicic
great job!
27 Apr 2008 Bilo Bilo
Thanks
15 Aug 2007 smiled fisher
06 Nov 2006 Karthik Raja T
HI, Greetings,can it for my color image segmentation ?
04 Sep 2006 Mikel Rodriguez
12 Jul 2006 carlos mas
03 May 2006 Mohamed Sami
look when u make a code u must show us the output to see it then u read ur code .. try to explain that with output we can see bye
『肆』 電流電壓有效值，平均值
單相正弦交流電的有效值為220V、峰值為310V（有效值乘以1.414也就是根號2）、算術平均值為0V、整流平均值（絕對值的平均值）為198V（有效值除以1.11
也咳喲乘以0.9）。
三相正弦交流電的有效值為380V、峰值為540V（有效值乘以1.414也就是根號2）、算術平均值為0V、整流平均值（絕對值的平均值）為342V（有效值除以1.11
也咳喲乘以0.9）。
三相電的相電壓有效值（星形連接相電壓為220V，三角形連接相電壓為380V）。
三相電的線電壓有效值為380V。
『伍』 平衡二叉樹的各種演算法實現
平衡二叉樹（AVL）
那對圖 1 進行下改造，把數據重新節點重新連接下，圖 2 如下：
圖 3 是一棵高度為 4 的 AVL 樹，有 5 層共 31 個節點，橙色是 ROOT 節點，藍色是葉子節點。對 AVL 樹的查找來看起來已經很完美了，能不能再優化下？比如，能否把這個節點里存放的 KEY 增加？能否減少樹的總層數？那減少縱深只能從橫向來想辦法，這時候可以考慮用多叉樹。
『陸』 人工智慧是學習什麼
1、學習並掌握一些數學知識
高等數學是基礎中的基礎，一切理工科都需要這個打底，數據挖掘、人工智慧、模式識別此類跟數據打交道的又尤其需要多元微積分運算基礎。
線性代數很重要，一般來說線性模型是你最先要考慮的模型，加上很可能要處理多維數據，你需要用線性代數來簡潔清晰的描述問題，為分析求解奠定基礎。
概率論、數理統計、隨機過程更是少不了，涉及數據的問題，不確定性幾乎是不可避免的，引入隨機變數順理成章，相關理論、方法、模型非常豐富。很多機器學習的演算法都是建立在概率論和統計學的基礎上的，比如貝葉斯分類器、高斯隱馬爾可夫鏈。
再就是優化理論與演算法，除非你的問題是像二元一次方程求根那樣有現成的公式，否則你將不得不面對各種看起來無解但是要解的問題，優化將是你的GPS為你指路。
以上這些知識打底，就可以開拔了，針對具體應用再補充相關的知識與理論，比如說一些我覺得有幫助的是數值計算、圖論、拓撲，更理論一點的還有實/復分析、測度論，偏工程類一點的還有信號處理、數據結構。
2、掌握經典機器學習理論和演算法
如果有時間可以為自己建立一個機器學習的知識圖譜，並爭取掌握每一個經典的機器學習理論和演算法，我簡單地總結如下：
1) 回歸演算法：常見的回歸演算法包括最小二乘法（OrdinaryLeast Square），邏輯回歸（Logistic Regression），逐步式回歸（Stepwise Regression），多元自適應回歸樣條（MultivariateAdaptive Regression Splines）以及本地散點平滑估計（Locally Estimated Scatterplot Smoothing）；
2) 基於實例的演算法：常見的演算法包括 k-Nearest Neighbor(KNN), 學習矢量量化（Learning Vector Quantization， LVQ），以及自組織映射演算法（Self-Organizing Map ， SOM）；
3) 基於正則化方法：常見的演算法包括：Ridge Regression， Least Absolute Shrinkage and Selection Operator（LASSO），以及彈性網路（Elastic Net）；
4) 決策樹學習：常見的演算法包括：分類及回歸樹（ClassificationAnd Regression Tree， CART）， ID3 (Iterative Dichotomiser 3)， C4.5， Chi-squared Automatic Interaction Detection(CHAID), Decision Stump, 隨機森林（Random Forest）， 多元自適應回歸樣條（MARS）以及梯度推進機（Gradient Boosting Machine， GBM）；
5) 基於貝葉斯方法：常見演算法包括：樸素貝葉斯演算法，平均單依賴估計（AveragedOne-Dependence Estimators， AODE），以及Bayesian Belief Network（BBN）；
6) 基於核的演算法：常見的演算法包括支持向量機（SupportVector Machine， SVM）， 徑向基函數（Radial Basis Function ，RBF)， 以及線性判別分析（Linear Discriminate Analysis ，LDA)等；
7) 聚類演算法：常見的聚類演算法包括 k-Means演算法以及期望最大化演算法（Expectation Maximization， EM）；
8) 基於關聯規則學習：常見演算法包括 Apriori演算法和Eclat演算法等；
9) 人工神經網路：重要的人工神經網路演算法包括：感知器神經網路（PerceptronNeural Network）, 反向傳遞（Back Propagation）， Hopfield網路，自組織映射（Self-OrganizingMap, SOM）。學習矢量量化（Learning Vector Quantization， LVQ）；
10) 深度學習：常見的深度學習演算法包括：受限波爾茲曼機（RestrictedBoltzmann Machine， RBN）， Deep Belief Networks（DBN），卷積網路（Convolutional Network）, 堆棧式自動編碼器（Stacked Auto-encoders）；
11) 降低維度的演算法：常見的演算法包括主成份分析（PrincipleComponent Analysis， PCA），偏最小二乘回歸（Partial Least Square Regression，PLS）， Sammon映射，多維尺度（Multi-Dimensional Scaling, MDS）, 投影追蹤（ProjectionPursuit）等；
12) 集成演算法：常見的演算法包括：Boosting， Bootstrapped Aggregation（Bagging），AdaBoost，堆疊泛化（Stacked Generalization， Blending），梯度推進機（GradientBoosting Machine, GBM），隨機森林（Random Forest）。
3、掌握一種編程工具，比如Python
一方面Python是腳本語言，簡便，拿個記事本就能寫，寫完拿控制台就能跑；另外，Python非常高效，效率比java、r、matlab高。matlab雖然包也多，但是效率是這四個裡面最低的。
4、了解行業最新動態和研究成果，比如各大牛的經典論文、博客、讀書筆記、微博微信等媒體資訊。
5、買一個GPU，找一個開源框架，自己多動手訓練深度神經網路，多動手寫寫代碼，多做一些與人工智慧相關的項目。
6、選擇自己感興趣或者工作相關的一個領域深入下去
人工智慧有很多方向，比如NLP、語音識別、計算機視覺等等，生命有限，必須得選一個方向深入的鑽研下去，這樣才能成為人工智慧領域的大牛，有所成就。
根據網路給的定義，人工智慧（Artificial Intelligence），英文縮寫為AI。它是研究、開發用於模擬、延伸和擴展人的還能的理論、方法、技術及應用系統的一門新的技術科學。
網路關於人工智慧的定義詳解中說道：人工智慧是計算機的一個分支，二十世紀七十年代以來被稱為世界三大尖端技術之一（空間技術、能源技術、人工智慧）。也被認為是二十一世紀三大尖端技術（基因工程、納米科學、人工智慧）之一。這是因為近三十年來它獲得了迅速的發展，在很多學科領域都獲得了廣泛應用，並取得了豐碩的成果，人工智慧已逐步成為一個獨立的分支，無論在理論和實踐上都已自成一個系統。
綜上，從定義上講，人工智慧是一項技術。
『柒』 kmeans 質心為什麼會收斂
直接證明Kmeans收斂其實是無本之木
嚴格說，kmeans過程收斂是因為 他的數據劃分判斷依據 歐式距離 與 均值算質心 這兩步搭配
恰好是EM演算法的特例，EM演算法的收斂性非常復雜，解釋不清楚。
『捌』 什麼叫EBF演算法
通常我們用K-平均法和K-鄰近法估計橢圓基函數(EBF)中心位置與函數寬度等參數.但上述的方法在輸入矢量包含相關元素時存在性能次優化問題.另外,對於EBF網路來說,如何選擇適當的類的數目仍是一個難以解決的問題.本文提出用結合改進的RPCL演算法和EM演算法的EBF網路結構來解決上述問題.在話者識別的軟體開發中,證明這種結構具有更優越的樣本表徵能力以及更好的識別率.
『玖』 最大似然估計單調增怎麼辦
熱門頻道
首頁
博客
學院
VIP
APP
問答
下載
推薦頻道
論壇
活動
招聘
專題
打開CSDN APP
Copyright © 1999-2020, CSDN.NET, All Rights Reserved
程序員必備的瀏覽器插件
登錄
極大似然估計與最大似然估計 原創
2012-04-10 09:04:52
deepfuture
碼齡11年
關注
1、極大似然估計是一種目前仍然得到廣泛應用的方法。它是建立在極大似然原理的基礎上的一個統計方法，極大似然原理的直觀想法是：一個隨機試驗如有若干個可能的結果A，B，C，…。若在一次試驗中，結果A出現，則一般認為試驗條件對A出現有利，也即A出現的概率很大。
可以這么理解，在多次試驗中，試驗條件X使眾多試驗結果的A結果發生的概率很大，我們計算這個試驗條件的相關參數。你還可以更廣泛地理解，在X發生的前提下，A發生的概率很大，我們知道A發生的概率，需要求出X發生的相關參數
極大似然估計是建立在這樣的思想上：已知某個參數能使這個樣本出現的概率最大，我們當然不會再去選擇其他小概率的樣本，所以乾脆就把這個參數作為估計的真實值。
2、求極大似然函數估計值的一般步驟：
（1） 寫出似然函數；
（2） 對似然函數取對數，並整理；
（3） 求導數 ；
（4） 解似然方程
極大似然估計，只是一種概率論在統計學的應用，它是參數估計的方法之一。說的是已知某個隨機樣本滿足某種概率分布，但是其中具體的參數不清楚，參數估計就是通過若干次試驗，觀察其結果，利用結果推出參數的大概值。
當然極大似然估計只是一種粗略的數學期望，要知道它的誤差大小還要做區間估計。
3、
最大似然估計法的基本思想
最大似然估計法的思想很簡單：在已經得到試驗結果的情況下，我們應該尋找使這個結果出現的可能性最大的那個作為真的估計。
我們分兩種情進行分析：
1．離散型總體
設為離散型隨機變數，其概率分布的形式為，則樣本 的概率分布為，在固定時，上式表示 取值的概率；當固定時，它是的函數，我們把它記為 並稱為似然函數。似然函數的值的大小意味著該樣本值出現的可能性的大小。既然已經得到了樣本值，那它出現的可能性應該是大的，即似然函數的值應該是大的。因而我們選擇使 達到最大值的那個作為真的估計。
2．連續型總體
設為連續型隨機變數，其概率密度函數為則為從該總體抽出的樣本。因為相互獨立且同分布，於是，樣本的聯合概率密度函數為
，在是固定時，它是在處的 密度，它的大小與落在附近的概率的大小成正比，而當樣本值固定時，它是的函數。我們仍把它記為並稱為似然函數。類似於剛才的討論，我們選擇使最大的那個作為真的估計。
總之，在有了試驗結果即樣本值時，似然函數反映了的各個不同值導出這個結果的可能性的大小。 我們選擇使達到最大值的那個作為真的估計。這種求點估計的方法就叫作最大似然法。
7.2.2最大似然估計的求法
假定現在我們已經觀測到一組樣本要去估計未知參數。一種直觀的想法是，哪一組能數值使現在的樣本出現的可能性最大，哪一組參數可能就是真正的參數，我們就要用它作為參數的估計值。這里，假定我們有一組樣本.如果對參數的兩組不同的值和，似然函數有如下關系
,
那麼，從又是概率密度函數的角度來看，上式的意義就是參數使出現的可能性比參數使出現的可能性大，當然參數比更像是真正的參數.這樣的分析就導致了參數估計的一種方法，即用使似然函數達到最大值的點,作為未知參數的估計，這就是所謂的最大似然估計。 現在我們討論求最大似然估計的具體方法.為簡單起見，以下記,求θ的極大似然估計就歸結為求的最大值點.由於對數函數是單調增函數，所以
(7.2.1)
與有相同的最大值點。而在許多情況下，求的最大值點比較簡單，於是，我們就將求的最大值點改為求的最大值點.對關於求導數，並命其等於零，得到方程組
, (7.2.2)
稱為似然方程組。解這個方程組，又能驗證它是一個極大值點，則它必是，也就是的最大值點，即為所求的最大似然估計。大多常用的重要例子多屬於這種情況。然而在一些情況下，問題比較復雜，似然方程組的解可能不唯一，這時就需要進一步判定哪一個是最大值點。
還需要指出，若函數關於的導數不存在時，我們就無法得到似然方程組 (7.2.2)，這時就必須根據最大似然估計的定義直接去的最大值點。
在一些情況下，我們需要估計。如果分別是的最大似然估計，則稱為的最大似然估計。
下面我們舉一些例子來說明求最大似然估計的方法。
例 7.2.1 設從正態總體抽出樣本，這里未知參數為mm 和（注意我們把看作一個參數）。似然函數為
=
它的對數為
，
似然方程組為
由第一式解得
， (7.2.3)
代入第二式得
. (7.2.4)
似然方程組有唯一解(，)，而且它一定是最大值點，這是因為當或或∞時，非負函數。於是和的最大似然估計為
，. (7.2.5)
這里，我們用大寫字母表示所有涉及的樣本，因為最大似然估計和都是統計量，離開了具體的一次試驗或觀測，它們都是隨機的。
例7.2.2設總體服從參數為的泊松分布，它的分布律為
，
有了樣本之後，參數λ的似然函數為
，
似然方程為
，
解得
.
因為的二階導數總是負值，可見，似然函數在處達到最大值。所以，是λ的最大似然估計。
例7.2.3 設總體為上的均勻分布，求的最大似然估計。
的概率密度函數為
對樣本，
很顯然，L(a，b)作為a和b的二元函數是不連續的。這時我們不能用似然方程組(7.2.2)來求最大似然估計，而必須從最大似然估計的定義出發，求L(a，b)的最大值。為使L(a，b)達到最大，b－a應該盡量地小，但b又不能小於，否則，L(a，b)=0。
類似地，a不能大過。因此，a和b的最大似然估計為
，
.
現在為止，我們以正態分布，泊松分布，均勻分布的參數以及事件發生的概率的估計為例子討論了矩估計和最大似然估計。在我們所舉的例子中，除了均勻分布外，兩種估計都是一致的。矩估計的優點是簡單，只需知道總體的矩，總體的分布形式不必知道。而最大似然估計則必須知道總體分布形式，並且在一般情況下，似然方程組的求解較復雜，往往需要在計算機上通過迭代運算才能計算出其近似解。
展開全文
極大似然估計法模擬程序
極大似然估計的實現，極大似然估計的實模擬程序，錨的坐標計算。
瀏覽器打開
邏輯回歸與最大似然估計推導
目錄 邏輯回歸（對數幾率回歸） 1.廣義線性模型 2.邏輯回歸的假設 3. 邏輯回歸的代價函數 為什麼LR中使用交叉熵損失函數而不使用MSE損失函數？ 3. 極大似然估計 4. 利用梯度下降法求解參數w 4.1 三種梯度下降方法的選擇 5.邏輯回歸優缺點： 參考資料： 邏輯回歸（對數幾率回歸） 邏輯回歸是一種分類演算法，不是回歸演算法，因為它用了和回歸類似的思想來解決了分類問題...
瀏覽器打開
deepfuture
這篇文章對你有幫助嗎？作為一名程序工程師，在評論區留下你的困惑或你的見解，大家一起來交流吧！
極大似然估計和最大似然估計定義
https://blog.csdn.net/z2539329562/article/details/79187967
瀏覽器打開
從最大似然到EM演算法淺解
從最大似然到EM演算法淺解 [email protected] http://blog.csdn.net/zouxy09 機器學習十大演算法之一：EM演算法。能評得上十大之一，讓人聽起來覺得挺NB的。什麼是NB啊，我們一般說某個人很NB，是因為他能解決一些別人解決不了的問題。神為什麼是神，因為神能做很多人做不了的事。那麼EM演算法能解決什麼問題呢？或者說EM演算法是因為什麼而來到這個世界
瀏覽器打開
...筆記_renxingzhadan的專欄_最大似然估計單調增怎麼辦
的似然函數分布圖 主要注意的是多數情況下,直接對變數進行求導反而會使得計算式子更加的復雜,此時可以借用對數函數。由於對數函數是單調增函數,所以 ...
從最大似然到EM演算法淺解_zouxy09的專欄
感性的說,因為下界不斷提高,所以極大似然估計單調增加,那麼最終我們會到達最大似然估計的最大值。理性分析的話,就會得到下面的東西: ...
極大似然估計和最大後驗估計
https://jiahao..com/s?id=1593811166204755239&wfr=spider&for=pc 機器學習中，一般只得到業務產生的數據集D，機器學習目的是通過數據D了解該項業務的過去（建模）和未來（預測和分類）。但你手頭上只有數據集D，沒有其他任何輔助信息，那麼如何建模？ 1.概率假設合理嗎？ 我們總是假設數據集D由某種概率分布生成...
瀏覽器打開
最大似然估計法（MLE）
最大似然估計（Maximum Likelihood Estimation），是一種統計方法，它用來求一個樣本集的相關概率密度函數的參數。最大似然估計中采樣需滿足一個很重要的假設，就是所有的采樣都是獨立同分布的。 一、最大似然估計法的基本思想 最大似然估計法的思想很簡單：在已經得到試驗結果的情況下，我們應該尋找使這個結果出現的可能性最大的那個 作為真 的估計。
瀏覽器打開
機器學習之最大似然演算法_linyanqing21的博客_最大化對數...
感性的說,因為下界不斷提高,所以極大似然估計單調增加,那麼最終我們會到達最大似然估計的最大值。理性分析的話,就會得到下面的東西: ...
MLE極大似然估計和EM最大期望演算法_好記性不如爛筆頭
感性的說,因為下界不斷提高,所以極大似然估計單調增加,那麼最終我們會到達最大似然估計的最大值。理性分析的話,就會得到下面的東西: ...
最大似然估計(Maximum likelihood estimation)(通過例子理解)
之前看書上的一直不理解到底什麼是似然，最後還是查了好幾篇文章後才明白，現在我來總結一下吧，要想看懂最大似然估計，首先我們要理解什麼是似然，不然對我來說不理解似然，我就一直在困惑最大似然估計到底要求的是個什麼東西，而那個未知數θ到底是個什麼東西TT原博主寫的太好了，這里 我就全盤奉上~似然與概率在統計學中，似然函數（likelihood function，通常簡寫為likelihood，似然）是一個非
瀏覽器打開
最大似然估計
最大似然估計 一、簡介 最大似然估計法 是費希爾(Fisher, R. A.)於1912年首次提出，並於1921年和1925年的工作中加以發展使其更臻於完善。最大似然估計是一種求估計量的方法，它在求估計量的方法中地位是比較高的。那麼最大似然估計法就是參數估計中的點估計中的一種方法的，按照變數的類型主要分為離散型隨機變數與連續性隨機變數。 二、離散型隨機變數與連續性隨機變數 1.離散型隨機變數： ...
瀏覽器打開
從最大似然到EM演算法淺解-講義文檔類資源
感性的說,因為下界不斷提扃,所以極大似然估計單調增加,那麼最終我們會到達最大似然估計的最大值。理性分析的話,就會得到下血的東西 (0+1)2∑∑?:(2)kea()...
極大似然估計(MLE)_weixinhum
x \ln x lnx是隨著 x x x增大而單調增大的,也就是說當 ln x \ln x lnx取得最大值的時候 x x x也取得最大值),這個時候極大似然估計變成...
最大似然估計 高斯分布 正態分布
極大似然估計法是求估計的另一種方法。它最早由高斯提出。後來為費歇在1912年的文章中重新提出，並且證明了這個方法的一些性質。極大似然估計這一名稱也是費歇給的。這是一種上前仍然得到廣泛應用的方法。它是建立在極大似然原理的基礎上的一個統計方法，極大似然原理的直觀想法是：一個隨機試驗如有若干個可能的結果A，B，C，…。若在一次試驗中，結果A出現，則一般認為試驗條件對A出現有利，也即A出現的概率很大。 ...
瀏覽器打開
【機器學習】MAP最大後驗估計和ML最大似然估計區別
MAP：maximun a posteriori 最大後驗估計 ML：maximun likelihood. 1 MAP A maximum a posteriori probability (MAP) estimate is an estimate of an unknown quantity, that equals the mode of the posterior d
瀏覽器打開
機器學習之極大似然估計詳解_daerzei的專欄
極大似然估計在機器學習中很多模型都會用到,理解了極大似然估計對後面學習機器學習有很大幫助。 極大似然估計聽著很高冷,光看名字就讓需要數學不好的同學望而卻步。
寫評論
評論
收藏
點贊
分享
APP記錄你的成長
『拾』 pattern recognition and machine learning這本書怎麼看
作者：Richardmore
這本書可以說是機器學習的經典學習之作。以前在上機器學習這么課的時候，很多細節還沒聯繫到，結果在讀論文中就顯得捉襟見肘。本文打算理清楚這本書的脈絡，也順便為學習機器學習的人打下一個學習路線圖。
1. 排除兩塊內容
現排除第五章的內容神經網路，之所以把神經網路先單列出來，原因一是一個比較獨立的研究脈絡，二是因為這部分因為深度學習的原因太熱了，所以我認為在學習機器學習中把神經網路單列出來學習，在交大的研究生課程安排中，神經網路是機器學習的後續課程。
對於第6，7章，也不在下面的學習路線中，因為這部分是關於核技巧方面的，主要是就是高斯過程回歸，高斯過程分類以及SVM等內容。
2. 一個概率圖框架為中心視角
排除了上面幾章的內容，PRML書中可以用下面的學習路線圖覆蓋，通過這個圖可以理清楚了各個內容的不同角色。
<img src="https://pic3.mg.com/_b.png" data-rawwidth="1888" data-rawheight="412" class="origin_image zh-lightbox-thumb" width="1888" data-original="https://pic3.mg.com/_r.png">
說明：
（1）一般模型中都會有隱變數因此，，因此對於P（X）的採用MLE學習的另一個技巧,便是第九章 EM演算法。條件是在M步時，Q要可以被analytically computed。
（2）至於為什麼近似，Exact Inference is hard we resort to approximation
3. 隱變數技巧
下面我們看看另外一個視角：隱變數技巧。隱變數不僅可以使得模型的表達能力豐富起來，而且通常對於隱變數往往富有一定的實際意義。
<img src="https://pic1.mg.com/_b.png" data-rawwidth="1764" data-rawheight="422" class="origin_image zh-lightbox-thumb" width="1764" data-original="https://pic1.mg.com/_r.png">
說明：
（1）這里所謂的結合模型中，在PRML中最後一章僅僅提到了以加法的方式進行模型集合，也就是mixture of experts，在論文Hinton G E. Training procts of experts by minimizing contrastive divergence[J]. Neural computation, 2002, 14(8): 1771-1800. 提出了proct of experts 模型，也就是以乘法的方式進行結合，RBM就是一種特殊的proct of experts 模型，而高斯混合模型便是加法模型的代表。
（2）隱變數的技巧是機器學習中一種重要的技巧，隱變數的加入不僅僅增加了模型的表達能力，而且，隱變數還可以被賦予某種特殊的意義，比如RBM模型中隱變數h被當成顯變數v的特徵抽象。這當然歸根結底是因為隱變數模型確實是現實世界真實存在的情況，unobserved but important variables do exist! 當然隱變數的引入也為模型的推斷帶來了新的挑戰，有很多比較好的隱變數模型往往找不到很高效的方法，而被限制著。
4. 例子說明
下面分別從上面兩個視角來分析RBM模型，貝葉斯線性回歸和序列模型。
4.1 RBM模型
RBM模型是一個無向2層對稱的圖模型，從隱變數的視角來看，它是一個以乘法方式結合的distributed models。當然隱變數的引入增加了模型的復雜性和表達能力，但是也為學習，推斷帶來了問題。對於RBM的參數學習，因為是無向圖，所以採用MLE最大化P（X），但是由於此時P（X，Z）難以評估，所以
<img src="https://pic2.mg.com/v2-_b.png" data-rawwidth="834" data-rawheight="94" class="origin_image zh-lightbox-thumb" width="834" data-original="https://pic2.mg.com/v2-_r.png">
很難計算，沒有在RBM的學習中不能像高斯混合模型那樣可以採取EM演算法。因此只能採取最為標準的做法，求取P（X）的梯度，結果梯度公式如下：
<img src="https://pic2.mg.com/v2-_b.png" data-rawwidth="800" data-rawheight="90" class="origin_image zh-lightbox-thumb" width="800" data-original="https://pic2.mg.com/v2-_r.png">
然而對於計算後面的model部分的積分需要知道模型的概率分布，評估模型的概率分布需要計算一個標准化的分母，難以計算。因此就需要依賴近似，由於p（v｜h），p（h｜v）都是可以分析公式表達，因此採用Gibbs sampler來數值逼近積分。當然後來Hinton G E. Training procts of experts by minimizing contrastive divergence[J].發現對於這一部分，Gibbs sampler 不需要多部的迭代，一次迭代就可以了，從而使的訓練RBM的時間代價大大降低了，後來（A fast learning algorithm for deep belief nets，2006）提出了貪婪式的訓練多層DBN（stacked RBM），每層都是訓練RBM，從而使的深度學習煥發新的活力（Recing the dimensionality of data with neural networks，2006）。
4.2 貝葉斯線性回歸Bayesian Linear Regression BLR
這個模型是最為基礎的，這個模型在PRML中，利用直接推斷，變分法推斷，MCMC采樣都是可以做的；因此便於比較不同演算法得到的結果。之前，本來打算在這里以LDA主題模型來舉例，雖然LDA的EM演算法， 變分法，以及Gibbs sampling 都是可以做的，但是模型太復雜，所以果斷放棄了，以BLR模型作為例子說明。
BLR是一個有向圖模型，是一個典型的貝葉斯網路（雖然簡單一點）。如果以一個貝葉斯的視角來看，其中的隱變數便是線性參數w，以及各種超參數α,β.....，在貝葉斯的處理視角之下，這些都會賦予一個先驗分布。當然，有些模型書中也提到，有不同層次上的貝葉斯網路。有的是僅僅對參數w賦予一個先驗分布，而對於其他的參數（hyperparameter）僅僅是作為模型參數，就是假設是一個渡固定的數值，然後再通過learn evidence function，其實說白了就是MLE，來尋找最佳的超參數α,β....。相比於把線性參數w，以及各種超參數α,β.....全部作為放入到貝葉斯網路中，這樣的做法顯然簡化了模型，降低了貝葉斯網路的復雜性。這個技巧也在多處的論文中出現。
從隱變數的角度來看，由於BLR模型相對簡單，其中並沒有隨機隱變數，僅僅是一些參數w，以及各種超參數α,β..的環境隱變數。
4.3 序列模型：隱馬爾可夫鏈HMM與條件隨機CRF
隱馬爾可夫鏈HMM這個模型是一個有向圖模型，典型的貝葉斯網路，只不過這個網路是一個線性鏈（linear chains），因此可以進行分析上推斷，要知道對於一般網路，並不存在通用的實用的inference演算法。因為HMM是一個有向圖模型。但是（1）在PRML書中，以及李航《統計學習》中並沒有把其當作一個貝葉斯網路來進行處理，對所有的參數比如發射概率，轉移矩陣概率都是模型的參數，而不是通過賦予一個先驗分布，從而納入到貝葉斯網路框架之中。因此對於模型而言，關鍵的便是通過MLE最大化P（X）來學習模型的參數，因為這里的有隱變數，因此在PRML，以及《統計學習》中都是通過EM演算法做的。（2）其實，HMM是一個典型的線性鏈式的貝葉斯網路，因此對於通過對其參數賦予先驗分布，進而從貝葉斯的角度，來對模型進行推斷是一個非常自然的想法。我在論文Sharon Goldwater， Thomas L Griffiths 論文 A Fully Bayesian Approach to Unsupervised Part-of-Speech Tagging，中作者採用了Bayesian HMM 重新做了POS任務。作者在文中還詳細羅列了Bayesian HMM 相比普通的HMM的優點：（a）可以使用先驗知識，例如在POS中語言的認知可以加入到先驗分布之中，而且（b）貝葉斯的推斷，是通過一個後驗分布推斷參數，相比MLE點估計，會更加准確。對於貝葉斯的推斷，作者在文中使用了Gibbs sample抽樣實現了數值采樣推斷模型。最後作者比較了Gibbs sample＋Bayesian HMM和普通的HMM ＋EM，在POS任務效果更加好。另外，對於本論文的作者Thomas L Griffiths，第一次接觸這個學者，是在讀Gibbs sample in LDA這篇文章，作者推導了LDA的各種的條件分布，然後基於Gibbs sample 進行采樣，記得Github上有Java版的實現代碼，其推導十分嚴謹，並且有代碼輔助，是學習LDA的一個捷徑。在近似推斷方面可以看出Thomas L Griffiths是一個堅定的數值采樣學派，而LDA的開山之作《Latent Dirichlet Allocation 》的作者David M. Blei，看了作者部分文章以後，發現這個人是在近似推斷方面是一個變分法的堅定學派，在《Latent Dirichlet Allocation 》之中，便是通過變分法進行推斷了，David M. Blei還寫了一個關於變分法的入門講義pdf，網上可以搜到。所以回看我們概率圖視角，做機器學習推斷是不可避免的，有的是變分法近似，有的是數值采樣近似，也有的是EM演算法試一試。至於選擇哪一種，就看你的問題哪一個比較簡單了。但是好像有的人對這些方面各有偏愛。
再說一下條件隨機場CRF，相比與HMM，這也是一個序列模型，在很多的NLP任務中，CRF都是state of art 的演算法，畢竟人家可以方便的特徵工程嘛。但是這種日子被深度學習取代了，在NLP方面，RNN（遞歸神經網路）要比CRF表現更好，見我之前博文基於RNN做語義理解和詞向量。先不說這么遠，CRF的模型架構上是一個典型的無向的鏈式概率圖模型，因此，（回看我們概率圖的視角），CRF的關鍵問題便是如何進行學習了P（X），好在求其該模型直接求其梯度並沒有太大的困難，具體可以參見李航的《統計學習》。
5 結束語
這篇文章，從概率圖，隱變數兩個視角對PRML中各個章節進行了串聯，並以RBM，BLR，序列模型（HMM&CRF）具體說明這種串聯。