馬爾科夫演算法

㈠ 馬爾可夫鏈的MRF

為了解決這些問題，我們提出一種新的分層 MRF 模型——半樹模型，其結構和圖15類似，仍然是四叉樹，只是層數比完整的四叉樹大大減少，相當於將完整的四叉樹截為兩部分，只取下面的這部分.模型最下層仍和圖像 大小一致，但最上層則不止一個節點.完整的四叉樹模型所具有的性質完全適用於半樹模型，不同點僅在於最上層,完整的樹模型從上到下構成 了完整的因果依賴性，而半樹模型的層間因果關系被截斷，該層節點的父節點及祖先均被刪去，因此該層中的各 節點不具有條件獨立性，即不滿足上述的性質2,因而對這一層轉為考慮層內相鄰節點間的關系.半樹模型和完 整的樹模型相比，層次減少了許多，這樣，層次間的信息傳遞快了，概率值也不會因為過多層次的逐層計算而小 到出現下溢.但第 0 層帶來了新的問題，我們必須得考慮節點間的交互，才能得出正確的推導結果，也正是因為在 第 0 層考慮了相鄰節點間的影響，使得該模型的塊現象要好於完整的樹模型.對於層次數的選取，我們認為不宜多，太多則達不到簡化模型的目的，其優勢體現不出來，但也不能太少，因為第0 層的概率計算仍然要採用非迭代的演算法，層數少表明第0 層的節點數仍較多，計算費時，所以在實驗中將 層數取為完整層次數的一半或一半稍少.
MPM 演算法
3半樹模型的 MPM 演算法
圖像分割即已知觀測圖像 y,估計 X 的配置，採用貝葉斯估計器，可由一個優化問題來表示：
?x = arg min [E C ( x,x ）′ | Y = y],x其中代價函數 C 給出了真實配置為 x 而實際分割結果為 x′時的代價.在已知 y 的情況下，最小化這一代價的期 望，從而得到最佳的分割.代價函數取法不同得到了不同的估計器，若 C(x,x′）=1?δ(x,x′）（當 x=x′時δ(x,x′）=1,否則 δ(x,x′）=0)得到的是 MAP 估計器，它意味著 x 和 x′只要在一個像素處有不同，則代價為 1,對誤分類的懲罰比較重，汪西莉 等：一種分層馬爾可夫圖像模型及其推導演算法
而在實際中存在一些誤分類是完全允許的.若將半樹模型的 MPM 演算法記為 HT-MPM,它分為向上演算法和向下演算法兩步，向上演算法自下而上根據式⑵、 式 ⑶逐層計 算P(yd(s)|xs)和 P(xs,xρ(s)|yd(s)），對最下層 P(yd(s)|xs)=P(ys|xs). 向下演算法自上 而下根據 式 ⑴逐層計算 P(xs|y)，對最上層由 P(x0|y)采樣 x0⑴，…,x0(n),

㈡ 馬爾科夫鏈與證明演算法收斂性是什麼關系

的讓他今年通過紀念日

㈢ 與離散時間馬爾可夫鏈

你想問的是馬爾可夫鏈嗎？還是想問離散時間系統？
機器學習演算法中，馬爾可夫鏈(Markov chain)是個很重要的概念。馬爾可夫鏈（Markov chain），又稱離散時間馬爾可夫鏈（discrete-time Markov chain），因俄國數學家安德烈·馬爾可夫（俄語：Андрей Андреевич Марков）得名，為狀態空間中經過從一個狀態到另一個狀態的轉換的隨機過程。該過程要求具備「無記憶」的性質：下一狀態的概率分布只能由當前狀態決定，在時間序列中它前面的事件均與之無關。這種特定類型的「無記憶性」稱作馬爾可夫性質。馬爾科夫鏈作為實際過程的統計模型具有許多應用。
在馬爾可夫鏈的每一步，系統根據概率分布，可以從一個狀態變到另一個狀態，也可以保持當前狀態。狀態的改變叫做轉移，與不同的狀態改變相關的概率叫做轉移概率。隨機漫步就是馬爾可夫鏈的例子。隨機漫步中每一步的狀態是在圖形中的點，每一步可以移動到任何一個相鄰的點，在這里移動到每一個點的概率都是相同的（無論之前漫步路徑是如何的）。
離散時間系統是根據預先設定的演算法規則，將輸入離散時間信號轉換為所要求的輸出離散時間信號的特定功能裝置。

㈣ 馬爾可夫演算法的規則

A -> apple
B -> bag
S -> shop
T -> the
the shop -> my brother
從不使用的 -> .終止規則

㈤ 馬爾可夫決策過程的策略指標

策略是提供給決策者在各個時刻選取行動的規則，記作π=(π0，π1，π2，…， πn，πn+1…)，其中πn是時刻 n選取行動的規則。從理論上來說，為了在大范圍尋求最優策略πn，最好根據時刻 n以前的歷史，甚至是隨機地選擇最優策略。但為了便於應用，常採用既不依賴於歷史、又不依賴於時間的策略，甚至可以採用確定性平穩策略。
衡量策略優劣的常用指標有折扣指標和平均指標。折扣指標是指長期折扣〔把 t時刻的單位收益摺合成0時刻的單位收益的βt(β < 1)倍〕期望總報酬；平均指標是指單位時間的平均期望報酬。
採用折扣指標的馬爾可夫決策過程稱為折扣模型。業已證明：若一個策略是β折扣最優的，則初始時刻的決策規則所構成的平穩策略對同一β也是折扣最優的，而且它還可以分解為若干個確定性平穩策略，它們對同一β都是最優的，已有計算這種策略的演算法。
採用平均指標的馬爾可夫決策過程稱為平均模型。業已證明：當狀態空間S 和行動集A(i)均為有限集時，對於平均指標存在最優的確定性平穩策略；當S和（或）A(i)不是有限的情況,必須增加條件，才有最優的確定性平穩策略。計算這種策略的演算法也已研製出來。

㈥ 有沒有好一點的基於Markov馬爾可夫演算法的SIL驗算軟體

要說好的基於Markov馬爾可夫演算法的SIL驗算軟體，肯定首先選擇歌略RiskCloud啊，他們可是這方面的首創，更是應急管局認可產品，所以選擇他們的軟體肯定沒錯！

㈦ 誰能幫我找一些關於馬爾可夫模型的資料啊

摘 要：根據隱馬爾可夫模型HMM的基本理論和演算法設計了一個情感模型.該模型用E-HMM構成:子層(即低層)HMM由3個HMM組成,分別對應3種心理情緒狀態.外部刺激經過子層初步識別,其輸出組成高級層HMM的觀察向量,經過高層HMM,確定情感輸出,從而提高了模型的准確性.
關鍵詞：隱馬爾可夫模型;情感計算;情感模型
分類號：TP391.9 文獻標識碼：A
文章編號：1002-3186(2005)01-0061-04

作者簡介：王玉潔,女,教授,主研方向為人工智慧及機器人技術
作者單位：王玉潔（北京農學院基礎科學系,北京,102206;北京科技大學信息工程學院,北京,100083）
王志良（北京科技大學信息工程學院,北京,100083）
陳鋒軍（北京科技大學信息工程學院,北京,100083）
王國江（北京科技大學信息工程學院,北京,100083）
王玉鋒（北京科技大學信息工程學院,北京,100083）

參考文獻：

[1]Picard R W. Affective computing[M]. MIT Press, London,England, 1997
[2]L R Rabiner. A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition. Proceedings of the IEEE, 1989,77(2) :257
[3]Chellappa R, Zhao W. Face Recognition: A Literature Survey. TO be submitted to ACM Journal of Computing Surveys, 2000
[4]Agazzi O,Kuo S. Hidden Markov Models Based Optical Character Recognition in Presence of Deterministic Transformation. Pattern Recognition, 1993,26 (12): 1813-1826
[5]Samaria F, Hatter A. Parameterisation of a Stochanastic Model for Human Face Identification. Sarasota, Florida: IEEE Workshop on Application of Computer Vision, 1994
[6]Nefian A V. A Hidden Markov Model-Based Approach for Face Detection and Recognition [PhD thesis]. school of Electrical and Computer Engineering, Georigia Institute of Technology, 1998
[7]Levin E, Pieraccini R. Dynamic Planar Warping for Optical Character Recognition. Proceeding of ICASSP92,1992, ( 3 ):149-152
[8]葉俊勇,汪同慶,彭健,楊波.基於偽二維隱馬爾可夫模型的人臉識別.計算機工程,2003,(1):26-27

--------------------------------------------------------------------------------

題目 計算機系統入侵檢測的隱馬爾可夫模型
A Hidden Markov Model Used in Intrusion Detection
作者 譚小彬1 王衛平2 奚宏生1 殷保群1
TAN Xiao-Bin1, WANG Wei-Ping2, XI Hong-Sheng1, and YIN Bao-Qun1
單位 (中國科學技術大學自動化系 合肥 230027)； 2(中國科學技術大學商學院 合肥 230026) ([email protected]
1(Department of Automation, University of Science & Technology of China, Hefei 230027) 2(School of Business and Management, University of Science & Technology of China, Hefei 230026)
關鍵詞 入侵檢測；異常檢測；隱馬爾可夫模型(HMM)
intrusion detection; anomaly detection; hidden Markov model (HMM)
摘要 入侵檢測技術作為計算機安全技術的一個重要組成部分，現在受到越來越廣泛地關注.首先建立了一個計算機系統運行狀況的隱馬爾可夫模型(HMM)，然後在此模型的基礎上提出了一個用於計算機系統實時異常檢測的演算法，以及該模型的訓練演算法.這個演算法的優點是准確率高，演算法簡單，佔用的存儲空間很小，適合用於在計算機系統上進行實時檢測.
As the key component of computer security technique, intrusion detection has received more and more attention. In this paper, an overview of research in anomaly detection is presented with emphasis on issues related to found a hidden Markov model (HMM) for the normal states of computer system, and an algorithm of anomaly detection is brought forward. The probability of observed sequence is computed and the average probability of a fixed length sequence is used as the metric of anomaly detection. To improve accuracy, an update algorithm for this hidden Markov model is also presented based on the forgetting factor. This method is not only useful in theory, but also can be used in practice to monitor the computer system in real time.

㈧ 馬爾科夫鏈蒙特卡洛演算法有現成的c++庫嗎

這是infoq上面最近的文章，說的是蒙特卡洛演算法來解圍棋問題。
目前比較主流方法，大概就是機器學習和神經網路了。

㈨ 如何用簡單易懂的例子解釋隱馬爾可夫模型

和HMM模型相關的演算法主要分為三類，分別解決三種問題：
1）知道骰子有幾種（隱含狀態數量），每種骰子是什麼（轉換概率），根據擲骰子擲出的結果（可見狀態鏈），我想知道每次擲出來的都是哪種骰子（隱含狀態鏈）。
這個問題呢，在語音識別領域呢，叫做解碼問題。這個問題其實有兩種解法，會給出兩個不同的答案。每個答案都對，只不過這些答案的意義不一樣。第一種解法求最大似然狀態路徑，說通俗點呢，就是我求一串骰子序列，這串骰子序列產生觀測結果的概率最大。第二種解法呢，就不是求一組骰子序列了，而是求每次擲出的骰子分別是某種骰子的概率。比如說我看到結果後，我可以求得第一次擲骰子是D4的概率是0.5，D6的概率是0.3，D8的概率是0.2.第一種解法我會在下面說到，但是第二種解法我就不寫在這里了，如果大家有興趣，我們另開一個問題繼續寫吧。
2）還是知道骰子有幾種（隱含狀態數量），每種骰子是什麼（轉換概率），根據擲骰子擲出的結果（可見狀態鏈），我想知道擲出這個結果的概率。
看似這個問題意義不大，因為你擲出來的結果很多時候都對應了一個比較大的概率。問這個問題的目的呢，其實是檢測觀察到的結果和已知的模型是否吻合。如果很多次結果都對應了比較小的概率，那麼就說明我們已知的模型很有可能是錯的，有人偷偷把我們的骰子給換了。
3）知道骰子有幾種（隱含狀態數量），不知道每種骰子是什麼（轉換概率），觀測到很多次擲骰子的結果（可見狀態鏈），我想反推出每種骰子是什麼（轉換概率）。
這個問題很重要，因為這是最常見的情況。很多時候我們只有可見結果，不知道HMM模型里的參數，我們需要從可見結果估計出這些參數，這是建模的一個必要步驟。
問題闡述完了，下面就開始說解法。（0號問題在上面沒有提，只是作為解決上述問題的一個輔助）