welch演算法
① em演算法就是baum-welch 演算法嗎
baum-welch演算法是一種對hmm模型做參數估計的方法，是EM演算法的一個特例。
前向後向演算法是已知模型和序列求概率的演算法，也是用於訓練的Baum-Welch演算法的循環中的一個步驟。
② 從馬爾可夫模型到隱馬爾可夫模型
馬爾可夫模型個人認為這個概念應該是從 隨機過程 裡面提出來的，由馬爾可夫過程過來的概念。實際上掌握了隨機過程裡面對馬爾可夫過程的特殊情況：離散參數離散狀態的馬爾可夫鏈的數學運算的話。就能夠很好解決馬爾可夫模型上面的計算問題，包括隱馬爾科夫模型。講馬爾可夫模型以及過程重點在於其滿足的性質-馬爾可夫性。
隨機過程：
現實中時常出現，某個事物滿足一定的隨機分布，但是其隨機分布會隨著時間的變化而變化。我們假設其在時刻 符合隨機分布 並且用隨機變數 來表示。假設 。但是在時間 的時候就符合隨機分布 並且用隨機變數 來表示。假設 。也就是說某個事物的某個特徵會隨著時間的變化其對應的分布也會發生變化。這樣一個總體的過程，稱之為 隨機過程。
具體例子：
燈泡壽命問題，燈泡其實在每個時間點上都有一定的可能性會損壞，在這個時間點上損壞的可能性符合一個具體的正態分布（其 是確定的），而隨著時間的久遠，燈泡損壞的可能性就變大了。所以在之後的某個時間點上燈泡損壞的可能性可能就符合另外一個具體的正態分布（其 就和先前不一樣了，會有變壞的趨勢）。燈泡損壞在傳統的概率論中也是一個經典例子，可能傳統的概率論會認為燈泡的壽命長短符合一個隨機分布，並且用一個隨機變數來表示，我們研究這個分布的特徵。這里和傳統的概率論中不一樣，可以發現的是，引入了隨機過程，可以對隨機現象更加深入徹底地描述和研究。
定義隨機過程中的一些量。
參數：也就是上述的時間，如果是和時間有關，往往叫做時間序列。但是很多的現象研究不是和時間相關的。
狀態：也就是上述的隨著時間變化的隨機變數。
馬爾可夫過程：滿足馬爾科夫性的隨機過程。
以後再解釋
馬爾可夫性：
馬爾可夫鏈：
馬爾可夫模型和上述的關系。
具體講一下 隱馬爾可夫模型。
和普通的馬爾可夫不一樣，馬爾可夫模型是可以確定狀態序列的。也就是說序列上的每個項的分布是怎麼樣的是已知的。而隱馬爾可夫模型是連序列上的每個項的是什麼分布都不能夠知道，都是隨機的。
對於這樣的一個隨機模型。
經常要解決三個基本問題：
1). 給定 和 ，求解 。 又叫作 計算問題。
2). 給定 和 ，求解一個狀態轉換序列 ，使得最優可能產生上面的序列。又叫做估計問題。
3). 在模型參數（A或者B）未知或者參數不準確的情況下，由 來調整參數。又叫做訓練問題。
狀態一定是按著產生了部分觀察序列來的。考慮前綴。 表示處理到了n,觀察序列到n為止都是答案的概率。但是不好轉移，轉移的時候要枚舉前後隱藏狀態，考慮把隱藏狀態也表示出來。 表示處理到了n，並且第n個狀態為j的概率。
范圍：
結果：
初始化：
轉移：
知道 和 ，求Q，狀態序列，使得產生 的可能性最大。
定義：
這個函數的含義是：
模型在時刻t處於狀態i，觀察到 的最佳狀態轉換序列的概率。
從而有了轉移方程：
而 就是
因此 的轉移過程構成了一個圖，而Q就是上面的最優路徑。
利用 觀察數據進行對模型參數 或者 或者 進行預測和修正，訓練問題，又可以叫做預測問題。
並且這個問題其實是帶有隱變數的最大似乎估計，也就是EM演算法。
直接講EM,用數學角度來引入 或者 用遞歸式來求解含有隱變數的參數估計 都是可以的，後者會比較清楚。
但是課上老師給出了另外一種比較好的解釋：
考慮第三個問題，實際上應該分兩種情況。
1：帶指導的參數學習。
給出的數據是這樣的：
狀態/觀察數據。
硬幣中的例子就是
H/1 H/1 T/1 T/2 H/3 T/3 T/2 H/1 T/2 H/3 H/3 H/1
其實當擁有了數據 狀態/觀察數據 是可以直接對參數進行估計的。
假設是齊次的（一般也是齊次的，概率只和狀態有關，和時間關系不大，放在詞句中就是詞語所在的句子的部位關系不是很大，而是上下文內容關系比較大。），
考慮aij 指的是在狀態i和狀態j的轉移概率。
可以直接對上面2個2個統計進行參數估計。
考慮bi(o_j)也就是狀態為i輸出為o_j的。
一個一個枚舉來即可。
考慮pi_i。也就是初始狀態。
一個一個枚舉狀態即可。
帶有指導的是有缺點的：
數據上不可行，狀態這樣的數據其實都是人工標注的。
數據量要求比較大。
但是在NLP中這個方法是很重要的。因為效果比較好。
2：不帶指導的參數學習
數據上只給出了 觀察序列，沒有狀態序列。
實際上1中就出了答案。沒有狀態序列，我們就枚舉狀態序列。
比如上述。如果觀察出來了
1 2 2
那麼我們就考慮以下
1 2 2
HHH
HHT
HTH
HTT
THH
THT
TTH
TTT
所有情況。
所以就產生了
H/1 H/2 H/2
H/1 H/2 T/2
....
然後分組進行統計參數估計即可。
但是這里有兩個問題：
1：狀態太多了。N^T。
2：給每個狀態的權重是一樣的。不是很科學。（實際上還行，如果使用熵最大原理。）
那麼怎麼辦？解決2考慮給不同狀態加權重，那麼要有一個先驗的的知識：
咱們先給出先驗的 模型參數。
那麼就可以計算P(Q|O,人)P（Q,O|人）這樣的東西了。
明顯可以用P(Q|O,人)作為一個路徑序列的權重。
但是這樣計算的時候，路徑序列很長。並且轉移路徑還是N^T條。
不可行。
避開對路徑的考慮。考慮參數abt最多隻有涉及兩個時間點的。
我們如果只關注兩個時間點之間的狀態。那麼就可以變成二維的。
使Q不是一個路徑的。而是只是兩個時間點之間的狀態。
q_t = i q_t+1 = j 。把這個概率計算出來的話。就能直接對aij這樣的進行估計了。
（實際上只是換了一種計數方式，就減少了問題規模，因為咱們關注的也只是路徑上兩個點兩個點之間的。）
由此引出Baum_Welch演算法：
定義以下：
這樣就能對參數們進行評估了。有以下：
這樣只要挑一個滿足條件的初始值，然後迭代求解即可。
③ png gif jpg 格式圖片各有什麼優缺點。什麼情況下用哪種圖片最合適。
1、Portable
Network
Graphic（便攜網路圖形），或者簡稱為
PNG，是最為適合的網路圖形格式。然而，在沒有插件的情況下，並不是所有的網路瀏覽器都能夠充分利用
PNG
格式的特性的。因此他還不是一種網路種普及的格式。PNG
格式可以支持高達
32-bit
的顏色，可以包含透明度或者
alpha
通道，也可以進行漸變處理。
PNG
格式的壓縮不造成文件任何的損失，即使在高彩的情況下也如此。他跨越像素行和欄進行壓縮。對於高彩圖像，JPEG
產生的質量較高。PNG
允許
32-bit
色圖像包含透明度，但是產生的圖像尺寸較大。
PNG
格式是創建復雜的即時透明，高彩圖形，和良好的低色壓縮圖形的最佳格式。
PNG
是
Fireworks
本身的文件格式。可是，Fireworks
的
PNG
文件中包含有一些當你導出用於網路的
PNG
圖形時並不保存的額外的源文件信息。
2、GIF是圖形交換格式(Graphics
Interchange
Format)的英文縮寫，是由CompuServe公司於80年代推出的一種高壓縮比的彩色圖象文件格式。GIF採用無損數據壓縮方法中壓縮效率較高的LZW(Lempel-Ziv
＆
Welch)演算法，針對的是8位顏色圖形。GIF是唯一為所有圖形瀏覽器所支持的圖形格式。
④ 怎麼將baum-welch演算法運用於室內定位csdn
怎麼將baum-welch演算法運用於室內定位csdn
這是一段程序中的代碼：
int randomNumber=(int)(Math.random()*8)+1;
所給出的注釋是：得到一個1到8之間的隨機整數。開始的時候不是很懂，於是翻書、上網找資料，但是得到的結果都是一樣的。Math.random()的作用是得到0-1之間的隨機數。那麼是如何實現的呢？
仔細想一想其實並不是很復雜：Math.random()的取值應該是0-1（事實上取不到0和1）之間的隨機小數，乘以8之後應該是0-8之間的隨機小數，也就是0.****到7.****之間的小數（大於0而小於8），經過int類型轉換之後，應該是0-7之間的隨機整數，所以"+1"之後就會得到1－8之間的
⑤ 怎麼判斷 baum-welch演算法收斂
1：先判斷是否收斂。 2：如果收斂，且為交錯級數，則絕對收斂。 其實就是交錯級數如果加絕對值收斂則為條件收斂，如果交錯級數不加絕對值也收斂，則為絕對收斂。
⑥ 猶太人十大發明
1918年，馬克斯·戈德堡在底特律開設了第一家商業停車場；1910年，路易斯·布勞斯坦和他的兒子開設了「第一家」加油站，最終創建了阿莫科石油公司；埃米爾·柏林發明了現代留聲機；Louis B. Mayer(米高梅)創造了奧斯卡這個獎項。
1901年至2015年間，猶太人一共獲得了194項諾貝爾獎，占諾貝爾獎總數的22%。
⑦ 隱馬爾可夫模型的基本問題
1. 評估問題。
給定觀測序列 O=O1O2O3…Ot和模型參數λ=(A,B,π)，怎樣有效計算某一觀測序列的概率，進而可對該HMM做出相關評估。例如，已有一些模型參數各異的HMM，給定觀測序列O=O1O2O3…Ot，我們想知道哪個HMM模型最可能生成該觀測序列。通常我們利用forward演算法分別計算每個HMM產生給定觀測序列O的概率，然後從中選出最優的HMM模型。
這類評估的問題的一個經典例子是語音識別。在描述語言識別的隱馬爾科夫模型中，每個單詞生成一個對應的HMM，每個觀測序列由一個單詞的語音構成，單詞的識別是通過評估進而選出最有可能產生觀測序列所代表的讀音的HMM而實現的。
2.解碼問題
給定觀測序列 O=O1O2O3…Ot 和模型參數λ=(A,B,π)，怎樣尋找某種意義上最優的隱狀態序列。在這類問題中，我們感興趣的是馬爾科夫模型中隱含狀態，這些狀態不能直接觀測但卻更具有價值，通常利用Viterbi演算法來尋找。
這類問題的一個實際例子是中文分詞，即把一個句子如何劃分其構成才合適。例如，句子「發展中國家」是劃分成「發展-中-國家」，還是「發展-中國-家」。這個問題可以用隱馬爾科夫模型來解決。句子的分詞方法可以看成是隱含狀態，而句子則可以看成是給定的可觀測狀態，從而通過建HMM來尋找出最可能正確的分詞方法。
3. 學習問題。
即HMM的模型參數λ=(A,B,π)未知，如何調整這些參數以使觀測序列O=O1O2O3…Ot的概率盡可能的大。通常使用Baum-Welch演算法以及Reversed Viterbi演算法解決。
怎樣調整模型參數λ=(A,B,π)，使觀測序列 O=O1O2O3…Ot的概率最大？
⑧ 馬爾可夫演算法不正確的是
馬爾可夫演算法不正確的是參考如下：
前向、後向演算法解決的是一個評估問題，即給定一個模型，求某特定觀測序列的概率，用於評估該序列最匹配的模型。
Baum-Welch演算法解決的是一個模型訓練問題，即參數估計，是一種無監督的訓練方法，主要通過EM迭代實現；
維特比演算法解決的是給定 一個模型和某個特定的輸出序列，求最可能產生這個輸出的狀態序列。如通過海藻變化（輸出序列）來觀測天氣（狀態序列），是預測問題，通信中的解碼問題。
HMM模型一共有三個經典的問題，含三種演算法：
1 、評估問題： 前向演算法
評估觀察序列概率。即給定模型λ=(A,B,Π)λ=(A,B,Π)和觀測序列O={o1,o2,...oT}O={o1,o2,...oT}，計算在模型λλ下觀測序列OO出現的概率P(O|λ)P(O|λ)。這個問題的求解需要用到前向後向演算法，我們在這個系列的第二篇會詳細講解。這個問題是HMM模型三個問題中最簡單的。
2 、學習問題： Baum-Welch演算法(向前向後演算法)
模型參數學習問題。即給定觀測序列O={o1,o2,...oT}O={o1,o2,...oT}，估計模型λ=(A,B,Π)λ=(A,B,Π)的參數，使該模型下觀測序列的條件概率P(O|λ)P(O|λ)最大。這個問題的求解需要用到基於EM演算法的鮑姆-韋爾奇演算法，這個問題是HMM模型三個問題中最復雜的。
3 、解碼問題： Viterbi演算法
預測問題，也稱為解碼問題。即給定模型λ=(A,B,Π)λ=(A,B,Π)和觀測序列O={o1,o2,...oT}O={o1,o2,...oT}，求給定觀測序列條件下，最可能出現的對應的狀態序列，這個問題的求解需要用到基於動態規劃的維特比演算法。
⑨ 02 隱馬爾可夫模型 - HMM的三個問題 - 概率計算問題
01 隱馬爾可夫模型 - 馬爾可夫鏈、HMM參數和性質
假設有三個盒子，編號為1,2,3；每個盒子都裝有黑白兩種顏色的小球，球的比例。如下：
按照下列規則的方式進行有放回的抽取小球，得到球顏色的觀測序列：
1、按照π的概率選擇一個盒子，從盒子中隨機抽取出一個球，記錄顏色後放回盒子中；
2、按照某種條件概率選擇新的盒子，重復該操作；
3、最終得到觀測序列：「白黑白白黑」
例如： 每次抽盒子按一定的概率來抽，也可以理解成隨機抽。
第1次抽了1號盒子①，第2次抽了3號盒子③，第3次抽了2號盒子②.... ； 最終如下：
①→③→②→②→③ 狀態值
白→黑→白→白→黑 觀測值
1、 狀態集合： S={盒子1，盒子2，盒子3}
2、 觀測集合： O={白，黑}
3、 狀態序列和觀測序列的長度 T=5 (我抽了5次)
4、 初始概率分布： π 表示初次抽時，抽到1盒子的概率是0.2，抽到2盒子的概率是0.5，抽到3盒子的概率是0.3。
5、 狀態轉移概率矩陣 A：a11=0.5 表示當前我抽到1盒子，下次還抽到1盒子的概率是0.5；
6、 觀測概率矩陣 - 混淆矩陣 - 為了不和之前的混淆矩陣概念沖突，可以稱之為發射矩陣，即從一個狀態發射到另一個狀態： B：如最初的圖，b11=第一個盒子抽到白球概率0.4，b12=第一個盒子抽到黑球概率0.6;
在給定參數π、A、B的時候，得到觀測序列為「白黑白白黑」的概率是多少?
這個時候，我們不知道隱含條件，即不知道狀態值：①→③→②→②→③ ；
我們如何根據π、A、B求出測序列為「白黑白白黑」的概率？
下面給出解決方案。
前向-後向演算法 給定模型λ=(A,B,π)和觀測序列Q={q1,q2,...,qT}，計算模型λ下觀測到序列Q出現的概率P(Q|λ)；
回顧上面的案例 ，λ=(A,B,π)已知。觀測到序列 Q=白→黑→白→白→黑，但我們不知道 狀態序列 I=①→③→②→②→③；我們要求解 P(Q|λ) ，即Q=白→黑→白→白→黑 這個觀測序列發生的概率。 可以用前向-後向演算法來實現 。
Baum-Welch演算法(狀態未知) 已知觀測序列Q={q1,q2,...,qT}，估計模型λ=(A,B,π)的參數，使得在該模型下觀測序列P(Q|λ)最大。
Baum-Welch演算法是EM演算法的一個特例，專門用來 求解 隱馬爾科夫中隱狀態參數 λ=(A,B,π) 。即：根據已知的 觀測到序列 Q=白→黑→白→白→黑，去尋找整個模型的一組隱狀態參數λ=(A,B,π)，使得在模型中 觀測序列 發生的可能性P(Q|λ)最大。
Viterbi演算法 給定模型λ=(A,B,π)和觀測序列Q={q1,q2,...,qT}，求給定觀測序列條件概率P(I|Q，λ)最大的狀態序列I。
已知 觀測到序列 Q=白→黑→白→白→黑，當我們得到λ=(A,B,π)後，我們用 Viterbi演算法 求出在哪一種 狀態序列 發生的可能性最大，即，求出 狀態序列 I=①→③→②→②→③；即，抽取什麼樣的盒子順序，更可能得到白→黑→白→白→黑這種結果。
1、直接計演算法(暴力演算法)
2、前向演算法
3、後向演算法
類似KNN計算最近鄰時候的演算法。《 01 KNN演算法 - 概述 》
也就是說， 暴力演算法 需要一個個遍歷所有的狀態去計算當前狀態發生的概率。
按照概率公式，列舉所有可能的長度為T的狀態序列I={i1,i2,...,iT}，求各個狀態序列I與觀測序列Q={q1,q2,...,qT}的聯合概率P(Q,I;λ)，然後對所有可能的狀態序列求和，從而得到最終的概率P(Q;λ)；
分析： 先思考這樣一個問題：生成「白-黑-白-白-黑」這樣的結果，是不是會有很多種盒子組合的序列來抽取，都會生成這樣一個結果？我把這些可能出現「白-黑-白-白-黑」結果的盒子序列的聯合概率求出來-P(Q,I;λ)，即∑P(Q,I) = P(Q) ，P(Q) 是我們觀測到「白-黑-白-白-黑」結果時，符合這個結果的所有狀態序列I出現的概率。
公式運用：
設狀態序列 I=③→②→①→①→②； T=5；
P(I;λ) = π 3 a 32 a 21 a 11 a 12
因為： 在給定狀態序列I後，Q中的每個觀測值都獨立。（貝葉斯網路原理） 貝葉斯網路
所以： P(Q|I;λ)可以用聯乘的方式表示 (獨立可以使用聯合概率)
I = ③→②→①→①→②
Q=白→黑→白→白→黑
P(Q|I;λ) = b 3白 b 2黑 b 1白 b 1白 b 2黑
P(Q,I;λ) = P(Q|I;λ) × P(I;λ)
= b 3白 b 2黑 b 1白 b 1白 b 2黑 × π 3 a 32 a 21 a 11 a 12
若：
I 1 = ③→②→①→①→②
I 2 = ①→②→③→①→②
...
I T = ②→②→①→③→②
都能得出：
Q = 白→黑→白→白→黑
因為我所有的盒子都能取出黑球和白球，所以T的值=3 5 ;
∑P(Q,I;λ) 計算的是 I 1 ~ I T 這些狀態序列情況下，求出的P(Q,I;λ)的和。
前向 和 後向 演算法是運用某種遞歸(遞推)的方式，幫助我們盡快得求解最終結果。
解析: 如果 t 這一時刻觀察到的狀態是 q t = 雨天；其中y={干，濕，濕... 濕}共t個狀態。
先不考慮λ。
α t 是 1時刻~t時刻 所有觀測值y1，y2，...yt ，qt 出現的聯合概率。
β t 是 t+1時刻~T時刻 所有觀測值y t+1 ，y t+2 ，...y T 出現的聯合概率。
前向概率-後向概率 指的其實是在一個觀測序列中，時刻t對應的狀態為si的概率值轉換過來的信息。
分析2~3步的推導： 因為q 1 ~ q t 這些條件對 q t+1 ~ q T 的產生沒有影響 (理由：貝葉斯網路)，所以這些條件可以去掉。
定義：給定λ，定義到時刻t部分觀測序列為q1,q2,...,qt且狀態為si的概率為 前向概率 。
記做：
在給定參數π、A、B的時候，得到觀測序列為「白黑白白黑」的概率是多少?
定義：給定λ，定義到時刻t狀態為si的前提下，從t+1到T部分觀測序列為qt+1,qt+2,...,qT的概率為 後向概率 。
記做：
分析上面的公式：
如果一共只有t個時間點，t+1的時刻不存在。那麼t+1以後發生的是必然事件。
所以 β t (i) = P(q t+1 ，q t+2 ，...，q T ) = 1;
如果實在不理解也沒關系，我們姑且認為認為定義了一個初始值，即 β T (i) = 1 ；
從T-1時刻，倒推到1時刻。
首先，β t+1 (j)是什麼？是t+1時刻，在狀態sj的前提下，下圖中圈起來這部分的聯合概率。
β t (j)是什麼？是t時刻，在狀態sj的前提下，下圖中圈起來這部分的聯合概率。
求給定模型λ和觀測序列Q的情況下，在時刻t處於狀態si的概率，記做：
單個狀態概率的意義主要是用於判斷在每個時刻最可能存在的狀態，從而可以得到一個狀態序列作為最終的預測結果。
求給定模型λ和觀測序列Q的情況下，在時刻t處於狀態si並時刻t+1處於狀態sj概率，記做：
03 隱馬爾可夫模型 - HMM的三個問題 - 學習問題
⑩ 數據壓縮
數據壓縮技術主要研究數據的表示、傳輸和轉換方法，目的是減少數據所佔據的存儲空間和縮短數據傳輸時所需要的時間。
衡量數據壓縮的3個主要指標：一是壓縮前後所需的信息存儲量之比要大；二是實現壓縮的演算法要簡單，壓縮、解壓縮速度快，要盡可能做到實時壓縮和解壓縮；三是恢復效果要好，要盡可能完全恢復原始數據。
數據壓縮主要應用於兩個方面。一是傳輸：通過壓縮發送端的原始數據，並在接收端進行解壓恢復，可以有效地減少傳輸時間和增加信道帶寬。二是存儲：在存儲時壓縮原始數據，在使用時進行解壓，可大大提高存儲介質的存儲量。
數據壓縮按照壓縮的失真度分成兩種類型：一種叫作無損壓縮，另一種叫作有損壓縮。
無損壓縮是指使用壓縮後的數據進行重構（或者叫作還原、解壓縮），重構後的數據與原來的數據完全相同；無損壓縮用於要求重構的信號與原始信號完全一致的場合。一個很常見的例子是磁碟文件的壓縮。根據目前的技術水平，無損壓縮演算法一般可以把普通文件的數據壓縮到原來的1/4～1/2。一些常用的無損壓縮演算法有霍夫曼（Huffman）演算法、算術演算法、遊程演算法和LZW（Lenpel-Ziv ＆ Welch）壓縮演算法。
1）霍夫曼演算法屬於統計式壓縮方法，其原理是根據原始數據符號發生的概率進行編碼。在原始數據中出現概率越高的符合，相應的碼長越短，出現概率越少的符合，其碼長越長。從而達到用盡可能少的符號來表示原始數據，實現對數據的壓縮。
2）算術演算法是基於統計原理，無損壓縮效率最高的演算法。即將整段要壓縮的數據映射到一段實數半封閉的范圍［0，1）內的某一區段。該區段的范圍或寬度等於該段信息概率。即是所有使用在該信息內的符號出現概率全部相乘後的概率值。當要被編碼的信息越來越長時，用來代表該信息的區段就會越來越窄，用來表示這個區段的位就會增加。
3）遊程演算法是針對一些文本數據特點所設計的壓縮方法。主要是去除文本中的冗餘字元或位元組中的冗餘位，從而達到減少數據文件所佔的存儲空間。壓縮處理流程類似於空白壓縮，區別是在壓縮指示字元之後加上一個字元，用於表明壓縮對象，隨後是該字元的重復次數。本演算法具有局限性，很少單獨使用，多與其他演算法配合使用。
4）LZW演算法的原理是用字典詞條的編碼代替在壓縮數據中的字元串。因此字典中的詞條越多，壓縮率越高，加大字典的容量可以提高壓縮率。字典的容量受計算機的內存限制。
有損壓縮是指使用壓縮後的數據進行重構，重構後的數據與原來的數據有所不同，但不影響人對原始資料表達的信息造成誤解。有損壓縮適用於重構信號不一定非要和原始信號完全相同的場合。例如，圖像和聲音的壓縮就可以採用有損壓縮，因為其中包含的數據往往多於我們的視覺系統和聽覺系統所能接收的信息，丟掉一些數據而不至於對聲音或者圖像所表達的意思產生誤解，但可大大提高壓縮比。