變分演算法
1. 請問有誰知道TV演算法（最小全變分演算法）
您好，[LASIP_Image_Restoration_DemoBox_v112.rar] - LASIP局部多項式逼近演算法用於二維信號處理、圖像復原，圖像去噪的MATLAB實現。
[blind.rar] - 利用盲卷積圖像復原方法，對模糊圖像進行圖像復原，可以達到比較好的效果。
[TV1.rar] - 採用T.Chan的總體變分(TV)方法實現圖像修復，由於演算法本身的局限性，無法解決視覺連通性的問題。
[Thisprocereforfull-variational.rar] - 本程序實現全變分(Total Variation, TV)的去噪演算法，它使用了PDF糾正TV演算法中的小問題。該演算法可以很好地保留原圖邊緣信息的同時，去除雜訊。
[LASIP_BlindDeconvolution.zip] - The LASIP routines for Multiframe Blind Deconvolution are used for restoration of an Image from its multiple blurred and noisy observations.
[irntv.zip] - The generalized total variation denoising algorithm which can be widely used for optimization or signal processing
[RestoreToolsNoIP.rar] - 一個非常好的圖像恢復的工具集，matlab編寫的源代碼。
[MaximumEntropyv1.00.zip] - 一個基於最大熵的圖像復原演算法源代碼。可以完成圖像的去燥聲和去模糊。
[TVInpainting.rar] - TV圖象修復 自己寫的小程序 matlab
[TVCMRI_pub.zip] - matlab code for Fixed point and Bregman iterative methods. minimize alpha*TV(Phi *x) + beta*||x||_1 + 0.5*||Ax-b||_2^2
2. 優化問題求解方法
演算法的區別很大，比如第一個變分法，往往都是過程不明確的情況下，得到了結果的表達式，由表達式得到最優過程，而粒子群演算法則適用於有些情況下，一一考慮情況會過於復雜，但是又沒有求導等方法可以簡單解決，用模擬生物活動的方法求出一個解，這個解可能不是最優的，但是也是逼近她的，而且其中會用到隨機數，也就是說，同樣的程序，在不同等級的計算機中運行可能會得到不同結果，。牛頓法那些就是不能完全算出，用方法逼近，但是不具有隨機性。
程序是由方法編的，不同的軟體器演算法都是大同小異
3. 數據同化的2演算法分類
按數據同化演算法與模型之間的關聯機制，數據同化演算法大致可分為順序數據同化演算法和連續數據同化演算法兩大類。
連續數據同化演算法定義一個同化的時間窗口T，利用該同化窗口內的所有觀測數據和模型狀態值進行最優估計，通過迭代而不斷調整模型初始場，最終將模型軌跡擬合到在同化窗口周期內獲取的所有觀測上，如三維變分和四維變分演算法等。
順序數據同化演算法又稱濾波演算法，包括預測和更新兩個過程。預測過程根據t時刻狀態值初始化模型，不斷向前積分直到有新的觀測值輸入，預測t+1時刻模型的狀態值；更新過程則是對當前t+1時刻的觀測值和模型狀態預測值進行加權，得到當前時刻狀態最優估計值。根據當前t+1時刻的狀態值對模型重新初始化，重復上述預測和更新兩個步驟，直到完成所有有觀測數據時刻的狀態預測和更新，常見的演算法有集合卡爾曼濾波和粒子濾波演算法等。
4. 卡爾曼濾波和三維變分公式
卡爾曼濾波（Kalman filtering）是一種利用線性系統狀態方程，通過系統輸入輸出觀測數據，對系統狀態進行最優估計的演算法。由於觀測數據中包括系統中的雜訊和干擾的影響，所以最優估計也可看作是濾波過程。數據濾波是去除雜訊還原真實數據的一種數據處理技術，Kalman濾波在測量方差已知的情況下能夠從一系列存在測量雜訊的數據中，估計動態系統的狀態。由於它便於計算機編程實現，並能夠對現場採集的數據進行實時的更新和處理，Kalman濾波是目前應用最為廣泛的濾波方法，在通信，導航，制導與控制等多領域得到了較好的應用。X(k)=A X(k-1)+B U(k)+W(k)，Z(k)=H X(k)+V(k)，X(k|k-1)=A X(k-1|k-1)+B U(k)
5. 無監督第五節：LDA (Latent Dirichlet Allocation演算法細節)（主題模型）
LDA是生成式概率模型。基本的觀點是一個文檔由多個隱主題生成，每個主題是由單詞的分布式表達。
LDA假設在語料庫D中每個文檔的生成過程如下：
1.主題數量k已知
2.單詞的概率由參數 控制
參數 是一個k 維的向量，並且每個元素大於0， 服從Gamma 分布
已知參數 ， 聯合分布主題混合的參數 , 表示主題的參數 z,表示文檔的參數w:
對 積分，並對z求和得到關於文檔的邊緣分布：
所有文檔的邊緣分布相乘，得到整個語料庫的概率：
參數 和參數 是語料庫級別的參數，在生成語料庫的過程中使用。
變數 是文檔級別的參數，每個文檔采樣一次。
變數 和 是單詞級別的參數，每個文檔中每個單詞都采樣一次.
一組隨機變數如果聯合分布和變數的排列順序無關，則稱這組變數是可交換的。
在LDA中，我們假設單詞是由主題生成的，並且這些主題在文檔中是無限可交換的，
其中 是關於主題多項式分布的隨機變數。
通過對隱主題變數z積分。可以得到單詞分布：
這是一個隨機量，因為他依賴於
我們定義接下來的生成過程， 對於一個文檔 w
1.選擇θ∼Dir(α)
2.對於每個N的單詞 :
(a)從 中選擇一個單詞
這個過程定義一篇文檔的邊緣分布看成一個連續的混合分布
inference的關心的問題使用LDA來計算隱變數z的後驗分布：
這個分布通常很難計算。通過normaliza 分布，並且計算邊緣分布。
這個後驗分布很難計算，但是通過一些變分推斷的方法還是可以得到。
基本的觀點是使用jensen's 不等式來獲得一個調整的下界，變分參數通過優化過程來試圖找到最接近的可能的下界。
一個簡單的方式是通過鮮花原始的計算圖，將一些邊和節點移去。在LDA中，原始的圖是左圖，通過把 移去，生成右邊含有自由變分參數的圖。
新的計算圖使用如下變分分布：
是狄利克雷參數，多項式參數(φ1 , . . . , φ N ) 是自由變數參數。
得到簡化的概率分布後，下一步是開始的優化問題是決定變分參數 的值。
優化這個變分參數是通過最小化KL散度來實現，並且吧他們設為0，得到以下的更新參數。
在文本的語言中，優化參數 是文檔制定的。特別的，我們認為狄利克雷參數 是一個文檔的主題表達。
經驗貝葉斯方法來估計LDA中的參數。給定一個語料D，我們希望找到參數 來最大化邊緣似然概率：
計算 比較困難，可以通過變分EM演算法來估計。
1.E step,對於每個文檔，找到最優的變分參數 。
2.M step, 最大化結果的下界。
重復上述幾步直到下界收斂。