变分算法
1. 请问有谁知道TV算法（最小全变分算法）
您好，[LASIP_Image_Restoration_DemoBox_v112.rar] - LASIP局部多项式逼近算法用于二维信号处理、图像复原，图像去噪的MATLAB实现。
[blind.rar] - 利用盲卷积图像复原方法，对模糊图像进行图像复原，可以达到比较好的效果。
[TV1.rar] - 采用T.Chan的总体变分(TV)方法实现图像修复，由于算法本身的局限性，无法解决视觉连通性的问题。
[Thisprocereforfull-variational.rar] - 本程序实现全变分(Total Variation, TV)的去噪算法，它使用了PDF纠正TV算法中的小问题。该算法可以很好地保留原图边缘信息的同时，去除噪声。
[LASIP_BlindDeconvolution.zip] - The LASIP routines for Multiframe Blind Deconvolution are used for restoration of an Image from its multiple blurred and noisy observations.
[irntv.zip] - The generalized total variation denoising algorithm which can be widely used for optimization or signal processing
[RestoreToolsNoIP.rar] - 一个非常好的图像恢复的工具集，matlab编写的源代码。
[MaximumEntropyv1.00.zip] - 一个基于最大熵的图像复原算法源代码。可以完成图像的去燥声和去模糊。
[TVInpainting.rar] - TV图象修复 自己写的小程序 matlab
[TVCMRI_pub.zip] - matlab code for Fixed point and Bregman iterative methods. minimize alpha*TV(Phi *x) + beta*||x||_1 + 0.5*||Ax-b||_2^2
2. 优化问题求解方法
算法的区别很大，比如第一个变分法，往往都是过程不明确的情况下，得到了结果的表达式，由表达式得到最优过程，而粒子群算法则适用于有些情况下，一一考虑情况会过于复杂，但是又没有求导等方法可以简单解决，用模拟生物活动的方法求出一个解，这个解可能不是最优的，但是也是逼近她的，而且其中会用到随机数，也就是说，同样的程序，在不同等级的计算机中运行可能会得到不同结果，。牛顿法那些就是不能完全算出，用方法逼近，但是不具有随机性。
程序是由方法编的，不同的软件器算法都是大同小异
3. 数据同化的2算法分类
按数据同化算法与模型之间的关联机制，数据同化算法大致可分为顺序数据同化算法和连续数据同化算法两大类。
连续数据同化算法定义一个同化的时间窗口T，利用该同化窗口内的所有观测数据和模型状态值进行最优估计，通过迭代而不断调整模型初始场，最终将模型轨迹拟合到在同化窗口周期内获取的所有观测上，如三维变分和四维变分算法等。
顺序数据同化算法又称滤波算法，包括预测和更新两个过程。预测过程根据t时刻状态值初始化模型，不断向前积分直到有新的观测值输入，预测t+1时刻模型的状态值；更新过程则是对当前t+1时刻的观测值和模型状态预测值进行加权，得到当前时刻状态最优估计值。根据当前t+1时刻的状态值对模型重新初始化，重复上述预测和更新两个步骤，直到完成所有有观测数据时刻的状态预测和更新，常见的算法有集合卡尔曼滤波和粒子滤波算法等。
4. 卡尔曼滤波和三维变分公式
卡尔曼滤波（Kalman filtering）是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。数据滤波是去除噪声还原真实数据的一种数据处理技术，Kalman滤波在测量方差已知的情况下能够从一系列存在测量噪声的数据中，估计动态系统的状态。由于它便于计算机编程实现，并能够对现场采集的数据进行实时的更新和处理，Kalman滤波是目前应用最为广泛的滤波方法，在通信，导航，制导与控制等多领域得到了较好的应用。X(k)=A X(k-1)+B U(k)+W(k)，Z(k)=H X(k)+V(k)，X(k|k-1)=A X(k-1|k-1)+B U(k)
5. 无监督第五节：LDA (Latent Dirichlet Allocation算法细节)（主题模型）
LDA是生成式概率模型。基本的观点是一个文档由多个隐主题生成，每个主题是由单词的分布式表达。
LDA假设在语料库D中每个文档的生成过程如下：
1.主题数量k已知
2.单词的概率由参数 控制
参数 是一个k 维的向量，并且每个元素大于0， 服从Gamma 分布
已知参数 ， 联合分布主题混合的参数 , 表示主题的参数 z,表示文档的参数w:
对 积分，并对z求和得到关于文档的边缘分布：
所有文档的边缘分布相乘，得到整个语料库的概率：
参数 和参数 是语料库级别的参数，在生成语料库的过程中使用。
变量 是文档级别的参数，每个文档采样一次。
变量 和 是单词级别的参数，每个文档中每个单词都采样一次.
一组随机变量如果联合分布和变量的排列顺序无关，则称这组变量是可交换的。
在LDA中，我们假设单词是由主题生成的，并且这些主题在文档中是无限可交换的，
其中 是关于主题多项式分布的随机变量。
通过对隐主题变量z积分。可以得到单词分布：
这是一个随机量，因为他依赖于
我们定义接下来的生成过程， 对于一个文档 w
1.选择θ∼Dir(α)
2.对于每个N的单词 :
(a)从 中选择一个单词
这个过程定义一篇文档的边缘分布看成一个连续的混合分布
inference的关心的问题使用LDA来计算隐变量z的后验分布：
这个分布通常很难计算。通过normaliza 分布，并且计算边缘分布。
这个后验分布很难计算，但是通过一些变分推断的方法还是可以得到。
基本的观点是使用jensen's 不等式来获得一个调整的下界，变分参数通过优化过程来试图找到最接近的可能的下界。
一个简单的方式是通过鲜花原始的计算图，将一些边和节点移去。在LDA中，原始的图是左图，通过把 移去，生成右边含有自由变分参数的图。
新的计算图使用如下变分分布：
是狄利克雷参数，多项式参数(φ1 , . . . , φ N ) 是自由变量参数。
得到简化的概率分布后，下一步是开始的优化问题是决定变分参数 的值。
优化这个变分参数是通过最小化KL散度来实现，并且吧他们设为0，得到以下的更新参数。
在文本的语言中，优化参数 是文档制定的。特别的，我们认为狄利克雷参数 是一个文档的主题表达。
经验贝叶斯方法来估计LDA中的参数。给定一个语料D，我们希望找到参数 来最大化边缘似然概率：
计算 比较困难，可以通过变分EM算法来估计。
1.E step,对于每个文档，找到最优的变分参数 。
2.M step, 最大化结果的下界。
重复上述几步直到下界收敛。