数据平滑处理算法

1. 如何进行图像进行直方图平滑处理，请描述具体的算法过程

width=dlg.m_width;
delta=dlg.m_delta;

sqdelta=delta*delta;
for(i=0;i<256;i++)
{
coef=1.0;
for(j=1;j<width;j++)
{
weight=(float)exp(-0.5*j*j*sqdelta);
if((i+j)<256)
{
coef+=weight;
m_Dib.probability[i]+=(prob[i+j]*weight);
}
if((i-j)>=0)
{
coef+=weight;
m_Dib.probability[i]+=(prob[i-j]*weight);
}
}
m_Dib.probability[i]/=coef;
}
sum=0;
for(i=0;i<256;i++)
sum+=m_Dib.probability[i];
for(i=0;i<256;i++)
m_Dib.probability[i]=(float)(m_Dib.probability[i]/sum);

2. 简单理解 n-gram

N-Gram（有时也称为N元模型）是自然语言处理中一个非常重要的概念，通常在NLP中，人们基于一定的语料库，可以利用N-Gram来预计或者评估一个句子是否合理。另外一方面，N-Gram的另外一个作用是用来评估两个字符串之间的差异程度。这是模糊匹配中常用的一种手段。本文将从此开始，进而向读者展示N-Gram在自然语言处理中的各种powerful的应用。

基于N-Gram模型定义的字符串距离

模糊匹配的关键在于如何衡量两个长得很像的单词（或字符串）之间的“差异”。这种差异通常又称为“距离”。这方面的具体算法有很多，例如基于编辑距离的概念，人们设计出了 Smith-Waterman 算法和Needleman-Wunsch 算法，其中后者还是历史上最早的应用动态规划思想设计的算法之一。现在Smith-Waterman 算法和Needleman-Wunsch 算法在生物信息学领域也有重要应用，研究人员常常用它们来计算两个DNA序列片段之间的“差异”（或称“距离”）。

我们除了可以定义两个字符串之间的编辑距离（通常利用Needleman-Wunsch算法或Smith-Waterman算法）之外，还可以定义它们之间的N-Gram距离。N-Gram（有时也称为N元模型）是自然语言处理中一个非常重要的概念。假设有一个字符串 ，那么该字符串的N-Gram就表示按长度 N 切分原词得到的词段，也就是 中所有长度为 N 的子字符串。设想如果有两个字符串，然后分别求它们的N-Gram，那么就可以从它们的共有子串的数量这个角度去定义两个字符串间的N-Gram距离。但是仅仅是简单地对共有子串进行计数显然也存在不足，这种方案显然忽略了两个字符串长度差异可能导致的问题。比如字符串 girl 和 girlfriend，二者所拥有的公共子串数量显然与 girl 和其自身所拥有的公共子串数量相等，但是我们并不能据此认为 girl 和girlfriend 是两个等同的匹配。

为了解决该问题，有学者便提出以非重复的N-Gram分词为基础来定义 N-Gram距离这一概念，可以用下面的公式来表述：

此处，|GN(s)| 是字符串 s 的 N-Gram集合，N 值一般取2或者3。以 N = 2 为例对字符串Gorbachev和Gorbechyov进行分段，可得如下结果（我们用下画线标出了其中的公共子串）。

结合上面的公式，即可算得两个字符串之间的距离是8 + 9 − 2 × 4 = 9。显然，字符串之间的距离越小，它们就越接近。当两个字符串完全相等的时候，它们之间的距离就是0。

利用N-Gram模型评估语句是否合理

从现在开始，我们所讨论的N-Gram模型跟前面讲过N-Gram模型从外在来看已经大不相同，但是请注意它们内在的联系（或者说本质上它们仍然是统一的概念）。

为了引入N-Gram的这个应用，我们从几个例子开始。
首先，从统计的角度来看，自然语言中的一个句子 s 可以由任何词串构成，不过概率 P(s) 有大有小。例如：

显然，对于中文而言 s1 是一个通顺而有意义的句子，而s2 则不是，所以对于中文来说，P(s1)>P(s2) 。但不同语言来说，这两个概率值的大小可能会反转。

其次，另外一个例子是，如果我们给出了某个句子的一个节选，我们其实可以能够猜测后续的词应该是什么，例如

the large green __ . Possible answer may be “mountain” or “tree” ?
Kate swallowed the large green __ . Possible answer may be “pill” or “broccoli” ?
显然，如果我们知道这个句子片段更多前面的内容的情况下，我们会得到一个更加准确的答案。这就告诉我们，前面的（历史）信息越多，对后面未知信息的约束就越强。

如果我们有一个由 m 个词组成的序列（或者说一个句子），我们希望算得概率 P(w1,w2,⋯,wm) ，根据链式规则，可得
P(w1,w2,⋯,wm)=P(w1)P(w2|w1)P(w3|w1,w2)⋯P(wm|w1,⋯,wm−1)

这个概率显然并不好算，不妨利用马尔科夫链的假设，即当前这个词仅仅跟前面几个有限的词相关，因此也就不必追溯到最开始的那个词，这样便可以大幅缩减上诉算式的长度。即
P(wi|w1,⋯,wi−1)=P(wi|wi−n+1,⋯,wi−1)

特别地，对于 n 取得较小值的情况
当 n=1, 一个一元模型（unigram model)即为

当 n=2, 一个二元模型（bigram model)即为

当 n=3, 一个三元模型（trigram model)即为

接下来的思路就比较明确了，可以利用最大似然法来求出一组参数，使得训练样本的概率取得最大值。

使用N-Gram模型时的数据平滑算法

有研究人员用150万词的训练语料来训练 trigram 模型，然后用同样来源的测试语料来做验证，结果发现23%的 trigram 没有在训练语料中出现过。这其实就意味着上一节我们所计算的那些概率有空为 0，这就导致了数据稀疏的可能性，我们的表3中也确实有些为0的情况。对语言而言，由于数据稀疏的存在，极大似然法不是一种很好的参数估计办法。

这时的解决办法，我们称之为“平滑技术”（Smoothing）或者 “减值” （Discounting）。其主要策略是把在训练样本中出现过的事件的概率适当减小，然后把减小得到的概率密度分配给训练语料中没有出现过的事件。实际中平滑算法有很多种，例如：
▸ Laplacian (add-one) smoothing
▸ Add-k smoothing
▸ Jelinek-Mercer interpolation
▸ Katz backoff
▸ Absolute discounting
▸ Kneser-Ney

对于这些算法的详细介绍，我们将在后续的文章中结合一些实例再来进行讨论。

搜索引擎（Google或者Bai）、或者输入法的猜想或者提示。你在用网络时，输入一个或几个词，搜索框通常会以下拉菜单的形式给出几个像下图一样的备选，这些备选其实是在猜想你想要搜索的那个词串。再者，当你用输入法输入一个汉字的时候，输入法通常可以联系出一个完整的词，例如我输入一个“刘”字，通常输入法会提示我是否要输入的是“刘备”。通过上面的介绍，你应该能够很敏锐的发觉，这其实是以N-Gram模型为基础来实现的，如果你能有这种觉悟或者想法，那我不得不恭喜你，都学会抢答了！

参考： https://blog.csdn.net/mafujinji/article/details/51281816

3. 平滑滤波的3×3算法原理

平滑滤波
低频增强的空间域滤波技术
平滑滤波是低频增强的空间域滤波技术。它的目的有两类：一类是模糊；另一类是消除噪音。空间域的平滑滤波一般采用简单平均法进行，就是求邻近像元点的平均亮度值。邻域的大小与平滑的效果直接相关，邻域越大平滑的效果越好，但邻域过大，平滑会使边缘信息损失的越大，从而使输出的图像变得模糊，因此需合理选择邻域的大小。
中文名
平滑滤波
外文名
Smoothing
拼音
píng huá lǜ bō
注音
ㄆㄧㄥˊ ㄏㄨㄚˊㄌㄩˋ ㄅㄛ
滤波目的处理要求滤波原因滤波方法其他方式TA说
滤波目的
滤波的本义是指信号有各种频率的成分,滤掉不想要的成分,即为滤掉常说的噪声,留下想要的成分.这即是滤波的过程,也是目的.
一是抽出对象的特征作为图像识别的特征模式；另一个是为适应图像处理的要求，消除图像数字化时所混入的噪声。
处理要求
一是不能损坏图像的轮廓及边缘等重要信息；二是使图像清晰视觉效果好。
滤波原因
各类图像处理系统在图像的采集、获取、传送和转换(如成像、复制扫描、传输以及显示等)过程中，均处在复杂的环境中，光照、电磁多变，所有的图像均不同程度地被可见或不可见的噪声干扰。噪声源包括电子噪声、光子噪声、斑点噪声和量化噪声。如果信噪比低于一定的水平，噪声逐渐变成可见的颗粒形状，导致图像质量的下降。除了视觉上质量下降，噪声同样可能掩盖重要的图像细节，在对采集到的原始图像做进一步的分割处理时，我们发现有一些分布不规律的椒盐噪声，为此采取相应的对策就是对图像进行必要的滤波降噪处理。
滤波方法
图像的噪声滤波器有很多种，常用的有线性滤波器，非线性滤波器。采用线性滤波如邻域平滑滤波，对受到噪声污染而退化的图像复原，在很多情况下是有效的。但大多数线性滤波器具有低通特性，去除噪声的同时也使图像的边缘变模糊了。而另一种非线性滤波器如中值滤波，在一定程度上可以克服线性滤波器所带来的图像模糊问题，在滤除噪声的同时，较好地保留了图像的边缘信息。
邻域平滑滤波原理
邻域平均法[2]是一种利用Box模版对图像进行模版操作（卷积运算）的图像平滑方法，所谓Box模版是指模版中所有系数都取相同值的模版，常用的3×3和5×5模版如下：
邻域平均法的数学含义是：
（式4-1）
式中：x,y=0,1,…,N-1;S是以（x,y）为中心的邻域的集合，M是S内的点数。
邻域平均法的思想是通过一点和邻域内像素点求平均来去除突变的像素点，从而滤掉一定噪声，其优点是算法简单，计算速度快，其代价会造成图像在一定程度上的模糊。
中值滤波原理
中值滤波[2]就是用一个奇数点的移动窗口，将窗口的中心点的值用窗口内的各点中值代替。假设窗口内有五点，其值为80、90、200、110和120，那么此窗口内各点的中值及为110。
设有一个一维序列f1,f2,…,fn,取窗口长度（点数）为m（m为奇数）,对其进行中值滤波，就是从输入序列中相继抽出m个数fi-v,…,fi-1,fi,fi+1,…,fi+v(其中fi为窗口中心值,v=(m-1)/2),再将这m个点按其数值大小顺序排序，取其序号的中心点的那个数作为滤波输出。数学公式表示为：
Yi=Med{fi-v,…,fi-1,fi,fi+1,…,fi+v} i∈N v=(m-1)/2 （式4-2）
Yi称为序列fi-v,…,fi-1,fi,fi+1,…,fi+v的中值
例如，有一序列{0，3，4，0，7}，重新排序后为{0，0，3，4，7}则Med{0，0，3，4，7}=3。此列若用平滑滤波，窗口也取5，那么平滑滤波输出为（0+3+4+0+7）/5=2.8。
把一个点的特定长度或形状的邻域称作窗口。在一维情况下，中值滤波器是一个含有奇数个像素的滑动窗口。中值滤波很容易推广到二维，此时可以利用二维形式的窗口。
对于平面图像采用的二维中值滤波可以由下式表示：
（式4-3）
式中：A为窗口，{fij}为二维数据序列,即数字图像各点的灰度值。
对于本系统，由于采集到的是24位真彩色图像，每个像素点分别有R、G、B三个灰度分量，故要在窗口内分别找到这三个分量的中值，分别用这三个中值去代替窗口中心像素点的R、G、B三个灰度分量的值。

4. 图像平滑处理的原理

这个可以使用均值滤波处理，它也叫图像的平滑。均值滤波是典型的线性滤波算法，它是指在图像上对目标像素给一个模板，该模板包括了其周围的临近像素（以目标象素为中心的周围8个象素，构成一个滤波模板，即去掉目标象素本身）。再用模板中的全体像素的平均值来代替原来像素值。

5. 线平滑的算法实现都有哪些

线平滑的算法实现都有二次指数平滑法求预测值，最小二乘法曲线拟合，5点3次平滑曲线，线平滑的算法属于数字几何处理领域的问题，计算机图形学和计算机辅助设计中，用多边形网格可以表示复杂的三维实体。

线平滑的算法中为了方便于在O(1)的时间内获取点P的相邻点与相邻面，故需要提供辅助结构来存储这些邻接点面的信息。故用上面那个简单的Mesh定义就不行了，应该将Mesh数据结构按如下方式定义，增加点邻接信息的存储，为实现这些，定义了PointAttachmentInfo结构和新的Mesh类。

还有一种实现的是拉普拉斯平滑，在前面的博客中，介绍了最为基础的拉普拉斯平滑算法的实现，简单的拉普拉斯平滑算法的原理是将每个顶点都移动到相邻顶点的平均位置，即采用所谓伞状算子。

其具体的实现逻辑表述如下：初始化Mesh的邻接点结构集，新建临时点集，用来存储点平滑后的位置，对所有Mesh中的顶点P，初始化临时向量为零向量。

获取P的邻域点集Adj(P)，对所有领域点T，将其位置加到临时向量里，临时向量/=领域点集数，将临时向量的位置存入临时点集，对所有Mesh中的顶点P，将P的位置修改为临时点集中对应点的位置。

6. 平滑移动算法或函数

三角函数。朝由原点向(x1,y1)移动，每移动一段距离s,在x和y轴上的投影距离分别x1*s/sqrt(x1*x1+y1*y1)，y1*s/sqrt(x1*x1+y1*y1)