前向定时算法

① 分析HMM前向算法的原理和作用

前向算法

前向算法用于HMM的模型评估问题。假如我们已知HMM的三元组。假如共有N种状态，那么对于观测序列O,共有N的T次方种路径。

希望回答能够帮助到你。

② HMM 前向后向算法是怎么回事啊，最好带个例子。

前向就是把当前状态之前的可观测序列搞成一个概率，后向就是把当前状态之后的搞成一个概率，这样HMM参数就可以通过迭代的方法求解了，有个叫An introction to Hidden Markov Model的文章不错，可以看下

③ GBDT算法

        对于AdaBoost，可以将其视为一个将多个弱分类器线性组合后对数据进行预测的算法，该模型可以表示为：

        为基函数（即单个弱分类器）， 为基函数的参数（即弱分类器中特征的权重向量）， 为基函数的系数（即弱分类器在线性组合时的权重）， 就是基函数的线性组合。
        给定训练数据和损失函数 的条件下，构建最优加法模型 的问题等价于损失函数最小化：

        这个公式展现了AdaBoost算法的核心过程。

        我们可以利用前向分布算法来求解上一个式子的最优参数。前向分布算法的核心是 从前向后，每一步计算一个基函数及其系数，逐步逼近优化目标函数式 ，就可以简化优化的复杂度。

        M-1个基函数的加法模型为：

        M个基函数的加法模型：

        由上面两式得：

        由这个公式和公式(2)得极小化损失函数:

        算法思路如下：

        1. 初始化

        2. 对m=1,2,...,M:

                a. 极小化损失函数： 得到参数

                b. 更新：

        3. 得到加法模型：

        这样，前向分布算法将同时求解从m=1到M所有参数 的优化问题化简为逐次求解各个 的优化问题。

        Freidman提出了梯度提升算法，算法的核心是利用损失函数的负梯度将当前模型的值作为回归问题提升树算法中的残差的近似值，去拟合一个回归树。
        GBDT的思想就是不断去拟合残差，使残差不断减少。用一个通俗的例子来讲假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁拟合剩下的差距，差距就只有一岁了。如果我们的迭代轮数还没有完，可以继续迭代下面，每一轮迭代，拟合的岁数误差都会减小。（参考 集成学习之Boosting-gbdt ）GBDT中每次迭代构造的Cart树都是用前一轮的残差拟合的。
        第t轮第i个样本的损失函数的负梯度表示为：

        利用 我们可以拟合一颗CART回归树，得到了第t颗回归树，其对应的叶节点区域 其中J为叶子节点个数。

        针对每一个叶子节点里的样本，我们求出使损失函数最小的 输出值 :

        这样我们就得到了本轮的决策树拟合函数：

        从而本轮最终得到的强学习器的表达式如下：

        通过损失函数的负梯度来拟合，是一种通用的拟合损失误差的办法。无论是分类问题还是回归问题，我们都可以通过其损失函数的负梯度的拟合，从而用GBDT来解决我们的分类和回归问题。区别仅仅在于损失函数不同导致的负梯度不同而已。

d. 分位数损失：它对应的是分位数回归的损失函数。

输入： 训练样本
迭代次数（基学习器数量）： T
损失函数： L
输出： 强学习器H(x)

算法流程

        对于二元GBDT，其对数损失函数在之前已经给出：

        其中 此时的负梯度误差为：

        对于生成的决策树，各个叶子节点的最佳负梯度拟合值为：

        由于这个式子不易优化，一般使用近似值代替：

        除了负梯度计算和叶子节点的最佳负梯度拟合的线性搜索，二分类GBDT与GBDT回归算法过程相同。

        多分类GBDT的损失函数在之前也已经给出过：

        样本属于第k类的概率 的表达式为：

        结合上面两个式子可以求出第t轮第i个样本对应类别 l 的负梯度误差为：

        可以看出，其实这里的误差就是样本i对应类别l的真实概率和t-1轮预测概率的差值。

        对于生成的决策树，各个叶子节点的最佳负梯度拟合值为：

        由于上式比较难优化，一般用近似值代替：

        除了负梯度计算和叶子节点的最佳负梯度拟合的线性搜索，多分类GBDT与二分类GBDT以及GBDT回归算法过程相同。

        为了防止GBDT过拟合，需要对其进行正则化。主要有三种方式：

        1. 给每棵树的输出结果乘上一个步长(学习率) a 。之前的弱学习器的迭代式改为：

        2. 通过子采样比例进行正则化。GBDT每一轮建树时样本从原始训练集中采用无放回随机抽样的方式产生。若采样比例取1，则采用全部样本进行训练。为了防止过拟合，同时又要防止样本拟合偏差较大(欠拟合)，要合理取值，常用 [0.5, 0.8]

        3. 对弱学习器(CART)进行正则化剪枝：控制树的最大深度、节点最少样本数、最大叶子节点数、节点分支的最小样本数等。

优点 ：

缺点 :

        由于弱学习器之间存在依赖关系，难以并行训练数据

boosting框架相关参数 ：

弱学习器参数 ：

        GBDT的适用面非常广，几乎可以用于所有回归问题（线性/非线性），也可以用于分类问题。

④ Task10-向前分布算法和梯度提升决策树

前项分布算法可以解决分类问题，也可以解决回归问题。
（1）Adaboost的加法模型：
在Adaboost的基础上，将多个基分类器合并为一个复杂分类器，是通过计算每个基分类器的加权和。通常情况下这是一个复杂的优化问题，很难通过简单的凸优化的相关知识进行解决。而前向分步算法可以用来求解这种方式的问题，它的基本思路是：因为学习的是加法模型，如果从前向后，每一步只优化一个基函数及其系数，逐步逼近目标函数，那么就可以降低优化的复杂度。

（2）前向分布算法：
给定数据集 。损失函数 ，基函数集合 ，我们需要输出加法模型 。

这样，前向分步算法将同时求解从m=1到M的所有参数 ， 的优化问题简化为逐次求解各个 ， 的问题。

(3) 前向分步算法与Adaboost的关系：
Adaboost算法是前向分步算法的特例，Adaboost算法是由基本分类器组成的加法模型，损失函数为指数损失函数。

(1) 基于残差学习的提升树算法：
接下来我们来探讨下如何使用加法模型+前向分步算法的框架实现回归问题。
在使用加法模型+前向分步算法的框架解决问题之前，我们需要首先确定框架内使用的基函数是什么，在这里我们使用决策树分类器。前面第二章我们已经学过了回归树的基本原理，树算法最重要是寻找最佳的划分点，分类树用纯度来判断最佳划分点使用信息增益（ID3算法），信息增益比（C4.5算法），基尼系数（CART分类树）。但是在回归树中的样本标签是连续数值，可划分点包含了所有特征的所有可取的值。所以再使用熵之类的指标不再合适，取而代之的是平方误差，它能很好的评判拟合程度。基函数确定了以后，我们需要确定每次提升的标准是什么。回想Adaboost算法，在Adaboost算法内使用了分类错误率修正样本权重以及计算每个基本分类器的权重，那回归问题没有分类错误率可言，也就没办法在这里的回归问题使用了，因此我们需要另辟蹊径。模仿分类错误率，我们用每个样本的残差表示每次使用基函数预测时没有解决的那部分问题。因此，我们可以得出如下算法：
输入数据集 ，输出最终的提升树

(2) 梯度提升决策树算法(GBDT)：
提升树利用加法模型和前向分步算法实现学习的过程，当损失函数为平方损失和指数损失时，每一步优化是相当简单的，也就是我们前面探讨的提升树算法和Adaboost算法。但是对于一般的损失函数而言，往往每一步的优化不是那么容易，针对这一问题，我们得分析问题的本质，也就是是什么导致了在一般损失函数条件下的学习困难。对比以下损失函数：

观察Huber损失函数：

针对上面的问题，Freidman提出了梯度提升算法(gradient boosting)，这是利用最速下降法的近似方法，利用损失函数的负梯度在当前模型的值 作为回归问题提升树算法中的残差的近似值，拟合回归树。 与其说负梯度作为残差的近似值，不如说残差是负梯度的一种特例。
以下开始具体介绍梯度提升算法：
输入训练数据集 和损失函数 ，输出回归树

运行结果：

运行结果：

⑤ 隐马尔可夫模型

隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测从而产生观测随机序列的过程。

隐马尔可夫模型的形式定义如下：

设 是所有可能 状态的集合 ， 是所有可能 观测的集合 ：

其中 为可能状态数， 为可能观测数。

是长度为 的 状态序列 ， 是对应的 观测序列 ：

是 状态转移概率矩阵 ：

其中：

是 观测概率矩阵 ：

其中：

是 初始状态概率向量 ：

其中：

隐马尔可夫模型由初始状态概率向量 、状态转移概率矩阵 和观测概率矩阵 决定。 因此隐马尔可夫模型 可表示为：

具体来说，长度为 的观测序列的生成过程如下：按照初始状态分布 产生状态 ，按状态 的观测概率分布 生成 ，按状态 的状态转移概率分布 产生状态 ，依次递推。

（1） 齐次马尔可夫性假设 ，即隐藏的马尔科夫链在任意时刻 的状态只依赖于其前一时刻的状态，与其他时刻状态及观测无关，也与时刻 无关。

（2） 观测独立性假设 ，即任意时刻的观测只依赖于该时刻的马尔科夫链状态，与其它观测状态无关。

（1） 概率计算问题 ：给定模型 和观测序列 ，计算在模型 下序列 出现的概率 。

（2） 学习问题 ：已知观测序列 ，估计模型 参数，使得在该模型下观测序列 最大。

（3） 预测问题 ：已知模型 和观测序列 ，求使得 最大的状态序列 。

接下来分别阐述这三个问题的解决方法。

状态 的概率是：

对固定的 观测序列 的概率是：

同时出现的联合概率为：

从而：

可以看到，上式是对所有可能的 序列求和，而长度为 的 序列的数量是 数量级的，而 的计算量是 级别的，因此计算量为 ，非常大， 这种算法在实际中不可行 。

首先定义 前向概率 ：给定隐马尔可夫模型 ，定义到时刻 部分观测序列为 且状态为 的概率为前向概率，记作：

观测序列概率的前向算法 如下：

（1）初值：

（2）递推，对 ：

（3）终止：

前向算法高效的关键是 局部计算前向概率，然后利用路径结构将前向概率递推到全局，得到 。前向概率算法计算量是 级别的。

首先定义 后向概率 ：给定隐马尔可夫模型 ，定义在时刻 状态为 的条件下，从 到 部分观测序列为 的概率为后向概率，记作：

观测序列概率的后向算法 如下：

（1）初值：

（2）递推，对 ：

（3）终止：

若有 个长度相同观测序列和对应状态序列 则可利用极大似然估计得到隐马尔可夫模型参数：

设样本中时刻 处于状态 时刻 转移到状态 的频数为 ，那么状态转移概率 的估计为：

设样本中状态为 观测为 的频数为 ，那么观测概率 的估计为：

初始状态 的估计 为 个样本中初始状态为 的频率。

假设给定训练数据只包含 个长度为 的观测序列 而没有对应状态序列，我们可以把状态数据看作不可观测的隐数据 ，则隐马尔可夫模型事实上是一个含有隐变量的概率模型：

其参数可由EM算法实现。

近似算法的思想是，在每个时刻 选择在该时刻最有可能出现的状态 ，从而得到一个状态序列 。

近似算法的优点是计算简单，缺点是不能保证预测的状态序列整体是最有可能的状态序列，因为预测的状态序列可能有实际不发生的部分，比如存在转移概率为0的相邻状态。尽管如此，近似算法还是有用的。

维特比算法实际上是用动态规划解隐马尔可夫模型预测问题，即用动态规划求概率最大路径（最优路径），此路径对应一个状态序列。

定义 在时刻 状态为 的所有单个路径 中概率最大值 为：

由定义得递推式：

定义 在时刻 状态为 的所有单个路径 中概率最大路径的第 个结点 为：

维特比算法 如下：

（1）初始化：

（2）递推，对 :

（3）终止：

（4）回溯，对 ：

最优路径为

⑥ 隐马尔可夫模型（二）-骰子的故事

整理自： http://www.cnblogs.com/skyme/p/4651331.html

隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。

下面用一个简单的例子来阐述：
假设我手里有三个不同的骰子。第一个骰子是我们平常见的骰子（称这个骰子为D6），6个面，每个面（1，2，3，4，5，6）出现的概率是1/6。第二个骰子是个四面体（称这个骰子为D4），每个面（1，2，3，4）出现的概率是1/4。第三个骰子有八个面（称这个骰子为D8），每个面（1，2，3，4，5，6，7，8）出现的概率是1/8。

这串数字叫做可见状态链。但是在隐马尔可夫模型中，我们不仅仅有这么一串可见状态链，还有一串隐含状态链。在这个例子里，这串隐含状态链就是你用的骰子的序列。比如，隐含状态链有可能是：D6 D8 D8 D6 D4 D8 D6 D6 D4 D8

一般来说，HMM中说到的马尔可夫链其实是指隐含状态链，因为隐含状态（骰子）之间存在转换概率（transition probability）。在我们这个例子里，D6的下一个状态是D4，D6，D8的概率都是1/3。D4，D8的下一个状态是D4，D6，D8的转换概率也都一样是1/3。这样设定是为了最开始容易说清楚，但是我们其实是可以随意设定转换概率的。比如，我们可以这样定义，D6后面不能接D4，D6后面是D6的概率是0.9，是D8的概率是0.1。这样就是一个新的HMM。

同样的，尽管可见状态之间没有转换概率，但是隐含状态和可见状态之间有一个概率叫做输出概率（emission probability）。就我们的例子来说，六面骰（D6）产生1的输出概率是1/6。产生2，3，4，5，6的概率也都是1/6。我们同样可以对输出概率进行其他定义。比如，我有一个被赌场动过手脚的六面骰子，掷出来是1的概率更大，是1/2，掷出来是2，3，4，5，6的概率是1/10。

其实对于HMM来说，如果提前知道所有隐含状态之间的转换概率和所有隐含状态到所有可见状态之间的输出概率，做模拟是相当容易的。但是应用HMM模型时候呢，往往是缺失了一部分信息的，有时候你知道骰子有几种，每种骰子是什么，但是不知道掷出来的骰子序列；有时候你只是看到了很多次掷骰子的结果，剩下的什么都不知道。如果应用算法去估计这些缺失的信息，就成了一个很重要的问题。这些算法我会在下面详细讲。

回到正题，和HMM模型相关的算法主要分为三类，分别解决三种问题：
1）知道骰子有几种（隐含状态数量），每种骰子是什么（转换概率），根据掷骰子掷出的结果（可见状态链），我想知道每次掷出来的都是哪种骰子（隐含状态链）。
这个问题呢，在语音识别领域呢，叫做解码问题。这个问题其实有两种解法，会给出两个不同的答案。每个答案都对，只不过这些答案的意义不一样。第一种解法求最大似然状态路径，说通俗点呢，就是我求一串骰子序列，这串骰子序列产生观测结果的概率最大。第二种解法呢，就不是求一组骰子序列了，而是求每次掷出的骰子分别是某种骰子的概率。比如说我看到结果后，我可以求得第一次掷骰子是D4的概率是0.5，D6的概率是0.3，D8的概率是0.2.第一种解法我会在下面说到，但是第二种解法我就不写在这里了，如果大家有兴趣，我们另开一个问题继续写吧。

2）还是知道骰子有几种（隐含状态数量），每种骰子是什么（转换概率），根据掷骰子掷出的结果（可见状态链），我想知道掷出这个结果的概率。
看似这个问题意义不大，因为你掷出来的结果很多时候都对应了一个比较大的概率。问这个问题的目的呢，其实是检测观察到的结果和已知的模型是否吻合。如果很多次结果都对应了比较小的概率，那么就说明我们已知的模型很有可能是错的，有人偷偷把我们的骰子给换了。

**3）知道骰子有几种（隐含状态数量），不知道每种骰子是什么（转换概率），观测到很多次掷骰子的结果（可见状态链），我想反推出每种骰子是什么（转换概率）。 **
这个问题很重要，因为这是最常见的情况。很多时候我们只有可见结果，不知道HMM模型里的参数，我们需要从可见结果估计出这些参数，这是建模的一个必要步骤。

问题阐述完了，下面就开始说解法，我们首先来看一个简单的问题：
知道骰子有几种，每种骰子是什么，每次掷的都是什么骰子，根据掷骰子掷出的结果，求产生这个结果的概率。

解法无非就是概率相乘：

接下来 ，我们就开始解决上面提到的三个问题：
**1.看见不可见的，破解骰子序列 **
这里我说的是第一种解法，解最大似然路径问题。
举例来说，我知道我有三个骰子，六面骰，四面骰，八面骰。我也知道我掷了十次的结果（1 6 3 5 2 7 3 5 2 4），我不知道每次用了那种骰子，我想知道最有可能的骰子序列。

其实最简单而暴力的方法就是穷举所有可能的骰子序列，然后依照第零个问题的解法把每个序列对应的概率算出来。然后我们从里面把对应最大概率的序列挑出来就行了。如果马尔可夫链不长，当然可行。如果长的话，穷举的数量太大，就很难完成了。
另外一种很有名的算法叫做Viterbi algorithm. 要理解这个算法，我们先看几个简单的列子。
首先，如果我们只掷一次骰子：

看到结果为1.对应的最大概率骰子序列就是D4，因为D4产生1的概率是1/4，高于1/6和1/8.
把这个情况拓展，我们掷两次骰子：

同样，我们计算第三个骰子分别是D6，D4，D8的最大概率。我们再次发现，要取到最大概率，第二个骰子必须为D6。这时，第三个骰子取到D4的最大概率是

同上，我们可以计算第三个骰子是D6或D8时的最大概率。我们发现，第三个骰子取到D4的概率最大。而使这个概率最大时，第二个骰子为D6，第一个骰子为D4。所以最大概率骰子序列就是D4 D6 D4。

写到这里，大家应该看出点规律了。既然掷骰子一二三次可以算，掷多少次都可以以此类推。我们发现，我们要求最大概率骰子序列时要做这么几件事情。首先，不管序列多长，要从序列长度为1算起，算序列长度为1时取到每个骰子的最大概率。然后，逐渐增加长度，每增加一次长度，重新算一遍在这个长度下最后一个位置取到每个骰子的最大概率。因为上一个长度下的取到每个骰子的最大概率都算过了，重新计算的话其实不难。当我们算到最后一位时，就知道最后一位是哪个骰子的概率最大了。然后，我们要把对应这个最大概率的序列从后往前推出来。

2.谁动了我的骰子？
比如说你怀疑自己的六面骰被赌场动过手脚了，有可能被换成另一种六面骰，这种六面骰掷出来是1的概率更大，是1/2，掷出来是2，3，4，5，6的概率是1/10。你怎么办么？答案很简单，算一算正常的三个骰子掷出一段序列的概率，再算一算不正常的六面骰和另外两个正常骰子掷出这段序列的概率。如果前者比后者小，你就要小心了。
比如说掷骰子的结果是：

要算用正常的三个骰子掷出这个结果的概率，其实就是将所有可能情况的概率进行加和计算。同样，简单而暴力的方法就是把穷举所有的骰子序列，还是计算每个骰子序列对应的概率，但是这回，我们不挑最大值了，而是把所有算出来的概率相加，得到的总概率就是我们要求的结果。这个方法依然不能应用于太长的骰子序列（马尔可夫链）。
我们会应用一个和前一个问题类似的解法，只不过前一个问题关心的是概率最大值，这个问题关心的是概率之和。解决这个问题的算法叫做前向算法（forward algorithm）。

所以我们根据下表计算出得到该序列的概率：

同样的，我们一步一步的算，有多长算多长，再长的马尔可夫链总能算出来的。用同样的方法，也可以算出不正常的六面骰和另外两个正常骰子掷出这段序列的概率，然后我们比较一下这两个概率大小，就能知道你的骰子是不是被人换了。

⑦ 形式化的描述一个二阶马尔可夫模型

摘要 介绍（introction）

⑧ 隐马尔可夫模型（基础）

假设t时刻的状态只与t-1时刻的状态有关，与更早的时刻无关，这一假设称为一阶马尔可夫假设。如果状态有n种取值，在t时刻取任何一个值与t-1时刻取任何一个值的条件概率构成了一个n×n的矩阵A，称为状态转移概率矩阵。无论t时刻的状态值是什么，在下一时刻一定会转向n个状态种一个，因此他们的转移概率和必须为1。

在实际应用种，人们不能直接观察到状态的值，即状态的值是隐含的，只能得到观测的值。因此对模型进行扩充，得到隐马模型。

观测序列是能得到的值。

状态序列是因，观测序列是果，因为处于某种状态才有了某一观测值。

定义状态观测矩阵B，表示t时刻状态值为s时的观测值为v的概率

t时刻的状态z=i的概率最大状态序列中，t-1时刻的状态值，有了这两个变量，就可以得到维特比算法。

训练时给定一组样本，确定状态转移矩阵和观测矩阵，通过最大似然估计实现。如果已知训练样本集中每个观测序列对应的状态序列，给定初始状态如：p0=[0.5, 0.2, 0.3], k步转化过程为：p0=p0*pk。计算机程序需要利用迭代变量，借助循环实现。经过多步转化p0收敛于固定值(稳态)。可以通过最大似然估计得到模型参数。

状态空间：隐状态S的取值范围

观测空间：观测状态O的取值范围

转移概率：矩阵各元素都是用概率表示。其值非负，并且各行元素之和等于1。在一定条件下是互相转移的，故称为转移概率矩阵。矩阵中的行数与列数可以相等，也可以不等。当它们相等时，矩阵就是一个方阵。由转移概率组成的矩阵就是转移概率矩阵。也就是说构成转移概率矩阵的元素是一个个的转移概率不同状态之间的转移概率，可以用转移矩阵表示，记做a

发射概率：初始状态的概率分布，在知道当前标签的情况下，发射的概率，记做π

输出概率：基于当前状态，不同输出的概率分布，记做b

模型参数λ = (a, b, π)

1、 齐次假设：即马尔科夫假设

2、 观测独立性假设：观测值只取决于对应的状态值，与其他状态无关

（1）首先, HMM模型表示为: lambda = HMM(A, B, pi), 其中A, B, pi都是模型的参数, 分别称作: 转移概率矩阵, 发射概率矩阵和初始概率矩阵.

（2）接着, 我们开始训练HMM模型, 语料就是事先准备好的一定数量的观测序列及其对应的隐含序列, 通过极大似然估计求得一组参数, 使由观测序列到对应隐含序列的概率最大.

（3）在训练过程中, 为了简化计算, 马尔可夫提出一种假设: 隐含序列中每个单元的可能性只与上一个单元有关. 这个假设就是着名的隐含假设.

（4）训练后, 我们就得到了具备预测能力的新模型: lambda = HMM(A, B, pi), 其中的模型参数已经改变.

（5）之后给定输入序列(x1, x2, ..., xn), 经过模型计算lambda(x1, x2, ..., xn)得到对应隐含序列的条件概率分布.

（6）最后, 使用维特比算法从隐含序列的条件概率分布中找出概率最大的一条序列路径就是我们需要的隐含序列: (y1, y2, ..., yn).

状态转移矩阵通过训练样本学习得到，采用最大似然估计。

初始状态取每种值的概率Π，状态转移概率矩阵A，观测概率矩阵B

隐马尔可夫模型需要解决以下三个问题：

（1）估值问题（观测序列出现的概率）。给定隐马尔可夫模型的参数A和B，计算一个观测序列x出现的概率值p（x）。前向后向算法

（2）解码问题（观测序列最大化的隐含序列）。给定隐马尔可夫模型的参数A和B以及一个观测序列x，计算最有可能产生此观测序列的状态序列z。

已知一个观测序列，寻找最有可能产生它的状态序列。维特比算法

（3）学习问题。给定隐马尔可夫模型的结构，但参数未知，给定一组训练样本，确定隐马尔可夫模型的参数A和B。

保姆韦尔奇算法

隐马尔可夫模型对条件概率p（x|z）建模，因此是一个生成式模型。

⑨ 神经网络中的前向和后向算法

神经网络中的前向和后向算法
看了一段时间的深度网络模型，也在tf和theano上都跑了一些模型，但是感觉没有潜下去，对很多东西的理解都只停留在“这个是干什么的”层次上面。昨天在和小老师一起看一篇文章的时候，就被问到RNN里面的后向传播算法具体是怎么推。当时心里觉得BP算法其实很熟悉啊，然后在推导的过程中就一脸懵逼了。于是又去网上翻了翻相关内容，自己走了一遍，准备做个笔记，算是个交代。
准备一个神经网络模型，比如：

其中，[i1,i2]
代表输入层的两个结点，[h1,h2]代表隐藏层的两个结点，[o1,o2]为输出。[b1,b2]
为偏置项。连接每个结点之间的边已经在图中标出。
来了解一下前向算法：
前向算法的作用是计算输入层结点对隐藏层结点的影响，也就是说，把网络正向的走一遍：输入层—->隐藏层—->输出层
计算每个结点对其下一层结点的影响。
?? 例如，我们要算结点h1
的值，那么就是：
是一个简单的加权求和。这里稍微说一下，偏置项和权重项的作用是类似的，不同之处在于权重项一般以乘法的形式体现，而偏置项以加法的形式体现。
??而在计算结点o1时，结点h1的输出不能简单的使用neth1的结果，必须要计算激活函数，激活函数，不是说要去激活什么，而是要指“激活的神经元的特征”通过函数保留并映射出来。以sigmoid函数为例，h1的输出：

于是

最后o1的输出结果，也就是整个网络的一个输出值是：
按照上面的步骤计算出out02，则[outo1,outo2]就是整个网络第一次前向运算之后得到的结果。
后向算法：

??在实际情况中，因为是随机给定的权值，很大的可能（几乎是100%）得到的输出与实际结果之间的偏差非常的大，这个时候我们就需要比较我们的输出和实际结果之间的差异，将这个残差返回给整个网络，调整网络中的权重关系。这也是为什么我们在神经网络中需要后向传播的原因。其主要计算步骤如下：
1. 计算总误差
2. 隐藏层的权值更新
在要更新每个边的权重之前，必须要知道这条边对最后输出结果的影响，可以用整体误差对w5求偏导求出：
具体计算的时候，可以采用链式法则展开：
在计算的时候一定要注意每个式子里面哪些自变量是什么，求导千万不要求错了。
??需要讲出来的一个地方是，在计算w1的权重时，Etotal中的两部分都需要对它进行求导，因为这条边在前向传播中对两个残差都有影响
3. 更新权重 这一步里面就没什么东西了，直接根据学习率来更新权重：

至此，一次正向+反向传播过程就到此为止，接下来只需要进行迭代，不断调整边的权重，修正网络的输出和实际结果之间的偏差（也就是training整个网络）。