算法rnn

A. lstm具有什么特点

LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络（RNN），主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。 LSTM 已经在科技领域有了多种应用。基于 LSTM 的系统可以学习翻译语言、控制机器人、图像分析、文档摘要、语音识别图像识别、手写识别、控制聊天机器人、预测疾病、点击率和股票、合成音乐等等任务。
工作原理
LSTM区别于RNN的地方，主要就在于它在算法中加入了一个判断信息有用与否的“处理器”，这个处理器作用的结构被称为cell。

一个cell当中被放置了三扇门，分别叫做输入门、遗忘门和输出门。一个信息进入LSTM的网络当中，可以根据规则来判断是否有用。只有符合算法认证的信息才会留下，不符的信息则通过遗忘门被遗忘。

说起来无非就是一进二出的工作原理，却可以在反复运算下解决神经网络中长期存在的大问题。目前已经证明，LSTM是解决长序依赖问题的有效技术，并且这种技术的普适性非常高，导致带来的可能性变化非常多。各研究者根据LSTM纷纷提出了自己的变量版本，这就让LSTM可以处理千变万化的垂直问题。

B. 深度学习算法哪些适用于文本处理

作者：梅洪源
来源：知乎

现在实践证明，对supervised-learning而言，效果较好的应该算是Recurrent Neural Network （RNN）吧，目前比较火的一类RNN是LSTM -- Long Short Term Memory。
对于这个model而言，最初的发明见于论文--Long Short Term Memory by Hochreiter and Schmidhuber，而之后较好的归纳和实现可以参考Frame Phoneme Classification with Bidirectional LSTM by Alex Graves，后者有比较清晰的back propagation的公式。
最近两年这个model在speech，language以及multimodal with vision等方面可谓是大展宏图，一再的刷新实验结果，重要工作可以参考：
Speech recognition with Deep Recurrent Neural Networks by Graves
Sequence to Sequence Learning with Neural Networks by Sutskever
Show Attend and Tell by Kelvin Xu
至于具体的实现，希望避免造轮子的可以参考这个非常famous的github：karpathy (Andrej) · GitHub，Andrej Karpathy最近发了很多很有趣的RNN的fun project，可以borrow一些代码。
希望自己造轮子的，可以选择用Theano或者Torch，用画data flow的方法来code整个structure，很简洁实用，我个人一直用Theano，给个好评。：）
当然啦，至于你要研究什么问题，还是具体问题具体分析的好。可以去搜搜有没有研究类似问题的paper，看看目前的最好的技术是什么。Deep Learning不一定是万能的啦。

C. 常见的深度学习算法主要有哪些

深度学习常见的3种算法有：卷积神经网络、循环神经网络、生成对抗网络。
卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习的代表算法之一。
循环神经网络(Recurrent Neural Network, RNN)是一类以序列数据为输入，在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络。
生成对抗网络(GAN, Generative Adversarial Networks )是一种深度学习模型，是最近两年十分热门的一种无监督学习算法。

D. 智能算法有哪些

（1）人工神经网络（Artificial Neural Network）类：反向传播（Backpropagation）、波尔兹曼机（Boltzmann Machine）、卷积神经网络（Convolutional Neural Network）、Hopfield网络（hopfield Network）、多层感知器（Multilyer Perceptron）、径向基函数网络（Radial Basis Function Network，RBFN）、受限波尔兹曼机（Restricted Boltzmann Machine）、回归神经网络（Recurrent Neural Network，RNN）、自组织映射（Self-organizing Map，SOM）、尖峰神经网络（Spiking Neural Network）等。
（2）贝叶斯类（Bayesin）：朴素贝叶斯（Naive Bayes）、高斯贝叶斯（Gaussian Naive Bayes）、多项朴素贝叶斯（Multinomial Naive Bayes）、平均-依赖性评估（Averaged One-Dependence Estimators，AODE）
贝叶斯信念网络（Bayesian Belief Network，BBN）、贝叶斯网络（Bayesian Network，BN）等。
（3）决策树（Decision Tree）类：分类和回归树（Classification and Regression Tree，CART）、迭代Dichotomiser3（Iterative Dichotomiser 3， ID3）,C4.5算法（C4.5 Algorithm）、C5.0算法（C5.0 Algorithm）、卡方自动交互检测（Chi-squared Automatic Interaction Detection，CHAID）、决策残端（Decision Stump）、ID3算法（ID3 Algorithm）、随机森林（Random Forest）、SLIQ（Supervised Learning in Quest）等。
（4）线性分类器（Linear Classifier）类：Fisher的线性判别（Fisher’s Linear Discriminant）
线性回归（Linear Regression）、逻辑回归（Logistic Regression）、多项逻辑回归（Multionmial Logistic Regression）、朴素贝叶斯分类器（Naive Bayes Classifier）、感知（Perception）、支持向量机（Support Vector Machine）等。
常见的无监督学习类算法包括：
（1） 人工神经网络（Artificial Neural Network）类：生成对抗网络（Generative Adversarial Networks，GAN），前馈神经网络（Feedforward Neural Network）、逻辑学习机（Logic Learning Machine）、自组织映射（Self-organizing Map）等。
（2） 关联规则学习（Association Rule Learning）类：先验算法（Apriori Algorithm）、Eclat算法（Eclat Algorithm）、FP-Growth算法等。
（3）分层聚类算法（Hierarchical Clustering）：单连锁聚类（Single-linkage Clustering），概念聚类（Conceptual Clustering）等。
（4）聚类分析（Cluster analysis）：BIRCH算法、DBSCAN算法，期望最大化（Expectation-maximization，EM）、模糊聚类（Fuzzy Clustering）、K-means算法、K均值聚类（K-means Clustering）、K-medians聚类、均值漂移算法（Mean-shift）、OPTICS算法等。

E. 问一下大家神经网络算法有多少种啊，说能科普一下啊

神经网络就是一种算法，只是说比较大，属于大型算法。里面有一些协助的小算法，比如bp，rnn，lstm 属于神经网络结构。
这个没几个月说不清楚的

F. 为什么说Transformer的注意力机制是相对廉价的注意力机制相对更对于RNN系列及CNN系列算法有何优势

基于注意力机制的构造与基于RNN的不同,基于RNN的是在时间步上串联(在每个time step只能输入一个token),而基于注意力机制的是类似于桶状结构(一起将数据输入到模型中去)

G. 基于RNN的seq2seq与基于CNN的seq2seq区别，为什么后者效果更好

作者：贾扬清
链接：
来源：知乎
着作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

终于碰到一个是真心谈技术的问题，不容易啊。。。在热那亚机场等飞机，所以时间有限，答得比较简单，请勿怪罪。的确，如题主所说，RNN在数学上是可以处理任意长度的数据的。我们在TensorFlow中使用bucket的原因主要是为了工程实现的效率：（1）为什么不直接在graph的层面上支持可变长度的计算？在实现上，这需要使用一个将长度作为一个可变参数的while loop，而while loop的实现又涉及到其他一系列问题，比如说自动梯度计算（autodiff）等等，并不是一个很容易的事情。并且，如果要保证运行时的schele的效率，还有一些不是那么简单地代码要改。（2）即使可以支持while loop，还会有的一个问题是，我们在算minibatch，而每个minibatch里面不同的sequence有不同的长度。于是有两种解决方案：（a）对于每个minibatch，取最大的长度，然后跑那个最大长度。（b）实现一个sub-minibatch的计算方法，在每一个timestamp检测每个样本是否已经到达它的最大长度，如果超过就不计算。（3）可以看到，（2a）是一个很浪费的算法，如果一个minibatch里面有一个很长的，大家都得跟着算到那个长度，所以不好。（2b）对于每个operator的要求都很高，做过数值优化的都知道，基本的计算比如说矩阵乘积，数据结构越简单越好，如果你要实现一个跳过某几行只算某几行的方法。。。good luck。（4）于是，一个折衷的方案就是，对于sequence先做聚类，预设几个固定的长度bucket，然后每个sequence都放到它所属的bucket里面去，然后pad到固定的长度。这样一来，首先我们不需要折腾while loop了，每一个bucket都是一个固定的computation graph；其次，每一个sequence的pad都不是很多，对于计算资源的浪费很小；再次，这样的实现很简单，就是一个给长度聚类，对于framework的要求很低。RNN的bucketing其实是一个很好的例子：在深度学习的算法实现上，数学是一部分，工程是另一部分。好的实现，都是在数学的优雅和工程的效率之间寻找一个最优折衷的过程。
-

H. 人工智能语言中的循环怎么使用的呢

for循环是很多开发语言中最常用的一个循环。它可以大大提高代码的运行速度，简化逻辑代码，非常适用。
首先：for 有两种形式：一种是数字形式，另一种是通用形式。
数字形式的 for 循环，通过一个数学运算不断地运行内部的代码块。 下面是它的语法：
stat ::= for Name ‘=’ exp ‘,’ exp [‘,’ exp] do block end
block 将把 name 作循环变量。 从第一个 exp 开始起，直到第二个 exp 的值为止， 其步长为第三个 exp 。 更确切的说，一个 for 循环看起来是这个样子
for v = e1, e2, e3 do block end
注意下面这几点：
其次：所有三个控制表达式都只被运算一次， 表达式的计算在循环开始之前。 这些表达式的结果必须是数字。
var，limit，以及 step 都是一些不可见的变量。 这里给它们起的名字都仅仅用于解释方便。
如果第三个表达式（步长）没有给出，会把步长设为 1 。
你可以用 break 和 goto 来退出 for 循环。
循环变量 v 是一个循环内部的局部变量； 如果你需要在循环结束后使用这个值， 在退出循环前把它赋给另一个变量。
通用形式的 for 通过一个叫作 迭代器 的函数工作。 每次迭代，迭代器函数都会被调用以产生一个新的值， 当这个值为 nil 时，循环停止。
注意以下几点：
explist 只会被计算一次。 它返回三个值， 一个 迭代器 函数， 一个 状态， 一个 迭代器的初始值。
f， s，与 var 都是不可见的变量。 这里给它们起的名字都只是为了解说方便。
你可以使用 break 来跳出 for 循环。
环变量 var_i 对于循环来说是一个局部变量； 你不可以在 for 循环结束后继续使用。 如果你需要保留这些值，那么就在循环跳出或结束前赋值到别的变量里去。

var，limit，以及 step 都是一些不可见的变量。 这里给它们起的名字都仅仅用于解释方便。
如果第三个表达式（步长）没有给出，会把步长设为 1 。
你可以用 break 和 goto 来退出 for 循环。
循环变量 v 是一个循环内部的局部变量； 如果你需要在循环结束后使用这个值， 在退出循环前把它赋给另一个变量。
通用形式的 for 通过一个叫作 迭代器 的函数工作。 每次迭代，迭代器函数都会被调用以产生一个新的值， 当这个值为 nil 时，循环停止。
注意以下几点：
explist 只会被计算一次。 它返回三个值， 一个 迭代器 函数， 一个 状态， 一个 迭代器的初始值。
f， s，与 var 都是不可见的变量。 这里给它们起的名字都只是为了解说方便。
你可以使用 break 来跳出 for 循环。
环变量 var_i 对于循环来说是一个局部变量； 你不可以在 for 循环结束后继续使用。 如果你需要保留这些值，那么就在循环跳出或结束前赋值到别的变量里去。

I. 深度学习的主要分类是什么呀这些网络cnn dbn dnm rnn是怎样的关系

简单来说：

1）深度学习（Deep Learning）只是机器学习（Machine Learning）的一种类别，一个子领域。机器学习 > 深度学习

2）大数据（Big Data）不是具体的方法，甚至不算具体的研究学科，而只是对某一类问题，或需处理的数据的描述

具体来说：

1）机器学习（Machine Learning）是一个大的方向，里面包括了很多种 approach，比如 deep learning, GMM, SVM, HMM, dictionary learning, knn, Adaboosting...不同的方法会使用不同的模型，不同的假设，不同的解法。这些模型可以是线性，也可以是非线性的。他们可能是基于统计的，也可能是基于稀疏的....

不过他们的共同点是：都是 data-driven 的模型，都是学习一种更加 abstract 的方式来表达特定的数据，假设和模型都对特定数据广泛适用。好处是，这种学习出来的表达方式可以帮助我们更好的理解和分析数据，挖掘数据隐藏的结构和关系。

Machine Learning 的任务也可以不同，可以是预测（prediction），分类（classification），聚类（clustering），识别（recognition），重建（reconstruction），约束（regularization），甚至降噪（denoising），超分辨（super-resolution），除马赛克（Demosaicing）等等....

2）深度学习（Deep Learning）是机器学习的一个子类，一般特指学习高层数的网络结构。这个结构中通常会结合线性和非线性的关系。

Deep Learning 也会分各种不同的模型，比如 CNN, RNN, DBN...他们的解法也会不同。

Deep Learning 目前非常流行，因为他们在图像，视觉，语音等各种应用中表现出了很好的 empirical performance。并且利用 gpu 的并行运算，在模型相当复杂，数据特别大量的情况下，依然可以达到很理想的学习速度。

因为 Deep Learning 往往会构建多层数，多节点，多复杂度的模型，人们依然缺乏多里面学习的结构模型的理解。很多时候，Deep Learning 甚至会被认为拥有类似于人类神经网络的结构，并且这种类似性被当做 deep learning 居然更大 potential 的依据。但答主个人认为，其实这略有些牵强...听起来更像是先有了这种 network 的结构，再找一个类似性。当然，这仅仅是个人观点...（私货私货）

3）大数据（Big Data，我们也叫他逼格数据....）是对数据和问题的描述。通常被广泛接受的定义是 3 个 V 上的“大”：Volume（数据量）, Velocity（数据速度）还有 variety（数据类别）。大数据问题（Big-data problem）可以指那种在这三个 V 上因为大而带来的挑战。

Volume 很好理解。一般也可以认为是 Large-scale data（其实学术上用这个更准确，只是我们出去吹逼的时候就都叫 big data 了...）。“大”可以是数据的维度，也可以是数据的 size。一般 claim 自己是 big-data 的算法会比较 scalable，复杂度上对这两个不敏感。算法和系统上，人们喜欢选择并行（Parallel），分布（distributed）等属性的方法来增加 capability。
ITjob----采集