神经网络算法入门

① 神经网络入门书籍推荐

《神经网络新手入门必备数学基础》呈现神经网络任务、模型和计算的相对简单的例子的有偏见的选择

② 算法入门

ROC曲线（受试者工作特征曲线）的横坐标为假阳性率（分错的负样本占所有负样本比率），纵坐标为真阳性率（分对的正样本占所有正样本比率）。通过动态地调整分类模型的分类阈值，可以在ROC图上绘制出每一个分类阈值对应的两个坐标值，再连接所有点绘制出模型的ROC曲线。AUC指ROC曲线下面积的大小，该指标能够量化地反映基于ROC曲线的模型性能，AUC的取值一般都在0.5～1之间，值越大，说明分类器越可能把真正的正样本排在前面，分类性能越好。相比较P-R曲线，ROC曲线在正负样本的分布发生变化时，形状能够基本保持不变，而P-R曲线一般会发生较剧烈的变化，这个特点可以使得ROC曲线能够尽量降低不同测试集带来的干扰，更加客观地衡量模型本身的性能。在实际中，正负样本数量往往不均衡，因此ROC曲线的适用场景更广泛。

对于任意线性可分的两组点，它们在SVM分类的超平面上的投影都是线性不可分的。由于SVM的分类超平面仅由支持向量决定，可以考虑只含有支持向量的场景：假设存在一个SVM超平面满足投影线性可分，则样本中分属两类的支持向量之间的中垂线所组成的超平面是相较于SVM超平面更优的解，这与SVM超平面为最优分类超平面的假设相违背。

SVM的KKT条件：

结合(3)和(4)，当 时，必有 ，将这一结果与拉格朗日对偶优化问题的公式相比较： ，其中 。除了支持向量之外，其他系数均为0，因此SVM的分类结果仅依赖于支持向量，SVM的分类结果与仅使用支持向量的分类结果一致。

该问题也可以通过凸优化理论中的超平面分离定理解决。

高斯核SVM的预测公式为： ，固定 ，则有 。由于不存在两个点在同一位置，则对于任意点 ，有 .

对于任意 ，取 ，有

所以，对于任意 ，预测结果 与真实标签的距离小于1，所有样本的类别都被正确预测，训练误差为0.

本题等价于找到使训练误差为0的参数，且是SVM模型的一个解。上述所找到的参数可以满足 ，若想成为SVM的解，还需要满足 。

仍然固定 ，则有 . 此时可以把每个 都选择一个很大的值，同时取一个非常小的 ，使得核映射项 非常小，就可以满足题意。

不一定能得到训练误差为0的模型，因为此时优化的目标改变了，当松弛变量模型目标函数参数C选取较小的值时，正则项将占据优化的较大比重，此时一个带有训练误差但是参数较小的点将成为更优的结果。

如果把一个事件的几率定义为该事件发生与该事件不发生的概率比值，根据逻辑回归的公式 ，逻辑回归可以看作是对于事件"y=1|x"的对数几率的线性回归，所以有回归的名称。但是逻辑回归的因变量是离散的，处理的是分类问题；线性回归中的因变量是连续的，处理的是回归问题。逻辑回归与线性回归的相似处是：都使用了极大似然估计，线性回归的最小二乘实际上是自变量和超参数确定、因变量服从正态分布的假设下使用极大似然估计的一个化简，逻辑回归中通过对似然函数的学习来得到最佳超参数；二者在求解超参数的过程中，都可以使用梯度下降法。

如果一个样本只对应于一个标签，可以假设每个样本属于不同标签的概率服从于几何分布，使用多项逻辑回归(Softmax Regression)来进行分类：
当存在样本可能属于多个标签的情况时，可以训练k个二分类的逻辑回归分类器，第i个分类器用于区分每个样本是否可以归为第i类。

ID3会倾向于选取取值较多的特征，因为信息增益反应的是给定条件以后不确定性减少的程度，特征取值越多就意味着确定性更高，也就是条件熵越小，信息增益越大，C4.5通过引入信息增益比，一定程度对取值比较多的特征进行惩罚，避免ID3出现过拟合的特性，提升模型的泛化能力；ID3只能处理离散变量，而C4.5和CART都可以处理连续变量；ID3和C4.5只能用于分类任务，CART不仅可以分类也可以用于回归；ID3和C4.5可以在每个结点上产生出多叉分支，且每个特征在层级之间不会复用，而CART每个结点只会产生两个分支，且每个特征可以被重复使用；ID3和C4.5通过剪枝来权衡树的准确性与泛化能力，而CART直接利用全部数据发现所有可能的树结构进行对比。

对于给定的一组数据点 ，中心化后表示为 ，其中 ，目标是找到一个投影方向 (单位方向向量)使数据点在其上的投影方差尽可能大。投影之后的均值： 投影之后的方差(均值为0，直接平方)： 其中， 是样本的协方差矩阵，将其写作 ，则有求解最大化问题： 引入拉格朗日乘子，并对 求导令其等于0，可以推出 ，此时 该值为协方差矩阵的最大特征值

LDA的最大化目标： 其中 分别表示两类投影后的方差： 则目标函数可以写成： 定义类间散度矩阵 ，类内散度矩阵 ，最大化 即是对 求偏导且令其等于零： 可以得出 在简化的二分类问题中，可以令 ，则有 这里LDA最大化的目标对应了矩阵 的特征值，而投影方向就是这个特征值对应的特征向量。

PCA为无监督降维算法，LDA为有监督降维算法，两种降维算法的求解过程有很大的相似性，但是对应的原理却有所区别：PCA选择投影后数据方差最大的方向，由于算法无监督，PCA假设方差越大信息量越多，用主成分来表示原始数据可以去除冗余的维度，达到降维；LDA用到了类别标签的信息，选择投影后类内方差小、类间方差大的方向，使得原始数据在这些方向上投影后不同类别尽可能区分开。应用的原则是无监督任务使用PCA，有监督任务使用LDA。

优点：对于大数据集，K均值聚类算法相对是可伸缩和高效的，它的计算复杂度是 接近于线性，其中 是数据对象的数目， 是聚类的簇数， 是迭代的轮数；尽管算法经常以局部最优结束，但一般情况下达到局部最优已经可以满足聚类的需求

缺点：需要人工预先确定初始K值，且该值和真实的数据分布未必吻合；受初值和离群点的影响，每次的结果不稳定；结果通常不是全局最优而是局部最优解，效果受到初始值影响；无法良好地解决数据簇分布差别比较大的情况（比如一类是另一类样本数量的100倍）；不太适用于离散分类；样本点只能被划分到单一的类中

SOM本质上是一个两层的神经网络，包含模拟感知的输入层和模拟大脑皮层的输出层，输出层中神经元的个数通常是聚类的个数。具有保序映射的特点，可以将任意维输入模式在输出层映射为一维或者二维图形，并保持拓扑结构不变，使得输出层神经元的空间位置对应于输入空间的特定域或特征。在SOM中，以获胜神经元为中心，近邻者相互激励，远邻者相互抑制，这种交互作用的方式以曲线可视化则类似于“墨西哥帽”。

输出层神经元数量：和样本的类别数相关。若不清楚样本的类别，则尽可能地设定较多的节点数，以便更好地映射样本的拓扑结构，如果分类过细再酌情减少输出节点。这样可能会带来少量从未更新过权重的“死节点”，但一般可通过重新初始化权重来解决

输出层节点排列：排列形式应尽量直观地反映出实际问题的物理意义。例如，对于一般的分类问题，一个输出节点能代表一个模式类，使用一维线阵；对于颜色空间或者旅行路径问题，二维平面则比较直观

初始化权重：可以随机初始化，但尽量使权值的初始位置与输入样本的大概分布区域充分重合，避免出现大量初始"死节点"。可以从训练集中随机抽取m个输入样本作为初始权重

拓扑领域：设计原则是使领域不断缩小，这样输出平面上相邻神经元对应的权向量之间既有区别又有相当的相似性，从而保证当获胜节点对某一类模式产生最大响应时，其领域节点也能产生较大响应。领域的形状可以是正方形、六边形或者菱形。优势领域的大小用领域的半径表示，通常凭借经验来选择

学习率：学习率为递减函数，训练开始时，学习率可以选取较大的值，之后以较快的速度下降，有利于很快地捕捉到输入向量的大致结构，然后学习率在较小的值上缓降为0，这样可以精细地调整权值使之符合输入空间的样本分布结构。

如果数据基本随机，那么聚类的结果毫无意义。可以用霍普金斯统计量来判断数据在空间上的随机性：从样本中随机找 个点 ，对每一个 ，都在样本空间中找到一个离它最近的点并计算它们之间的距离 ，从而得到距离向量 ；从样本可能取值范围内随机生成 个点 ，使用同样的原则得到距离向量 ，则霍普金斯统计量 可表示为： 。如果样本接近随机分布，则 的值接近于0.5，如果聚类趋势明显，随机生成的样本点距离应该远大于实际样本点距离，则 的值接近于1。

③ 求人工神经网络的具体算法，数学模型，比如求一个函数最优值之类的，不要各种乱七八糟的介绍，谢谢

神经网络就像多项式或者线性模型一样，是个看不见表达式的模型，它的表达式就是网络，它比一般模型具有更高的自由度和弹性；同时它是一个典型的黑箱模型方法；比多项式等模型还黑。优化算法，就是寻优的算法，所谓寻优过程，就是寻找使目标函数最小时（都是统一表示成寻找使函数具有最小值）的自变量的值。回归或者拟合一个模型,例如用一个多项式模型去拟合一组数据，其本质就是寻找使残差平方和最小的参数值，这就是一个寻优的过程，其实就是寻找使函数F（x）值最小时的x的值；对于这个具体的寻找过程就涉及到算法问题，就是如何计算。所谓算法，是数值分析的一个范畴，就是解这问题的方法；例如一个一元二次方程 x^2-3x+1=0的解法，因为简单可以直接求解，也可以用牛顿逐个靠近的方法求解，也即是迭代，慢慢接近真实解，如此下去不断接近真值，要注意迭代算法是涉及算法精度的，这些迭代算法是基于计算机的，算法的初衷也是用近似的算法用一定的精度来接近真实值。 比如上面的方程也可以用遗传算法来解，可以从一些初始值最终迭代到最佳解。神经网络在寻找网络的参数即权值的时候，也有寻找使训练效果最好的过程，这也是寻优的过程，这里涉及到了算法就是所谓的神经网络算法，这和最小二乘算法是一样的道理；例如做响应面的时候，其实就是二次回归，用最小二乘得到二次模型的参数，得到一个函数，求最大产物量就是求函数模型的最大值，怎么算呢？顶点处如果导数为0，这个地方对应的x值就是最优的，二次模型简单可以用偏导数=0来直接解决，这过程也可以遗传算法等来解决。说到底所谓寻优的本质就是，寻找函数极值处对应的自变量的值。

④ 想要学习人工神经网络，需要什么样的基础知识

最基础的部分的话需要：线性代数，机器学习，微积分，优化等等。

• 几乎所有操作都有矩阵运算，所以至少最基础的线性代数需要掌握

• 建议从单一的感知机Perceptron出发，继而认识到DecisionBoundary(判别边界),以及最简单的一些“监督训练”的概念等，有机器学习的基础最好。就结果而言，诸如“过拟合”之类的概念，以及对应的解决方法比如L1L2归一，学习率等也都可以从单个感知机的概念开始入门。

• 从单层感知器推广到普通的多层感知器MLP。然后推广到简单的神经网络（激活函数从阶跃“软化”为诸如tanh等类型的函数），然后引入特定类型的网络结构，比如最基本的全连接、前向传播等等概念。进而学习训练算法，比如反向传播，这需要微积分的知识（Chainrule）,以及非线性优化的最基础部分，比如梯度下降法。

• 其次至少需要具备一些适用于研究的编程语言的技能，例如python，matlab，（C++也可行）等，哪怕不自己实现最简单的神经网络而是用API，也是需要一定计算机能力才能应用之。

• 超过网络工程师的决心，不要弄出个网络知道答案审批这么搓的东西。
  

⑤ 神经网络算法是什么

Introction
--------------------------------------------------------------------------------

神经网络是新技术领域中的一个时尚词汇。很多人听过这个词，但很少人真正明白它是什么。本文的目的是介绍所有关于神经网络的基本包括它的功能、一般结构、相关术语、类型及其应用。

“神经网络”这个词实际是来自于生物学，而我们所指的神经网络正确的名称应该是“人工神经网络（ANNs）”。在本文，我会同时使用这两个互换的术语。

一个真正的神经网络是由数个至数十亿个被称为神经元的细胞（组成我们大脑的微小细胞）所组成，它们以不同方式连接而型成网络。人工神经网络就是尝试模拟这种生物学上的体系结构及其操作。在这里有一个难题：我们对生物学上的神经网络知道的不多！因此，不同类型之间的神经网络体系结构有很大的不同，我们所知道的只是神经元基本的结构。

The neuron
--------------------------------------------------------------------------------

虽然已经确认在我们的大脑中有大约50至500种不同的神经元，但它们大部份都是基于基本神经元的特别细胞。基本神经元包含有synapses、soma、axon及dendrites。Synapses负责神经元之间的连接，它们不是直接物理上连接的，而是它们之间有一个很小的空隙允许电子讯号从一个神经元跳到另一个神经元。然后这些电子讯号会交给soma处理及以其内部电子讯号将处理结果传递给axon。而axon会将这些讯号分发给dendrites。最后，dendrites带着这些讯号再交给其它的synapses，再继续下一个循环。

如同生物学上的基本神经元，人工的神经网络也有基本的神经元。每个神经元有特定数量的输入，也会为每个神经元设定权重（weight）。权重是对所输入的资料的重要性的一个指标。然后，神经元会计算出权重合计值（net value），而权重合计值就是将所有输入乘以它们的权重的合计。每个神经元都有它们各自的临界值（threshold），而当权重合计值大于临界值时，神经元会输出1。相反，则输出0。最后，输出会被传送给与该神经元连接的其它神经元继续剩余的计算。

Learning
--------------------------------------------------------------------------------

正如上述所写，问题的核心是权重及临界值是该如何设定的呢？世界上有很多不同的训练方式，就如网络类型一样多。但有些比较出名的包括back-propagation, delta rule及Kohonen训练模式。

由于结构体系的不同，训练的规则也不相同，但大部份的规则可以被分为二大类别 - 监管的及非监管的。监管方式的训练规则需要“教师”告诉他们特定的输入应该作出怎样的输出。然后训练规则会调整所有需要的权重值（这是网络中是非常复杂的），而整个过程会重头开始直至数据可以被网络正确的分析出来。监管方式的训练模式包括有back-propagation及delta rule。非监管方式的规则无需教师，因为他们所产生的输出会被进一步评估。

Architecture
--------------------------------------------------------------------------------

在神经网络中，遵守明确的规则一词是最“模糊不清”的。因为有太多不同种类的网络，由简单的布尔网络（Perceptrons），至复杂的自我调整网络（Kohonen），至热动态性网络模型（Boltzmann machines）！而这些，都遵守一个网络体系结构的标准。

一个网络包括有多个神经元“层”，输入层、隐蔽层及输出层。输入层负责接收输入及分发到隐蔽层（因为用户看不见这些层，所以见做隐蔽层）。这些隐蔽层负责所需的计算及输出结果给输出层，而用户则可以看到最终结果。现在，为免混淆，不会在这里更深入的探讨体系结构这一话题。对于不同神经网络的更多详细资料可以看Generation5 essays

尽管我们讨论过神经元、训练及体系结构，但我们还不清楚神经网络实际做些什么。

The Function of ANNs
--------------------------------------------------------------------------------

神经网络被设计为与图案一起工作 - 它们可以被分为分类式或联想式。分类式网络可以接受一组数，然后将其分类。例如ONR程序接受一个数字的影象而输出这个数字。或者PPDA32程序接受一个坐标而将它分类成A类或B类（类别是由所提供的训练决定的）。更多实际用途可以看Applications in the Military中的军事雷达，该雷达可以分别出车辆或树。

联想模式接受一组数而输出另一组。例如HIR程序接受一个‘脏’图像而输出一个它所学过而最接近的一个图像。联想模式更可应用于复杂的应用程序，如签名、面部、指纹识别等。

The Ups and Downs of Neural Networks
--------------------------------------------------------------------------------

神经网络在这个领域中有很多优点，使得它越来越流行。它在类型分类/识别方面非常出色。神经网络可以处理例外及不正常的输入数据，这对于很多系统都很重要（例如雷达及声波定位系统）。很多神经网络都是模仿生物神经网络的，即是他们仿照大脑的运作方式工作。神经网络也得助于神经系统科学的发展，使它可以像人类一样准确地辨别物件而有电脑的速度！前途是光明的，但现在...

是的，神经网络也有些不好的地方。这通常都是因为缺乏足够强大的硬件。神经网络的力量源自于以并行方式处理资讯，即是同时处理多项数据。因此，要一个串行的机器模拟并行处理是非常耗时的。

神经网络的另一个问题是对某一个问题构建网络所定义的条件不足 - 有太多因素需要考虑：训练的算法、体系结构、每层的神经元个数、有多少层、数据的表现等，还有其它更多因素。因此，随着时间越来越重要，大部份公司不可能负担重复的开发神经网络去有效地解决问题。

NN 神经网络，Neural Network
ANNs 人工神经网络，Artificial Neural Networks
neurons 神经元
synapses 神经键
self-organizing networks 自我调整网络
networks modelling thermodynamic properties 热动态性网络模型

++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
网格算法我没听说过
好像只有网格计算这个词

网格计算是伴随着互联网技术而迅速发展起来的，专门针对复杂科学计算的新型计算模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算是由成千上万个“节点”组成的“一张网格”， 所以这种计算方式叫网格计算。这样组织起来的“虚拟的超级计算机”有两个优势，一个是数据处理能力超强；另一个是能充分利用网上的闲置处理能力。简单地讲，网格是把整个网络整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享。

⑥ 深入浅出BP神经网络算法的原理

深入浅出BP神经网络算法的原理
相信每位刚接触神经网络的时候都会先碰到BP算法的问题，如何形象快速地理解BP神经网络就是我们学习的高级乐趣了（画外音：乐趣？你在跟我谈乐趣？）
本篇博文就是要简单粗暴地帮助各位童鞋快速入门采取BP算法的神经网络。
BP神经网络是怎样的一种定义？看这句话：一种按“误差逆传播算法训练”的多层前馈网络。
BP的思想就是：利用输出后的误差来估计输出层前一层的误差，再用这层误差来估计更前一层误差，如此获取所有各层误差估计。这里的误差估计可以理解为某种偏导数，我们就是根据这种偏导数来调整各层的连接权值，再用调整后的连接权值重新计算输出误差。直到输出的误差达到符合的要求或者迭代次数溢出设定值。
说来说去，“误差”这个词说的很多嘛，说明这个算法是不是跟误差有很大的关系？
没错，BP的传播对象就是“误差”，传播目的就是得到所有层的估计误差。
它的学习规则是：使用最速下降法，通过反向传播（就是一层一层往前传）不断调整网络的权值和阈值，最后使全局误差系数最小。
它的学习本质就是：对各连接权值的动态调整。

拓扑结构如上图：输入层（input），隐藏层（hide layer），输出层（output）
BP网络的优势就是能学习和储存大量的输入输出的关系，而不用事先指出这种数学关系。那么它是如何学习的？
BP利用处处可导的激活函数来描述该层输入与该层输出的关系，常用S型函数δ来当作激活函数。

我们现在开始有监督的BP神经网络学习算法：
1、正向传播得到输出层误差e
=>输入层输入样本=>各隐藏层=>输出层
2、判断是否反向传播
=>若输出层误差与期望不符=>反向传播
3、误差反向传播
=>误差在各层显示=>修正各层单元的权值，直到误差减少到可接受程度。
算法阐述起来比较简单，接下来通过数学公式来认识BP的真实面目。
假设我们的网络结构是一个含有N个神经元的输入层，含有P个神经元的隐层，含有Q个神经元的输出层。

这些变量分别如下：

认识好以上变量后，开始计算：
一、用（-1，1）内的随机数初始化误差函数，并设定精度ε，最多迭代次数M
二、随机选取第k个输入样本及对应的期望输出

重复以下步骤至误差达到要求：
三、计算隐含层各神经元的输入和输出

四、计算误差函数e对输出层各神经元的偏导数，根据输出层期望输出和实际输出以及输出层输入等参数计算。

五、计算误差函数对隐藏层各神经元的偏导数，根据后一层（这里即输出层）的灵敏度（稍后介绍灵敏度）δo(k)，后一层连接权值w，以及该层的输入值等参数计算
六、利用第四步中的偏导数来修正输出层连接权值

七、利用第五步中的偏导数来修正隐藏层连接权值

八、计算全局误差（m个样本，q个类别）

比较具体的计算方法介绍好了，接下来用比较简洁的数学公式来大致地概括这个过程，相信看完上述的详细步骤都会有些了解和领悟。
假设我们的神经网络是这样的，此时有两个隐藏层。
我们先来理解灵敏度是什么？
看下面一个公式：

这个公式是误差对b的一个偏导数，这个b是怎么？它是一个基，灵敏度δ就是误差对基的变化率，也就是导数。
因为?u/?b=1，所以?E/?b=?E/?u=δ，也就是说bias基的灵敏度?E/?b=δ等于误差E对一个节点全部输入u的导数?E/?u。
也可以认为这里的灵敏度等于误差E对该层输入的导数，注意了，这里的输入是上图U级别的输入，即已经完成层与层权值计算后的输入。
每一个隐藏层第l层的灵敏度为：

这里的“?”表示每个元素相乘，不懂的可与上面详细公式对比理解
而输出层的灵敏度计算方法不同，为：

而最后的修正权值为灵敏度乘以该层的输入值，注意了，这里的输入可是未曾乘以权值的输入，即上图的Xi级别。

对于每一个权值(W)ij都有一个特定的学习率ηIj，由算法学习完成。

⑦ 本人毕设题目是关于神经网络用于图像识别方面的，但是很没有头续~我很不理解神经网络作用的这一机理

我简单说一下，举个例子，比如说我们现在搭建一个识别苹果和橘子的网络模型：
我们现在得需要两组数据，一组表示特征值，就是网络的输入（p），另一组是导师信号，告诉网络是橘子还是苹果（网络输出t）：
我们的样本这样子假设（就是Sampledata1.txt）：
p t
1 0 3 1
2 1 4 2
这两组数据是这样子解释的：
我们假设通过3个特征来识别一个水果是橘子还是苹果：形状，颜色，味道，第一组形状、颜色、味道分别为：1 0 3（当然这些数都是我随便乱编的，这个可以根据实际情况自己定义），有如上特征的水果就是苹果（t为1），而形状、颜色、味道为：2 1 4的表示这是一个橘子（t为2）。
好了，我们的网络模型差不多出来了，输入层节点数为3个（形状、颜色，味道），输出层节点为一个（1为苹果2为橘子），隐藏层我们设为一层，节点数先不管，因为这是一个经验值，还有另外的一些参数值可以在matlab里设定，比如训练函数，训练次数之类，我们现在开始训练网络了，首先要初始化权值，输入第一组输入：1 0 3 ,网络会输出一个值，我们假设为4，那么根据导师信号（正确的导师信号为1，表示这是一个苹果）计算误差4-1=3，误差传给bp神经网络，神经网络根据误差调整权值，然后进入第二轮循环，那么我们再次输入一组数据：2 0 4（当仍然你可以还输入1 0 3，而且如果你一直输入苹果的特征，这样子会让网络只识别苹果而不会识别橘子了，这回明白你的问题所在了吧），同理输出一个值，再次反馈给网络，这就是神经网络训练的基本流程，当然这两组数据肯定不够了，如果数据足够多，我们会让神经网络的权值调整到一个非常理想的状态，是什么状态呢，就是网络再次输出后误差很小，而且小于我们要求的那个误差值。
接下来就要进行仿真预测了t_1=sim(net,p)，net就是你建立的那个网络，p是输入数据，由于网络的权值已经确定了，我们这时候就不需要知道t的值了，也就是说不需要知道他是苹果还是橘子了，而t_1就是网络预测的数据，它可能是1或者是2，也有可能是1.3，2.2之类的数（绝大部分都是这种数），那么你就看这个数十接近1还是2了，如果是1.5，我们就认为他是苹果和橘子的杂交，呵呵，开玩笑的，遇到x<=0,5、x=1.5、x>=2.5，我一般都是舍弃的，表示未知。

总之就是你需要找本资料系统的看下，鉴于我也是做图像处理的，我给你个关键的提醒，用神经网络做图像处理的话必须有好的样本空间，就是你的数据库必须是标准的。至于网络的机理，训练的方法什么的，找及个例子用matlab仿真下，看看效果，自己琢磨去吧，这里面主要是你隐含层的设置，训练函数选择及其收敛速度以及误差精度就是神经网络的真谛了，想在这么小的空间给你介绍清楚是不可能的，关键是样本，提取的图像特征必须带有相关性，这样设置的各个阈值才有效。OK，好好学习吧，资料去matlab中文论坛上找，在不行就去bau文库上，你又不需要都用到，何必看一本书呢！祝你顺利毕业！

⑧ 请问学bp神经网络哪本书比较好

我研究生3年学的都是这个玩意，你是本科生吧，给你推荐一本书，我和我的同学都觉得这本书非常宝贝！西安电子科技大学出版的一本关于神经网络的书，定价是20元，至少3年前的版本是20元。蓝紫色皮，那本书非常好，不过是关于matlab编程神经网络的，但是大同小异吧，入门看非常合适，深入浅出！我最近太忙，有空可以帮你搜搜具体的名字，不是很好买到，你在北京的话去西单图书大厦就能买到。

⑨ 人工神经网络的学习类型

学习是神经网络研究的一个重要内容，它的适应性是通过学习实现的。根据环境的变化，对权值进行调整，改善系统的行为。由Hebb提出的Hebb学习规则为神经网络的学习算法奠定了基础。Hebb规则认为学习过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。在此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。有效的学习算法，使得神经网络能够通过连接权值的调整，构造客观世界的内在表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。
分类
根据学习环境不同，神经网络的学习方式可分为监督学习和非监督学习。在监督学习中，将训练样本的数据加到网络输入端，同时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连接强度的调整，经多次训练后收敛到一个确定的权值。当样本情况发生变化时，经学习可以修改权值以适应新的环境。使用监督学习的神经网络模型有反传网络、感知器等。非监督学习时，事先不给定标准样本，直接将网络置于环境之中，学习阶段与工作阶段成为一体。此时，学习规律的变化服从连接权值的演变方程。非监督学习最简单的例子是Hebb学习规则。竞争学习规则是一个更复杂的非监督学习的例子，它是根据已建立的聚类进行权值调整。自组织映射、适应谐振理论网络等都是与竞争学习有关的典型模型。

⑩ 卷积神经网络算法是什么

一维构筑、二维构筑、全卷积构筑。

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一。

卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）”。

卷积神经网络的连接性：

卷积神经网络中卷积层间的连接被称为稀疏连接（sparse connection），即相比于前馈神经网络中的全连接，卷积层中的神经元仅与其相邻层的部分，而非全部神经元相连。具体地，卷积神经网络第l层特征图中的任意一个像素（神经元）都仅是l-1层中卷积核所定义的感受野内的像素的线性组合。

卷积神经网络的稀疏连接具有正则化的效果，提高了网络结构的稳定性和泛化能力，避免过度拟合，同时，稀疏连接减少了权重参数的总量，有利于神经网络的快速学习，和在计算时减少内存开销。

卷积神经网络中特征图同一通道内的所有像素共享一组卷积核权重系数，该性质被称为权重共享（weight sharing）。权重共享将卷积神经网络和其它包含局部连接结构的神经网络相区分，后者虽然使用了稀疏连接，但不同连接的权重是不同的。权重共享和稀疏连接一样，减少了卷积神经网络的参数总量，并具有正则化的效果。

在全连接网络视角下，卷积神经网络的稀疏连接和权重共享可以被视为两个无限强的先验（pirior），即一个隐含层神经元在其感受野之外的所有权重系数恒为0（但感受野可以在空间移动）；且在一个通道内，所有神经元的权重系数相同。