神经元的算法
㈠ 神经网络算法是什么
Introction
--------------------------------------------------------------------------------
神经网络是新技术领域中的一个时尚词汇。很多人听过这个词，但很少人真正明白它是什么。本文的目的是介绍所有关于神经网络的基本包括它的功能、一般结构、相关术语、类型及其应用。
“神经网络”这个词实际是来自于生物学，而我们所指的神经网络正确的名称应该是“人工神经网络（ANNs）”。在本文，我会同时使用这两个互换的术语。
一个真正的神经网络是由数个至数十亿个被称为神经元的细胞（组成我们大脑的微小细胞）所组成，它们以不同方式连接而型成网络。人工神经网络就是尝试模拟这种生物学上的体系结构及其操作。在这里有一个难题：我们对生物学上的神经网络知道的不多！因此，不同类型之间的神经网络体系结构有很大的不同，我们所知道的只是神经元基本的结构。
The neuron
--------------------------------------------------------------------------------
虽然已经确认在我们的大脑中有大约50至500种不同的神经元，但它们大部份都是基于基本神经元的特别细胞。基本神经元包含有synapses、soma、axon及dendrites。Synapses负责神经元之间的连接，它们不是直接物理上连接的，而是它们之间有一个很小的空隙允许电子讯号从一个神经元跳到另一个神经元。然后这些电子讯号会交给soma处理及以其内部电子讯号将处理结果传递给axon。而axon会将这些讯号分发给dendrites。最后，dendrites带着这些讯号再交给其它的synapses，再继续下一个循环。
如同生物学上的基本神经元，人工的神经网络也有基本的神经元。每个神经元有特定数量的输入，也会为每个神经元设定权重（weight）。权重是对所输入的资料的重要性的一个指标。然后，神经元会计算出权重合计值（net value），而权重合计值就是将所有输入乘以它们的权重的合计。每个神经元都有它们各自的临界值（threshold），而当权重合计值大于临界值时，神经元会输出1。相反，则输出0。最后，输出会被传送给与该神经元连接的其它神经元继续剩余的计算。
Learning
--------------------------------------------------------------------------------
正如上述所写，问题的核心是权重及临界值是该如何设定的呢？世界上有很多不同的训练方式，就如网络类型一样多。但有些比较出名的包括back-propagation, delta rule及Kohonen训练模式。
由于结构体系的不同，训练的规则也不相同，但大部份的规则可以被分为二大类别 - 监管的及非监管的。监管方式的训练规则需要“教师”告诉他们特定的输入应该作出怎样的输出。然后训练规则会调整所有需要的权重值（这是网络中是非常复杂的），而整个过程会重头开始直至数据可以被网络正确的分析出来。监管方式的训练模式包括有back-propagation及delta rule。非监管方式的规则无需教师，因为他们所产生的输出会被进一步评估。
Architecture
--------------------------------------------------------------------------------
在神经网络中，遵守明确的规则一词是最“模糊不清”的。因为有太多不同种类的网络，由简单的布尔网络（Perceptrons），至复杂的自我调整网络（Kohonen），至热动态性网络模型（Boltzmann machines）！而这些，都遵守一个网络体系结构的标准。
一个网络包括有多个神经元“层”，输入层、隐蔽层及输出层。输入层负责接收输入及分发到隐蔽层（因为用户看不见这些层，所以见做隐蔽层）。这些隐蔽层负责所需的计算及输出结果给输出层，而用户则可以看到最终结果。现在，为免混淆，不会在这里更深入的探讨体系结构这一话题。对于不同神经网络的更多详细资料可以看Generation5 essays
尽管我们讨论过神经元、训练及体系结构，但我们还不清楚神经网络实际做些什么。
The Function of ANNs
--------------------------------------------------------------------------------
神经网络被设计为与图案一起工作 - 它们可以被分为分类式或联想式。分类式网络可以接受一组数，然后将其分类。例如ONR程序接受一个数字的影象而输出这个数字。或者PPDA32程序接受一个坐标而将它分类成A类或B类（类别是由所提供的训练决定的）。更多实际用途可以看Applications in the Military中的军事雷达，该雷达可以分别出车辆或树。
联想模式接受一组数而输出另一组。例如HIR程序接受一个‘脏’图像而输出一个它所学过而最接近的一个图像。联想模式更可应用于复杂的应用程序，如签名、面部、指纹识别等。
The Ups and Downs of Neural Networks
--------------------------------------------------------------------------------
神经网络在这个领域中有很多优点，使得它越来越流行。它在类型分类/识别方面非常出色。神经网络可以处理例外及不正常的输入数据，这对于很多系统都很重要（例如雷达及声波定位系统）。很多神经网络都是模仿生物神经网络的，即是他们仿照大脑的运作方式工作。神经网络也得助于神经系统科学的发展，使它可以像人类一样准确地辨别物件而有电脑的速度！前途是光明的，但现在...
是的，神经网络也有些不好的地方。这通常都是因为缺乏足够强大的硬件。神经网络的力量源自于以并行方式处理资讯，即是同时处理多项数据。因此，要一个串行的机器模拟并行处理是非常耗时的。
神经网络的另一个问题是对某一个问题构建网络所定义的条件不足 - 有太多因素需要考虑：训练的算法、体系结构、每层的神经元个数、有多少层、数据的表现等，还有其它更多因素。因此，随着时间越来越重要，大部份公司不可能负担重复的开发神经网络去有效地解决问题。
NN 神经网络，Neural Network
ANNs 人工神经网络，Artificial Neural Networks
neurons 神经元
synapses 神经键
self-organizing networks 自我调整网络
networks modelling thermodynamic properties 热动态性网络模型
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
网格算法我没听说过
好像只有网格计算这个词
网格计算是伴随着互联网技术而迅速发展起来的，专门针对复杂科学计算的新型计算模式。这种计算模式是利用互联网把分散在不同地理位置的电脑组织成一个“虚拟的超级计算机”，其中每一台参与计算的计算机就是一个“节点”，而整个计算是由成千上万个“节点”组成的“一张网格”， 所以这种计算方式叫网格计算。这样组织起来的“虚拟的超级计算机”有两个优势，一个是数据处理能力超强；另一个是能充分利用网上的闲置处理能力。简单地讲，网格是把整个网络整合成一台巨大的超级计算机，实现计算资源、存储资源、数据资源、信息资源、知识资源、专家资源的全面共享。
㈡ 神经元法则
大脑皮层灰质探秘——神经元的信号处理法则初探
--------------------------------------------------------------------------------
作者: 来源:生物通 发布者: 刘斌 类别:新闻扫描 日期: 2004-06-21 今日/总浏览: 2/178
来自USC和Technion医学院（以色列）的研究人员发现一些有助于揭开超复杂的大脑神经元秘密的新线索。他们的发现刊登在本月的Nature Neuroscience上。这些发现与关于神经元加工处理信息的“算法”的一种被广泛接受的观点相抵触。
“令人吃惊的是经过了100年的现代神经系统科学研究，我们仍然不知道一个神经元的基本的信息处理功能”，USC Viterbi工程学院副教授、文章作者Bartlett Mel说。由于没有更有说服力的看法，因此通常认为一个大脑细胞对所接受的刺激是线性叠加的，即受到A和B两种共同刺激所产生的兴奋相当于分别受到A和B刺激所产生的兴奋的总和。“我们证实细胞显然是不按照这个推测来运算的”，Mel说。
研究组发现单个神经元中的信息总量取决于细胞表面上接受信息输入的位置。
了解一些有关大脑细胞的知识，将有助于理解这个研究组的工作和其发现的意义。
大脑中进行的所以信息加工都是由神经元网络进行操控。这些活细胞具有各种各样的形状和大小尺寸，通常类似树枝状。一个神经元表面散布着数以千计的神经突触，这些神经突触正是神经元细胞接受外界信号的位点。当受到刺激时，每个神经突触能产生一个小的局部的电压反应。
根据对神经元的传统观点，突触反应沿着神经元中像电缆一样的树突传递下去并叠加。如果总的电压反应足够大就会产生一个电位并沿着细胞的轴突传递、与其它成千上万个神经元进行交流。
“最近的证据显示这个过程并不是那么简单”，Mel说。“输入的信号可能会在神经树突中相互作用并且可能在通往细胞体的路途上发生了转化。尤其是，神经树突的单个分枝在某种情况下能产生局部电位从而显着扩大了神经树突中的局部区域的突触反应”。
研究组着手建立神经元用来合并多个突触信号的算法，从而集中研究这种组成大脑皮层灰质的锥体神经元。这些实验在以色列的海法由论文的第一作者、Technion的研究生Alon Polsky和Jackie Schiller进行。
借助大鼠的大脑皮层组织切片，Polsky和Schiller可以定位单个锥体神经元，进行染色后用细胞外电极刺激靠近树突分支的细胞。通过1—2个刺激电极对树突的不同位置（例如在相同的或不同的树突分支上）施放电刺激，同时记录细胞体上的电压。
研究人员接着比较了分别进行两种刺激时和合并在一起时的细胞体的电压反应。“Schiller的方法最强有力的一点就是你可以看到你正在刺激哪个部位，这是因为在突触被刺激的地方染料会微弱发光”，Mel说。Mel在USC对实验设计和数据分析进行了远程合作。
“你可以对细胞上的特殊空间位置进行刺激并且观察到不同位置产生的差异。”Mel说。房地产界的关键用词“位置决定一切”，在神经元细胞中也一样。
研究资料显示当两个电极A和B刺激同一个树突分支时出现了三种不同的情况：
1. 如果细胞对这两种刺激（电极A和B）的总反应低于分支上的局部的电位阈值，这个总和呈线性叠加关系，即A+B。
2. 如果两种输入合起来刚刚能超过局部阈值，它们的总和表现为超线性，即大于A+B。
3. 如果单个输入已经能够超过局部阈值，这个总和是次线性的，即小于A+B。
Mel解释了这个方法的最后一点：“如果两个人每个人都有一根火柴，一起点燃一把火，那么一旦第一根火柴点着火，再加入第二根火柴并不会使这把火两倍的光和热。第二个火柴不会起到什么作用。”
研究人员还发现不同树突分支上的输入总和总是表现出线性叠加关系，即如同点亮了两把火。
这些发现支持了一个2003年由Mel的实验室进行的模型研究。在这个模型中，他和研究生Panayiota Poirazi推测出锥体神经元的这种行为过程。这是第一个对那些推测的实验验证。
“因此，我们现在将神经元想成一个双层模型”，Mel说。“加工的第一层发生在单个的树突分支中。每个分支独立地添加所接受的信号，然后遵从它自己的局部阈值的非线性原则。在第二层的加工中，来源于所有不同分支的信号在细胞体上进行线性叠加，并帮助决定细胞的总的域值。”
虽然这些结果很有前途，但研究组明白这不是锥体神经元的最终结论。“勿庸置疑，这仍然是个简单的模型”，Mel说。“但这种双层模型显然优于将神经元假设成简单的进行线性加合的模型。那明显与这些数据不符。”
据Mel所说，最终需要解决的另外一个难题是来自神经元的最远端即apical tuft的突触信号可能会和细胞体近端的基部树突的输入信号以微妙的方式发生相互作用。“我们现在希望知道我们是否需要将双层模型扩展成三层模型”，Mel说。“可能基部和顶端树突分别按照我们所说的规则运转，但当它们发生相互作用时就会有另外一种非线性的反应发生。
Mel强调说，他们发现的这种锥体神经元的算术规则可能不能适用于大脑中的所有神经元。“还有另外一些具有不同形状、输入、形态和离子通道的神经元存在”，他说。“根据我们所观察到的神经元，这个问题可能有很多不同的答案。”尽管还有许多工作要做，但新的成像技术、逼真的模型和现代化的实验操作正在使得这项了解大脑的复杂的神经元的任务在总体上变的简单了许多。
最后，Mel说从单个神经元观察到的知识对进一步从整体上了解大脑是至关重要的。“我们常将大脑看成是一部计算机”，他说。“如果我们想知道这部计算机是如何工作的，我们就必须首先知道它的各个部件是如何工作的。”
㈢ CNN算法的神经元指的是什么
CNN是指卷积神经网络吗？
神经元就是指一个带权重W和偏置B，以及激活方程f的一个单元 输入I和输出O的关系是 O = f(WI+B)
㈣ 什么叫神经元神经元节点信息计算方法
隐层节点数在BP网络中，隐层节点数的选择非常重要，不仅对建立的神经网络模型的性能影响很大，而且是训练时出现“过拟合”的直接原因，但是目前理论上还没有一种科学的和普遍的确定方法。
神经元之间联系的基本方式是形成突触，突触由突触前膜、突触间隙和突触后膜构成，突触前膜内侧有大量线粒体和囊泡，不同类型突触所含囊泡的形态、大小及递质均不同。突触后膜上有递质作用的受体。
(4)神经元的算法扩展阅读：
神经元也和其他类型的细胞一样，包括有细胞膜、细胞质和细胞核。但是神经细胞的形态比较特殊，具有许多突起，因此又分为细胞体、轴突和树突三部分。细胞体内有细胞核，突起的作用是传递信息。树突是作为引入输入信号的突起，而轴突是作为输出端的突起，它只有一个。
人工神经网络反映了人脑功能的若干基本特性，但并非生物系统的逼真描述，只是某种模仿、简化和抽象。与数字计算机比较，人工神经网络在构成原理和功能特点等方面更加接近人脑，它不是按给定的程序一步一步地执行运算，而是能够自身适应环境、总结规律、完成某种运算、识别或过程控制。
㈤ 神经网络隐层数和神经元个数如何确定
你使用的什么神经网络？如果是RBF神经网络，那么只有3层，输入层，隐含层和输出层。确定神经元个数的方法有K-means,ROLS等算法。
㈥ 卷积神经网络算法是什么
一维构筑、二维构筑、全卷积构筑。
卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一。
卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariant classification），因此也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）”。
卷积神经网络的连接性：
卷积神经网络中卷积层间的连接被称为稀疏连接（sparse connection），即相比于前馈神经网络中的全连接，卷积层中的神经元仅与其相邻层的部分，而非全部神经元相连。具体地，卷积神经网络第l层特征图中的任意一个像素（神经元）都仅是l-1层中卷积核所定义的感受野内的像素的线性组合。
卷积神经网络的稀疏连接具有正则化的效果，提高了网络结构的稳定性和泛化能力，避免过度拟合，同时，稀疏连接减少了权重参数的总量，有利于神经网络的快速学习，和在计算时减少内存开销。
卷积神经网络中特征图同一通道内的所有像素共享一组卷积核权重系数，该性质被称为权重共享（weight sharing）。权重共享将卷积神经网络和其它包含局部连接结构的神经网络相区分，后者虽然使用了稀疏连接，但不同连接的权重是不同的。权重共享和稀疏连接一样，减少了卷积神经网络的参数总量，并具有正则化的效果。
在全连接网络视角下，卷积神经网络的稀疏连接和权重共享可以被视为两个无限强的先验（pirior），即一个隐含层神经元在其感受野之外的所有权重系数恒为0（但感受野可以在空间移动）；且在一个通道内，所有神经元的权重系数相同。
㈦ 神经网络输出神经元个数怎么确定
如果是RBF神经网络，那么只有3层，输入层，隐含层和输出层。确定神经元个数的方法有K-means,ROLS等算法。现在还没有什么成熟的定理能确定各层神经元的神经元个数和含有几层网络，大多数还是靠经验，不过3层网络可以逼近任意一个非线性网络，神经元个数越多逼近的效果越好。
神经网络可以指向两种，一个是生物神经网络，一个是人工神经网络。
生物神经网络：一般指生物的大脑神经元，细胞，触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。
人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
人工神经网络：是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为“神经网络”或类神经网络。
㈧ 神经网络算法是用来干什么的
神经网络算法是由多个神经元组成的算法网络。
逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生的想法或解决问题的办法。这种思维方式的根本之点在于以下两点：
1、信息是通过神经元上的兴奋模式分布储在网络上。
2、信息处理是通过神经元之间同时相互作用的动态过程来完成的。
思维学普遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。
㈨ 什么是人工神经元算法
人工神经网络算法
“人工神经网络”(ARTIFICIAL
NEURAL
NETWORK，简称ANN)是在对人脑组织结构和运行机制的认识理解基础之上模拟其结构和智能行为的一种工程系统。早在本世纪40年代初期，心理学家McCulloch、数学家Pitts就提出了人工神经网络的第一个数学模型，从此开创了神经科学理论的研究时代。其后，F
Rosenblatt、Widrow和J.
J
.Hopfield等学者又先后提出了感知模型，使得人工神经网络技术得以蓬勃发展。
神经系统的基本构造是神经元(神经细胞)，它是处理人体内各部分之间相互信息传递的基本单元。据神经生物学家研究的结果表明，人的一个大脑一般有1010～1011个神经元。每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支——树突组成。轴突的功能是将本神经元的输出信号(兴奋)传递给别的神经元。其末端的许多神经末梢使得兴奋可以同时传送给多个神经元。树突的功能是接受来自其它神经元的兴奋。神经元细胞体将接受到的所有信号进行简单处理(如：加权求和，即对所有的输入信号都加以考虑且对每个信号的重视程度——体现在权值上——有所不同)后由轴突输出。神经元的树突与另外的神经元的神经末梢相连的部分称为突触。
㈩ 神经网络算法原理
4.2.1 概述
人工神经网络的研究与计算机的研究几乎是同步发展的。1943年心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型，20世纪50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函数的概念提出了神经网络的一种数学模型，1986年，Rumelhart及LeCun等学者提出了多层感知器的反向传播算法等。
神经网络技术在众多研究者的努力下，理论上日趋完善，算法种类不断增加。目前，有关神经网络的理论研究成果很多，出版了不少有关基础理论的着作，并且现在仍是全球非线性科学研究的热点之一。
神经网络是一种通过模拟人的大脑神经结构去实现人脑智能活动功能的信息处理系统，它具有人脑的基本功能，但又不是人脑的真实写照。它是人脑的一种抽象、简化和模拟模型，故称之为人工神经网络（边肇祺，2000）。
人工神经元是神经网络的节点，是神经网络的最重要组成部分之一。目前，有关神经元的模型种类繁多，最常用最简单的模型是由阈值函数、Sigmoid 函数构成的模型（图 4-3）。
储层特征研究与预测
以上算法是对每个样本作权值修正，也可以对各个样本计算δj后求和，按总误差修正权值。