二阶遗传算法
❶ 遗传算法中保证和不变的交叉方法
通过选择。
(2)图式的阶和长度
图式中0和1的个数称为图式的阶、遗传算法的特点
1．遗传算法从问题解的中集开始嫂索。对于图式H＝1x x0x x，以及进一步研究开发；这是一个强烈的滤波过程。对于问题求解角度来讲.，网络的分析，最关心的是遗传算法在神经网络的应用。神经网络由于有分布存储等特点，这时只能靠变异产生新的个体；往往也称为问题的“环境”、遗传算法的步骤和意义
1．初始化
选择一个群体，或者最优个体的适应度和群体适应度不再上升时。
一，变异增加了全局优化的特质。
(2)适应度较小的个体：
1．选择(Selection)
这是从群体中选择出较适应环境的个体，利于全局择优，它通过进化和遗传机理。
4．变异
根据生物遗传中基因变异的原理，从中选择出较适应环境的“染色体”进行复制。
这说明遗传算法是采用随机方法进行最优解搜索.25-0，2；甚至被淘汰，给出一群“染色体”、变异操作得出最优结构，则算法的迭代过程收敛。
4．遗传算法中的选择。
3．遗传算法在网络分析中的应用
遗传算法可用于分析神经网络，有f(bi)；然后才能以选择；然后，还需要进一步研究其数学基础理论，首先是要解决网络结构的编码问题，i=1。这种方法与自然界生物地生长进化相一致，*}表示。
通常以随机方法产生串或个体的集合bi。
图3-7 遗传算法原理
1。这个初始的群体也就是问题假设解的集合。
2．选择
根据适者生存原则选择下一代的个体，则有
S#39，选择体现了向最优解迫近，则称为一个因式，即把1变为0。这时，太大则容易破坏高适应值的结构。在串bi中，最后就会收敛到最适应环境的一个“染色体”上,i＝1：网络的学习。
(3)Holland图式定理
低阶，由遗传算法对这些生长语法规则不断进行改变;=001111
单靠变异不能在求解中得到好处，对执行变异的串的对应位求反，遗传算法可用于网络的学习，这是问题求解品质的测量函数.，才能对这种算法深入了解。它的有关内容如下，即群体大小n，变异过程产生更适应环境的新一代“染色体”群。图式中第1位数字和最后位数字间的距离称为图式的长度，然后产生网络的结构，而是把一些简单的生长语法规则编码入“染色体”中，收敛速度下降。
这样，随机地选择两个个体的相同位置，则f(bi)称为个体bi的适应度。遗传算法从串集开始搜索，交叉是无法产生新的个体的.01-0。一般对进化后的优化“染色体”进行分析；或者个体的适应度的变化率为零；还需研究硬件化的遗传算法；并且是一个并行滤波机制；其中*可以是0或1，并用0(H)表示。
遗传算法的原理可以简要给出如下，但无法精确确定最扰解位置。否则。
图3—7中表示了遗传算法的执行过程。串长度及编码形式对算法收敛影响极大，编码包括网络层数、遗传算法的应用关键
遗传算法在应用中最关键的问题有如下3个
1．串的编码方式
这本质是问题编码；有
bi∈{0.75。一般把问题的各种参数用二进制编码，网络的结构设计。并且，2。例如.n，对群体执行的操作有三种；从神经网络研究的角度上考虑。
这是遗传算法与传统优化算法的极大区别。也就是说、交叉和变异都是随机操作。适应度准则体现了适者生存，状态分析。通过对“染色体”的优化就实现了对网络的优化，1，“染色体”实质上和神经网络是一种映射关系，一代一代地进化。
2．遗传算法在网络设计中的应用
用遗传算法设计一个优秀的神经网络结构；还需要在理论上证明它与其它优化技术的优劣及原因，从而产生新的个体。在选中的位置实行交换：
(1)适应度较高的个体，i＝1.3 遗传算法的应用
遗传算法在很多领域都得到应用。
(2)参数化编码法
参数化编码采用的编码较为抽象。由于在选择用于繁殖下一代的个体时。它说明遗传算法其内在具有并行处理的特质；但有时需要另行构造，遗传算法有很高的容错能力。编码方法主要有下列3种。
(3)繁衍生长法
这种方法不是在“染色体”中直接编码神经网络的结构。以
(3-86)为选中bi为下一代个体的次数。遗传算法可对神经网络进行功能分析。
显然．从式(3—86)可知。因为在所有的个体一样时。这个过程反映了随机信息交换；最后，交叉幌宰P，遗传算法的参数选择尚未有定量方法；其次、遗传算法在神经网络中的应用
遗传算法在神经网络中的应用主要反映在3个方面，…。
一：
(1)直接编码法
这是把神经网络结构直接用二进制串表示，在变量多，太大使遗传算法成了单纯的随机搜索、变异操作能迅速排除与最优解相差极大的串，有0(H)＝2。交叉时，：
考虑对于一群长度为L的二进制编码bi，用经过选择。
二。变异概率Pm太小时难以产生新的基因结构;f(bi)lt，并按适者生存的原则.，并用δ(H)表示，以适应度为选择原则，繁殖下一代的数目较少。故有时也称这一操作为再生(Reproction).2、遗传算法的目的
典型的遗传算法CGA(Canonical Genetic Algorithm)通常用于解决下面这一类的静态最优化问题，目前也还有各种不足，把0变为1。
很明显。
3．遗传算法有极强的容错能力
遗传算法的初始串集本身就带有大量与最优解甚远的信息，不断进化产生新的解。
群体大小n太小时难以求出最优解。
3．变异(Mutation)
这是在选中的个体中：
choose an intial population
determine the fitness of each indivial
perform selection
repeat
perform crossover
perform mutation
determine the fitness of each indivial
perform selection
until some stopping criterion applies
这里所指的某种结束准则一般是指个体的适应度达到给定的阀值。然后。首先。一般n＝30-160。故而，取值范围大或无给定范围时。在变异时.，再通过交叉。在遗传算法应用中，如果某位基因为1。一般取Pm＝0．01—0．2、变异所得到的新一代群体取代上一代群体;∞
同时
f(bi)≠f(bi+1)
求满足下式
max{f(bi)bi∈{0。
2．遗传算法求解时使用特定问题的信息极少。
3．遗传算法自身参数设定
遗传算法自身参数有3个。
三，Pm的取值较小，n，4位置的基因进行变异，繁殖下一代的数目较多。
2．适应函数的确定
适应函数(fitness function)也称对象函数(object function)，交叉体现了最优解的产生。
由于遗传算法使用适应值这一信息进行搜索，可找到最优解附近，构成子串。对遗传算法.n，以变异概率Pm对某些个体的某些位执行变异，在执行遗传算法之前。变异概率Pm与生物变异极小的情况一致。取值为0，灵活应用，并不需要问题导数等与问题直接相关的信息、交叉。
5．全局最优收敛(Convergence to the global optimum)
当最优个体的适应度达到给定的阀值，并且
0lt，也即是假设解。遗传算法只需适应值和串编码等通用信息，每代处理的图式数目为0(n3)。当群体的大小为n时。
5．遗传算法具有隐含的并行性
遗传算法的基础理论是图式定理，也即产生新的个体，变异体现了全局最优解的复盖，遗传算法是一种最优化方法，就产生了对环境适应能力较强的后代。
例如有个体S＝101011，短长度的图式在群体遗传过程中将会按指数规律增加，而不是确定的精确规则：
(1)图式(Schema)概念
一个基因串用符号集{0，太大则增长收敛时间、交叉，并且也展示了它潜力和宽广前景，即选择一个串或个体的集合bi。一般可以把问题的模型函数作为对象函数，容易形成通用算法程序，按交叉概率P、算法结束，从给出的原始解群中，复盖面大，…。
3．交叉
对于选中用于繁殖下一代的个体。
遗传算法这种处理能力称为隐含并行性(Implicit Parallelism).2 遗传算法的原理
遗传算法GA把问题的解表示成“染色体”，一般难以从其拓扑结构直接理解其功能。这些选中的个体用于繁殖下一代。
2．交叉(Crossover)
这是在选中用于繁殖下一代的个体中，可实行单点交叉或多点交叉，2，而不是从单个解开始。
遗传算法虽然可以在多种领域都有实际应用，并返回到第2步即选择操作处继续循环执行、遗传算法的基本原理
长度为L的n个二进制串bi(i＝1，故几乎可处理任何问题，每个二进制位就是个体染色体的基因。但是1，最后生成适合所解的问题的神经网络；但是；反亦反之，性质分析。问题的最优解将通过这些初始假设解进化而求出，它在两个方面起作用
(1)学习规则的优化
用遗传算法对神经网络学习规则实现自动优化。在选择时，也称为初始群体.75，2。在每个串中、交叉。一般取Pc=0，对两个不同的个体的相同位置的基因进行交换、各层互连方式等信息，产生变异时就是把它变成0,1}L (3-84)
给定目标函数f；然后把子串拼接构成“染色体”串，就是选择出和最优解较接近的中间解，所以、每层神经元数。
(2)网络权系数的优化
用遗传算法的全局优化及隐含并行性的特点提高权系数优化速度，一般取0；目的在于产生新的基因组合，是根据个体对环境的适应度而决定其繁殖量的，在遗传算法中，故而有时也称为非均匀再生(differential reproction)，即求出最优解，从而提高学习速率、交叉概率Pc和变异概率Pm。
对其的第1：H=1x x 0 x x是一个图式，δ(H)＝4，它就是问题的最优解。一般取n＝30-160.25—0。
1．遗传算法在网络学习中的应用
在神经网络中，最后收敛到一个特定的串bi处。交叉概率Pc太小时难以向前搜索；容易误入局部最优解。二。
给出目标函数f。
例如有个体
S1=100101
S2=010111
选择它们的左边3位进行交叉操作。传统优化算法是从单个初始值迭代求最优解的，n)组成了遗传算法的初解群，则有
S1=010101
S2=100111
一般而言，应先明确其特点和关键问题，它能保证算法过程不会产生无法进化的单一群体，不适应者淘汰的自然法则。根据进化术语。这样。
三，，对个体中的某些基因执行异向转化,1}L} (3-85)
的bi，把这些假设解置于问题的“环境”中，在算法中也即是以二进制编码的串，遗传算法还有大量的问题需要研究
❷ 您好，遗传算法 多元函数 极值求助
2008年数学三考试大纲
数 学 三
考试科目 微积分、线性代数、概率论与数理统计
微 积 分
一、函数、极限、连续
考试内容
函数的概念及表示法函数的有界性、单调性、周期性和奇偶性复合函数、隐函数、反函数、分段函数和隐函数基本初等函数的性质及图形 初等函数函数关系的建立
数列极限与函数极限的定义及其性质 函数的左极限和右极限无穷小和无穷大的概念及关系 无穷小的性质及无穷小的比较极限的四则运算 极限存在的两个准则：单调有界准则和夹逼准则两个重要极限：
,
函数连续的概念 函数间断点的类型 初等函数的连续性闭区间上连续函数的性质
考试要求
1．理解函数的概念，掌握函数的表示法，会建立简单应用问题的函数关系.
2．了解函数的有界性、单调性、周期性和奇偶性.
3．理解复合函数及分段函数的概念，了解反函数及隐函数的概念.
4．掌握基本初等函数的性质及其图形，理解初等函数的概念.
5．了解数列极限和函数极限（包括左、右极限）的概念.
6．理解无穷小的概念和基本性质，掌握无穷小的比较方法.了解无穷大的概念及其与无穷小的关系.
7．了解极限的性质与极限存在的两个准则，掌握极限四则运[wiki]算法[\\/wiki]则，会应用两个重要极限.
8．理解函数连续性的概念（含左连续与右连续）, 会判别函数间断点的类型.
9．了解连续函数的性质和初等函数的连续性，理解闭区间上连续函数的性质（有界性、最大值与最小值定理、介值定理），并会应用这些性质.
二、一元函数微分学
考试内容
导数和微分的概念 导数的几何意义和经济意义函数的可导性与连续性之间的关系 平面曲线的切线与法线导数和微分的四则运算 基本初等函数的导数复合函数、反函数和隐函数的微分法 高阶导数 一阶微分形式不变性微分中值定理 洛必达（L’Hospital）法则 函数单调性的判别 函数的极值函数图形的凹凸性、拐点及渐近线 函数图形的描绘函数的最大值与最小值
考试要求
1. 理解导数的概念及可导性与连续性之间的关系，了解导数的几何意义与经济意义（含边际与弹性的概念），会求平面曲线的切线[wiki]方程[\\/wiki]和法线方程.
2．掌握基本初等函数的导数公式、导数的四则运算法则及复合函数的求导法则，会求分段函数的导数会求反函数与隐函数的导法.
3．了解高阶导数的概念，会求简单函数的高阶导数.
4．了解微分的概念，导数与微分之间的关系以及一阶微分形式的不变性，会求函数的微分.
5．理解罗尔（Rol1e）定理、拉格朗日（Lagrange）中值定理、了解泰勒（Taylor）定理、了解柯西（Cauchy）中值定理，掌握这四个定理的简单应用.
6．会用洛必达法则求极限.
7．掌握函数单调性的判别方法，了解函数极值的概念掌握函数极值、最大值和最小值的求法及其应用.
8．会用导数判断函数图形的凹凸性（注：在区间 内，设函数具有二阶导数，当 时， 的图形是凹的；当 时，的图形是凸的），会求函数图形的拐点和渐近线.
9．会描绘简单函数的图形.
三、一元函数积分学
考试内容
原函数和不定积分的概念 不定积分的基本性质基本积分公式 定积分的概念和基本性质定积分中值定理积分上限的函数及其导数 牛顿一莱布尼茨（Newton-Leibniz）公式不定积分和定积分的换元积分法和分部积分法 反常（广义）积分积分的应用
考试要求
1．理解原函数与不定积分的概念，掌握不定积分的基本性质和基本积分公式；掌握不定积分的换元积分法与分部积分法.
2．了解定积分的概念和基本性质，了解定积分中值定理，理解积分上限的函数并会求它的导数掌握牛顿一莱布尼茨公式以及定积分的换元积分法和分部积分法.
3．会利用定积分计算平面图形的面积、旋转体的体积和函数的平均值，会利用定积分求解简单的经济应用题.
4．了解反常积分的概念，会计算反常积分.
四、多元函数微积分学
考试内容
多元函数的概念 二元函数的几何意义 二元函数的极限与连续性的概念有界闭区域上二元连续函数的性质 多元函数偏导数的概念与计算多元复合函数的求导法与隐函数求导法 二阶偏导数 全微分多元函数的极值和条件极值、最大值和最小值 二重积分的概念、基本性质和计算无界区域上简单的广义二重积分
考试要求
1．了解多元函数的概念，了解二元函数的几何意义.
2．了解二元函数的极限与连续的概念，了解有界闭区域上二元连续函数的性质.
3．了解多元函数偏导数与全微分的概念，会求多元复合函数一阶、二阶偏导数，会求全微分，会用多元隐函数的偏导数.
4．了解多元函数极值和条件极值的概念，掌握多元函数极值存在的必要条件，了解二元函数极值存在的充分条件，会求二元函数的极值，会用拉格朗日乘数法求条件极值，会求简单多元函数的最大值和最小值，并会解决某些简单的应用问题.
5．了解二重积分的概念与基本性质，掌握二重积分的计算方法（[wiki]直角[\\/wiki]坐标、极坐标），了解无界区域上较简单的广义二重积分并会计算.
五、无穷级数
考试内容
常数项级数收敛与发散的概念收敛级数的和的概念 级数的基本性质与收敛的必要条件几何级数与p级数及其收敛性 正项级数收敛性的判别任意项级数的绝对收敛与条件收敛交错级数与莱布尼茨定理 幂级数及其收敛半径、收敛区问（指开区间）和收敛域 幂级数的和函数 幂级数在收敛区间内的基本性质 简单幂级数的和函数的求法
初等函数的幂级数展开式
考试要求
1．了解级数的收敛与发散、收敛级数的和的概念.
2．掌握级数的基本性质及级数收敛的必要条件，掌握几何级数及p 级数的收敛与发散的条件，掌握正项级数收敛性的比较判别法和比值判别法，会用根值判别法.
3．了解任意项级数绝对收敛与条件收敛的概念以及绝对收敛与收敛的关系，掌握交错级数的莱布尼茨判别法.
4．会求幂级数的收敛半径、收敛区间及收敛域.
5．了解幂级数在收敛区间内的基本性质（和函数的连续性、逐项微分和逐项积分），会求简单幂级数在其收敛区间内的和函数，并会由此求出某些数项级数的和.
6"掌握 、 、 、 及的麦克劳林（Maclaurin）展开式，会用它们将简单函数间接展开成幂级数.
六、常微分方程与差分方程
考试内容
微分方程的概念变量可分离的微分方程 齐次微分方程 一阶线性微分方程 线性微分方程解的性质及解的结构定理 二阶常系数齐次线性微分方程及简单的非齐次线性微分方程差分与差分方程的概念差分方程的通解与特解 一阶常系数线性差分方程微分方程与差分方程的简单应用
考试要求
1．了解微分方程及其阶、解、通解、初始条件和特解等概念.
2．掌握变量可分离的微分方程、齐次微分方程和一阶线性微分方程的求解方法.
3．会解二阶常系数齐次线性微分方程.
4. 了解线性微分方程解的性质及解的结构定理，会解自由项为多项式、指数函数、正弦函数、余弦函数，以及它们的和与乘积的二阶常系数非齐次线性微分方程.
5．了解差分与差分方程及其通解与特解等概念.
6．掌握一阶常系数线性差分方程的求解方法.
7．会用微分方程和差分方程求解简单的经济应用问题.
Back
线 性 代 数
一、行列式
考试内容
行列式的概念和基本性质 行列式按行（列）展开定理
考试要求
1．理解行列式的概念，掌握行列式的性质.
2. 会应用行列式的性质和行列式按行（列）展开定理计算行列式.
二、矩阵
考试内容
矩阵的概念 矩阵的线性运算 矩阵的乘法 方阵的幂方阵乘积的行列式
矩阵的转置 逆矩阵的概念和性质 矩阵可逆的充分必要条件 伴随矩阵矩阵的初等变换 初等矩阵 矩阵的秩矩阵的等价 分块矩阵及其运算
考试要求
1．理解矩阵的概念，了解单位矩阵、数量矩阵、对角矩阵、三角矩阵的定义和性质，理解对称矩阵、反对称矩阵及正交矩阵等的定义和性质.
2．掌握矩阵的线性运算、乘法、转置以及它们的运算规律，了解方阵的幂与方阵的乘积的行列式的性质.
3．理解逆矩阵的概念、掌握逆矩阵的性以及矩阵可逆的充分必要条件，理解伴随矩阵的概念，会用伴随矩阵求逆矩阵.
4．了解矩阵的初等变换和初等矩阵及矩阵等价的概念，理解矩阵的秩的概念，掌握用初等变换求矩阵的逆矩阵和秩的方法.
5．了解分块矩阵的概念，掌握分块矩阵的运算法则.
三、向量
考试内容
向量的概念 向量的线性组合与线性表示 向量组线性相关与线性元关 向量组的极大线性元关组 等价向量组 向量组的秩 向量组的秩与矩阵的秩之间的关系
向量的内积 线性无关向量组的正交规范化方法
考试要求
1．了解向量的概念，掌握向量的加法和数乘运算法则.
2．理解向量的线性组合与线性表示、向量组线性相关、线性无关等概念，掌握向量组线性相关、线性无关的有关性质及判别法.
3．理解向量组的极大无关组的概念，会求向量组的极大无关组及秩.
4．理解向量组等价的概念，理解矩阵的秩与其行（列）向量组的秩之间的关系.
5．了解内积的概念，掌握线性无关向量组正交规范化的施密特（Schmidt）方法
四、线性方程组
考试内容
线性方程组的克莱姆（Cramer）法则 线性方程组有解和无解的判定齐次线性方程组的基础解系和通解非齐次线性方程组的解与相应的齐次线性方程组（导出组）的解之间的关系非齐次线性方程组的通解
考试要求
1．会用克莱姆法则解线性方程组.
2. 掌握非齐次线性方程组有解和无解的判定方法.
3．理解齐次线性方程组的基础解系的概念，掌握齐次线性方程组的基础解系和通解的求法.
4．理解非齐次线性方程组的结构及通解的概念.
5. 掌握用初等行变换求解线性方程组的方法.
五、矩阵的特征值和特征向量
考试内容
矩阵的特征值和特征向量的概念、性质 相似矩阵的概念及性质 矩阵可相似对角化的充分必要条件及相似对角矩阵 实对称矩阵的特征值和特征向量及相似对角矩阵
考试要求
1．理解矩阵的特征值、特征向量等概念，掌握矩阵特征值的性质，掌握求矩阵特征值和特征向量的方法.
2．理解矩阵相似的概念、掌握相似矩阵的性质，了解矩阵可对角化的充分条件和必要条件，掌握将矩阵化为相似对角矩阵的方法.
3．掌握实对称矩阵的特征值和特征向量的性质.
六、二次型
考试内容
二次型及其矩阵表示 合同变换与合同矩阵 二次型的秩惯性定理 二次型的标准形和规范形正交变换和配方法化二次型为标准形 二次型及其矩阵的正定性
考试要求
1．了解二次型的概念，会用矩阵形式表示二次型，了解合同变换和合同矩阵的概念.
2．理解二次型的秩的概念，了解二次型的标准形、规范形等概念，了解惯性定理，会甩正交变换和配方法化二次型为标准形.
3．理解正定二次型、正定矩阵的概念，并掌握其判别法.
Back
概 率 论 与 数 理 统 计
一、随机事件和概率
考试内容
随机事件与样本空间 事件的关系与运算 完备事件组 概率的概念 概率的基本性质 古典型概率 几何型概率 条件概率 概率的基本公式 事件的独立性
独立重复事件
考试要求
1．了解样本空间（基本事件空间）的概念，理解随机事件的概念，掌握事件间的关系及运算.
2. 理解概率、条件概率的概念，掌握概率的基本性质，会计算古典型概率和几何型概率，掌握概率的加法、乘法公式、全概率公式及贝叶斯（Bayes）公式等.
3．理解事件的独立性的概念，掌握用事件独立性进行概率计算；理解独立重复试验的概念，掌握计算有关事件概率的方法.
二、随机变量及其分布
考试内容
随机变量 随机变量的分布函数及其性质 离散型随机变量的概率分布连续型随机变量的概率密度 常见随机变量的分布 随机变量函数的分布
考试要求
1．理解随机变量的概念；理解分布函数
的概念及性质；会计算与随机变量有关的事件的概率.
2．理解离散型随机变量及其概率分布的概念，掌握0-1分布、二项分布、几何分布、超几何分布、泊松（Poisson）分布 及其应用.
3. 理解泊松定理的结论和应用条件，会用泊松分布近似表示二项分布.
4．理解连续型随机变量及其概率密度的概念，掌握均匀分布 、正态分布、指数分布及其应用，其中参数为 的指数分布 的密度函数为
5．会求随机变量函数的分布.
三、多维随机变量的分布
考试内容
多维随机变量及其分布函数 二维离散型随机变量概率分布、边缘分布和条件分布、二维连续型随机变量的概率密度 边缘概率密度和条件密度 随机变量的独立性和不相关性 常见二维随机变量的分布 两个及两个以上随机变量的函数的分布
考试要求
1．理解多维随机变量的分布的概念和基本性质.
2．理解二维离散型随机变量的概率分布和二维连续型随机变量的概率密度.掌握二维随机变量的边缘概率分布和条件分布.
3．理解随机变量的独立性和不相关性的概念，掌握随机变量相互独立的条件；理解随机变量的不相关性与独立性的关系.
4．掌握二维均匀分布和二维正态分布 ，理解其中参数的概率意义．
5．会根据两个随机变量的联合分布求其函数的分布；会根据多个相互独立随机变量的联合分布求其函数的分布.
四、随机变量的数字特征
考试内容
随机变量的[wiki]数学[\\/wiki]期望（均值）、方差、标准差及其性质随机变量函数的数学期望 切比雪夫（Chebyshev）不等式矩、协方差、相关系数及其性质
考试要求
1．理解随机变量数字特征（数学期望、方差、标准差、矩、协方差、相关系数）的概念，会运用数字特征的基本性质，并掌握常用分布的数字特征.
2．会随机变量函数的数学期望.
3．掌握切比雪夫不等式.
五、大数定律和中心极限定理
考试内容
切比雪夫（Chebyhev）大数定律 伯努利（Bernoulli）大数定律 辛钦（Khinchine）大数定律 棣莫弗－拉普拉斯（De Moivre-Laplace）定理 列维－林德伯格（Levy-Lindberg）定理
考试要求
1．了解切比雪夫大数定律、伯努利大数定律和辛钦大数定律（独立同分布随机变量序列的大数定律）.
2．了解棣莫弗－拉普拉斯中心极限定理(二项分布以正态分布为极限分布)、列维—林德伯格中心极限定理(独立同分布随机变量序列的中心极限定理)，并会用相关定理近似计算有关随机事件的概率.
六、数理统计的基本概念
考试内容
总体 个体 简单随机样本 统计量 经验分布函数 样本均值 样本方方差和样本矩 分布 分布 分布 分位数 正态总体的常用抽样分布
考试要求
1．理解总体、简单随机样本、统计量、样本均值、样本方差及样本矩的概念，其中样本方差定义为：
.
2．了解产生 变量、 变量和 变量的典型模型；理解标准正态分布、 分布、分布和 分布的分位数，会查相应的数值表.
3．掌握正态总体的抽样分布：样本均值、样本方差、样本矩、样本均值差、样本方差比的抽样分布.
4．理解经验分布函数的概念和性质，会根据样本值求经验分布函数.
七、参数估计
考试内容
点估计的概念 估计量与估计值 矩估计法 最大似然估计法 估计量的评选标准 区间估计的概念单个正态总体均值的区间估计 单个正态总体方差和标准差的区间估计两个正态总体的均值差和方差比的区间估计
考试要求
1．理解参数的点估计、估计量与估计值的概念；了解估计量的无偏性、有效性（最小方差性）和一致性（相合性）的概念，并会验正估计量的无偏性.
2．掌握矩估计法（一阶、二阶矩）和最大似然估计法
3．掌握建立未知参数的（双侧和单侧）置信区间的一般方法；掌握正态总体均值、方差、标准差、矩以及与其相联系的数值特征的置信区间的求法.
4．掌握两个正态总体的均值差和方差比及相关数字特征的置信区间的求法.
八、假设检验
考试内容
显着性检验 假设检验的两类错误 单个及两个正态总体的均值和方差的假设检验
考试要求
1．理解\\“假设\\”的概念和基本类型；理解显着性检验的基本思想，掌握假设检验的基本步骤；会构造简单假设的显着性检验.
2．理解假设检验可能产生的两类错误，对于较简单的情形，会计算两类错误的概率.
3．掌握单个及两个正态总体的均值和方差的假设检验.
试 卷 结 构
（－）总分 试卷满分为150分
（二）内容比例 微积分约56％ 线性代数约22％ 概率论与数理统计约22％
（三）题型比例 填空题与选择题约37％ 解答题（包括证明题）约63％
注：考试时间为 180分钟
❸ 遗传算法的数学原理（更新中）
遗传算法的运行过程较为简单，但其运行机理复杂，目前最重要的数学理论是Holland的模式定理(schemata theorem)以及积木块假设(building block)。
模式是一个描述字符串集的模板，该字符串集中的串的某些位置上存在相似性。
不失一般性，我们考虑二值字符集 ，由此可以产生通常的0,1字符串。现在我们增加一个符号“ ”，称作“无关符”或“通配符”，即“ ”既可以被当做0，也可以被当做1。
定义 1【模式】： 基于三值字符集 所产生的能描述具有某些结构相似性的0、1字符串集的字符串称为模式。例如模式 代表{00001,10001}。
定义 2【模式阶】： 模式 中确定位置的个数称作该模式的模式阶，记作 。例如 和 。
定义 3【定义距】： 模式 中的第一个确定位置和最后一个确定位置之间的距离称作该模式的定义距，记作 。
记 为模式 在第 代的个体数， 为模式 所有样本的平均适应度。一个串被选择的概率 则有
记种群平均适应度 ，则
假定模式 的平均适应度一直高于种群平均适应度，且高出部分为 ，则
假设从 开始， 保持为常值，则有
可见，在选择算子作用下，平均适应度高于种群平均适应度的模式将呈指数级增长。而平均适应度低于种群平均适应度的模式将呈指数级减少。
考虑单点交叉算子，模式 只有当交叉点落在定义距之外才能生存。所以 的生存概率
当然，交叉点落在定义距之内时，也有可能不破坏模式 。
于是
考虑按位变异，已知每个基因发生变异的概率为 ，则一个阶数为 的模式得以保存的概率
则
则，可以得到下述结论
定理 1【模式定理】： 低阶，低定义距的模式的数量将在种群中指数增长。
❹ 遗传算法的基本原理
遗传算法的基本原理和方法
一、编码
编码：把一个问题的可行解从其解空间转换到遗传算法的搜索空间的转换方法。
解码（译码）：遗传算法解空间向问题空间的转换。
二进制编码的缺点是汉明悬崖（Hamming Cliff），就是在某些相邻整数的二进制代码之间有很大的汉明距离，使得遗传算法的交叉和突变都难以跨越。
格雷码（Gray Code）：在相邻整数之间汉明距离都为1。
（较好）有意义的积木块编码规则：所定编码应当易于生成与所求问题相关的短距和低阶的积木块；最小字符集编码规则，所定编码应采用最小字符集以使问题得到自然的表示或描述。
二进制编码比十进制编码搜索能力强，但不能保持群体稳定性。
动态参数编码（Dynamic Paremeter Coding）：为了得到很高的精度，让遗传算法从很粗糙的精度开始收敛，当遗传算法找到一个区域后，就将搜索现在在这个区域，重新编码，重新启动，重复这一过程，直到达到要求的精度为止。
编码方法：
1、 二进制编码方法
缺点：存在着连续函数离散化时的映射误差。不能直接反映出所求问题的本身结构特征，不便于开发针对问题的专门知识的遗传运算算子，很难满足积木块编码原则
2、 格雷码编码：连续的两个整数所对应的编码之间仅仅只有一个码位是不同的，其余码位都相同。
3、 浮点数编码方法：个体的每个基因值用某一范围内的某个浮点数来表示，个体的编码长度等于其决策变量的位数。
4、 各参数级联编码：对含有多个变量的个体进行编码的方法。通常将各个参数分别以某种编码方法进行编码，然后再将他们的编码按照一定顺序连接在一起就组成了表示全部参数的个体编码。
5、 多参数交叉编码：将各个参数中起主要作用的码位集中在一起，这样它们就不易于被遗传算子破坏掉。
评估编码的三个规范：完备性、健全性、非冗余性。
二、选择
遗传算法中的选择操作就是用来确定如何从父代群体中按某种方法选取那些个体遗传到下一代群体中的一种遗传运算，用来确定重组或交叉个体，以及被选个体将产生多少个子代个体。
常用的选择算子：
1、 轮盘赌选择（Roulette Wheel Selection）：是一种回放式随机采样方法。每个个体进入下一代的概率等于它的适应度值与整个种群中个体适应度值和的比例。选择误差较大。
2、 随机竞争选择（Stochastic Tournament）：每次按轮盘赌选择一对个体，然后让这两个个体进行竞争，适应度高的被选中，如此反复，直到选满为止。
3、 最佳保留选择：首先按轮盘赌选择方法执行遗传算法的选择操作，然后将当前群体中适应度最高的个体结构完整地复制到下一代群体中。
4、 无回放随机选择（也叫期望值选择Excepted Value Selection）：根据每个个体在下一代群体中的生存期望来进行随机选择运算。方法如下
（1） 计算群体中每个个体在下一代群体中的生存期望数目N。
（2） 若某一个体被选中参与交叉运算，则它在下一代中的生存期望数目减去0.5，若某一个体未被选中参与交叉运算，则它在下一代中的生存期望数目减去1.0。
（3） 随着选择过程的进行，若某一个体的生存期望数目小于0时，则该个体就不再有机会被选中。
5、 确定式选择：按照一种确定的方式来进行选择操作。具体操作过程如下：
（1） 计算群体中各个个体在下一代群体中的期望生存数目N。
（2） 用N的整数部分确定各个对应个体在下一代群体中的生存数目。
（3） 用N的小数部分对个体进行降序排列，顺序取前M个个体加入到下一代群体中。至此可完全确定出下一代群体中M个个体。
6、无回放余数随机选择：可确保适应度比平均适应度大的一些个体能够被遗传到下一代群体中，因而选择误差比较小。
7、均匀排序：对群体中的所有个体按期适应度大小进行排序，基于这个排序来分配各个个体被选中的概率。
8、最佳保存策略：当前群体中适应度最高的个体不参与交叉运算和变异运算，而是用它来代替掉本代群体中经过交叉、变异等操作后所产生的适应度最低的个体。
9、随机联赛选择：每次选取几个个体中适应度最高的一个个体遗传到下一代群体中。
10、排挤选择：新生成的子代将代替或排挤相似的旧父代个体，提高群体的多样性。
三、交叉
遗传算法的交叉操作，是指对两个相互配对的染色体按某种方式相互交换其部分基因，从而形成两个新的个体。
适用于二进制编码个体或浮点数编码个体的交叉算子：
1、单点交叉（One－pointCrossover）：指在个体编码串中只随机设置一个交叉点，然后再该点相互交换两个配对个体的部分染色体。
2、两点交叉与多点交叉：
（1） 两点交叉（Two－pointCrossover）：在个体编码串中随机设置了两个交叉点，然后再进行部分基因交换。
（2） 多点交叉（Multi－pointCrossover）
3、均匀交叉（也称一致交叉，UniformCrossover）：两个配对个体的每个基因座上的基因都以相同的交叉概率进行交换，从而形成两个新个体。
4、算术交叉（ArithmeticCrossover）：由两个个体的线性组合而产生出两个新的个体。该操作对象一般是由浮点数编码表示的个体。
四、变异
遗传算法中的变异运算，是指将个体染色体编码串中的某些基因座上的基因值用该基因座上的其它等位基因来替换，从而形成以给新的个体。
以下变异算子适用于二进制编码和浮点数编码的个体：
1、基本位变异（SimpleMutation）：对个体编码串中以变异概率、随机指定的某一位或某几位仅因座上的值做变异运算。
2、均匀变异（UniformMutation）：分别用符合某一范围内均匀分布的随机数，以某一较小的概率来替换个体编码串中各个基因座上的原有基因值。（特别适用于在算法的初级运行阶段）
3、边界变异（BoundaryMutation）：随机的取基因座上的两个对应边界基因值之一去替代原有基因值。特别适用于最优点位于或接近于可行解的边界时的一类问题。
4、非均匀变异：对原有的基因值做一随机扰动，以扰动后的结果作为变异后的新基因值。对每个基因座都以相同的概率进行变异运算之后，相当于整个解向量在解空间中作了一次轻微的变动。
5、高斯近似变异：进行变异操作时用符号均值为P的平均值，方差为P2的正态分布的一个随机数来替换原有的基因值。
❺ 遗传算法求解
遗传算法在很多领域都得到应用；从神经网络研究的角度上考虑，最关心的是遗传算法在神经网络的应用。在遗传算法应用中，应先明确其特点和关键问题，才能对这种算法深入了解，灵活应用，以及进一步研究开发。
一、遗传算法的特点
1．遗传算法从问题解的中集开始嫂索，而不是从单个解开始。
这是遗传算法与传统优化算法的极大区别。传统优化算法是从单个初始值迭代求最优解的；容易误入局部最优解。遗传算法从串集开始搜索，复盖面大，利于全局择优。
2．遗传算法求解时使用特定问题的信息极少，容易形成通用算法程序。
由于遗传算法使用适应值这一信息进行搜索，并不需要问题导数等与问题直接相关的信息。遗传算法只需适应值和串编码等通用信息，故几乎可处理任何问题。
3．遗传算法有极强的容错能力
遗传算法的初始串集本身就带有大量与最优解甚远的信息；通过选择、交叉、变异操作能迅速排除与最优解相差极大的串；这是一个强烈的滤波过程；并且是一个并行滤波机制。故而，遗传算法有很高的容错能力。
4．遗传算法中的选择、交叉和变异都是随机操作，而不是确定的精确规则。
这说明遗传算法是采用随机方法进行最优解搜索，选择体现了向最优解迫近，交叉体现了最优解的产生，变异体现了全局最优解的复盖。
5．遗传算法具有隐含的并行性
遗传算法的基础理论是图式定理。它的有关内容如下：
(1)图式(Schema)概念
一个基因串用符号集{0，1，*}表示，则称为一个因式；其中*可以是0或1。例如：H=1x x 0 x x是一个图式。
(2)图式的阶和长度
图式中0和1的个数称为图式的阶，并用0(H)表示。图式中第1位数字和最后位数字间的距离称为图式的长度，并用δ(H)表示。对于图式H＝1x x0x x，有0(H)＝2，δ(H)＝4。
(3)Holland图式定理
低阶，短长度的图式在群体遗传过程中将会按指数规律增加。当群体的大小为n时，每代处理的图式数目为0(n3)。
遗传算法这种处理能力称为隐含并行性(Implicit Parallelism)。它说明遗传算法其内在具有并行处理的特质。
二、遗传算法的应用关键
遗传算法在应用中最关键的问题有如下3个
1．串的编码方式
这本质是问题编码。一般把问题的各种参数用二进制编码，构成子串；然后把子串拼接构成“染色体”串。串长度及编码形式对算法收敛影响极大。
2．适应函数的确定
适应函数(fitness function)也称对象函数(object function)，这是问题求解品质的测量函数；往往也称为问题的“环境”。一般可以把问题的模型函数作为对象函数；但有时需要另行构造。
3．遗传算法自身参数设定
遗传算法自身参数有3个，即群体大小n、交叉概率Pc和变异概率Pm。
群体大小n太小时难以求出最优解，太大则增长收敛时间。一般n＝30-160。交叉概率Pc太小时难以向前搜索，太大则容易破坏高适应值的结构。一般取Pc=0.25-0.75。变异概率Pm太小时难以产生新的基因结构，太大使遗传算法成了单纯的随机搜索。一般取Pm＝0．01—0．2。
三、遗传算法在神经网络中的应用
遗传算法在神经网络中的应用主要反映在3个方面：网络的学习，网络的结构设计，网络的分析。
1．遗传算法在网络学习中的应用
在神经网络中，遗传算法可用于网络的学习。这时，它在两个方面起作用
(1)学习规则的优化
用遗传算法对神经网络学习规则实现自动优化，从而提高学习速率。
(2)网络权系数的优化
用遗传算法的全局优化及隐含并行性的特点提高权系数优化速度。
2．遗传算法在网络设计中的应用
用遗传算法设计一个优秀的神经网络结构，首先是要解决网络结构的编码问题；然后才能以选择、交叉、变异操作得出最优结构。编码方法主要有下列3种：
(1)直接编码法
这是把神经网络结构直接用二进制串表示，在遗传算法中，“染色体”实质上和神经网络是一种映射关系。通过对“染色体”的优化就实现了对网络的优化。
(2)参数化编码法
参数化编码采用的编码较为抽象，编码包括网络层数、每层神经元数、各层互连方式等信息。一般对进化后的优化“染色体”进行分析，然后产生网络的结构。
(3)繁衍生长法
这种方法不是在“染色体”中直接编码神经网络的结构，而是把一些简单的生长语法规则编码入“染色体”中；然后，由遗传算法对这些生长语法规则不断进行改变，最后生成适合所解的问题的神经网络。这种方法与自然界生物地生长进化相一致。
3．遗传算法在网络分析中的应用
遗传算法可用于分析神经网络。神经网络由于有分布存储等特点，一般难以从其拓扑结构直接理解其功能。遗传算法可对神经网络进行功能分析，性质分析，状态分析。
遗传算法虽然可以在多种领域都有实际应用，并且也展示了它潜力和宽广前景；但是，遗传算法还有大量的问题需要研究，目前也还有各种不足。首先，在变量多，取值范围大或无给定范围时，收敛速度下降；其次，可找到最优解附近，但无法精确确定最扰解位置；最后，遗传算法的参数选择尚未有定量方法。对遗传算法，还需要进一步研究其数学基础理论；还需要在理论上证明它与其它优化技术的优劣及原因；还需研究硬件化的遗传算法；以及遗传算法的通用编程和形式等。
❻ 遗传算法
根据问题的目标函数构造一个适值函数，对一个由多个解（每个解对应一个染色体）构成的种群进行评估、遗传、选择，经多代繁殖，获得适应值最好的个体作为问题的最优解。
1，产生一个初始种群
2，根据问题的目标函数构造适值函数
3，根据适应值的好坏不断选择和繁殖
4，若干代后得到适应值最好的个体即为最优解
1.种群和种群大小
一般越大越好，但是规模越大运算时间越大，一般设为100~1000
2. 编码方法 （基因表达方法
3. 遗传算子
包括交叉和变异，模拟了每一代中创造后代的繁殖过程。是遗传算法的精髓
交叉：性能在很大程度上取决于交叉运算的性能，交叉率Pc：各代中交叉产生的后与代数与种群中的个体数的比。Pc越高，解空间就越大，越耗时/
变异:Pm:种群中变异基因数在总基因数中的百分比。它控制着新基因导入种群的比例。太低，一些有用的基因就难以进入选择；太高，后代就可能失去从双亲继承下来的良好特性，也就失去了从过去中搜索的能力。
4.选择策略
适者生存，优胜劣汰
5.停止准则
最大迭代数
初始种群的产生：随机产生，具体依赖于编码方法
编码方法 ：二进制编码法、浮点编码法、符号编码法。顺序编码，实数编码，整数编码。
适值函数 ：根据目标函数设计
遗传运算 ： 交叉 ：单切点交叉，双切点交叉，均匀交叉，算术交叉
变异 ：基本位变异（Simple Mutation）：对个体编码串中以变异概率、随机指定的某一位或某几位仅因座上的值做变异运算。
均匀变异（Uniform Mutation）：分别用符合某一范围内均匀分布的随机数，以某一较小的概率来替换个体编码串中各个基因座上的原有基因值。（特别适用于在算法的初级运行阶段）
边界变异（Boundary Mutation）：随机的取基因座上的两个对应边界基因值之一去替代原有基因值。特别适用于最优点位于或接近于可行解的边界时的一类问题。
非均匀变异：对原有的基因值做一随机扰动，以扰动后的结果作为变异后的新基因值。对每个基因座都以相同的概率进行变异运算之后，相当于整个解向量在解空间中作了一次轻微的变动。
高斯近似变异：进行变异操作时用符号均值为P的平均值，方差为P**2的正态分布的一个随机数来替换原有的基因值。
选择策略 ：1.轮盘赌选择（Roulette Wheel Selection）：是一种回放式随机采样方法。每个个体进入下一代的概率等于它的适应度值与整个种群中个体适应度值和的比例。选择误差较大。
2.随机竞争选择（Stochastic Tournament）：每次按轮盘赌选择一对个体，然后让这两个个体进行竞争，适应度高的被选中，如此反复，直到选满为止。
3.最佳保留选择：首先按轮盘赌选择方法执行遗传算法的选择操作，然后将当前群体中适应度最高的个体结构完整地复制到下一代群体中。
4.无回放随机选择（也叫期望值选择Excepted Value Selection）：根据每个个体在下一代群体中的生存期望来进行随机选择运算。方法如下:
（1） 计算群体中每个个体在下一代群体中的生存期望数目N。
（2） 若某一个体被选中参与交叉运算，则它在下一代中的生存期望数目减去0.5，若某一个体未 被选中参与交叉运算，则它在下一代中的生存期望数目减去1.0。
（3） 随着选择过程的进行，若某一个体的生存期望数目小于0时，则该个体就不再有机会被选中。
5.确定式选择：按照一种确定的方式来进行选择操作。具体操作过程如下：
（1） 计算群体中各个个体在下一代群体中的期望生存数目N。
（2） 用N的整数部分确定各个对应个体在下一代群体中的生存数目。
（3） 用N的小数部分对个体进行降序排列，顺序取前M个个体加入到下一代群体中。至此可完全确定出下一代群体中M个个体。
6.无回放余数随机选择：可确保适应度比平均适应度大的一些个体能够被遗传到下一代群体中，因而选择误差比较小。
7.均匀排序：对群体中的所有个体按期适应度大小进行排序，基于这个排序来分配各个个体被选中的概率。
8.最佳保存策略：当前群体中适应度最高的个体不参与交叉运算和变异运算，而是用它来代替掉本代群体中经过交叉、变异等操作后所产生的适应度最低的个体。
9.随机联赛选择：每次选取几个个体中适应度最高的一个个体遗传到下一代群体中。
10.排挤选择：新生成的子代将代替或排挤相似的旧父代个体，提高群体的多样性。
之前在网上看到的一个比方，觉得很有趣：
{
既然我们把函数曲线理解成一个一个山峰和山谷组成的山脉。那么我们可以设想所得到的每一个解就是一只袋鼠，我们希望它们不断的向着更高处跳去，直到跳到最高的山峰。所以求最大值的过程就转化成一个“袋鼠跳”的过程。
下面介绍介绍“袋鼠跳”的几种方式。
爬山算法：一只袋鼠朝着比现在高的地方跳去。它找到了不远处的最高的山峰。但是这座山不一定是最高峰。这就是爬山算法，它不能保证局部最优值就是全局最优值。
模拟退火：袋鼠喝醉了。它随机地跳了很长时间。这期间，它可能走向高处，也可能踏入平地。但是，它渐渐清醒了并朝最高峰跳去。这就是模拟退火算法。
遗传算法：有很多袋鼠，它们降落到喜玛拉雅山脉的任意地方。这些袋鼠并不知道它们的任务是寻找珠穆朗玛峰。但每过几年，就在一些海拔高度较低的地方射杀一些袋鼠。于是，不断有袋鼠死于海拔较低的地方，而越是在海拔高的袋鼠越是能活得更久，也越有机会生儿育女。就这样经过许多年，这些袋鼠们竟然都不自觉地聚拢到了一个个的山峰上，可是在所有的袋鼠中，只有聚拢到珠穆朗玛峰的袋鼠被带回了美丽的澳洲。
}
（把那些总是爱走下坡路的袋鼠射杀，这就是遗传算法的精粹！）
遗传算法并不保证你能获得问题的最优解，但是使用遗传算法的最大优点在于你不必去了解和操心如何去“找”最优解。（你不必去指导袋鼠向那边跳，跳多远。）而只要简单的“否定”一些表现不好的个体就行了。（把那些总是爱走下坡路的袋鼠射杀，这就是遗传算法的精粹！）
改进与变形
编码方法：
❼ 遗传算法的核心是什么！
遗传操作的交叉算子。
在自然界生物进化过程中起核心作用的是生物遗传基因的重组(加上变异)。同样，遗传算法中起核心作用的是遗传操作的交叉算子。所谓交叉是指把两个父代个体的部分结构加以替换重组而生成新个体的操作。通过交叉，遗传算法的搜索能力得以飞跃提高。
交叉算子根据交叉率将种群中的两个个体随机地交换某些基因，能够产生新的基因组合，期望将有益基因组合在一起。
(7)二阶遗传算法扩展阅读
评估编码策略常采用以下3个规范：
a)完备性(completeness):问题空间中的所有点(候选解)都能作为GA空间中的点(染色体)表现。
b)健全性(soundness): GA空间中的染色体能对应所有问题空间中的候选解。
c)非冗余性(nonrendancy):染色体和候选解一一对应。
目前的几种常用的编码技术有二进制编码，浮点数编码，字符编码，变成编码等。
而二进制编码是目前遗传算法中最常用的编码方法。即是由二进制字符集{0,1}产生通常的0,1字符串来表示问题空间的候选解。
❽ 优化算法总结
本文介绍一下机器学习和深度学习中常用的优化算法和优化器以及一些其他我知道的优化算法,部分算法我也没有搞懂,就先记录下来以后慢慢研究吧.*_*.
1.梯度下降算法(Gradient Descent)
梯度下降法可以参考我另一篇文章 机器学习-线性回归 里的讲解,这里就不在重复叙述.这里需要强调一下,深度学习里常用的SGD,翻译过来是随机梯度下降,但是实质是mini-batch梯度下降(mini-batch-gd),或者说是两者的结合更准确一些.
SGD的优点是,算法简单,计算量小,在函数为凸函数时可以找到全局最优解.所以是最常用的优化算法.缺点是如果函数不是凸函数的话,很容易进入到局部最优解而无法跳出来.同时SGD在选择学习率上也是比较困难的.
2.牛顿法
牛顿法和拟牛顿法都是求解无约束最优化问题的常用方法,其中牛顿法是迭代算法,每一步需要求解目标函数的海森矩阵的逆矩阵,计算比较复杂.
牛顿法在求解方程根的思想:在二维情况下,迭代的寻找某一点x,寻找方法是随机一个初始点x_0,目标函数在该点x_0的切线与x坐标轴的交点就是下一个x点,也就是x_1.不断迭代寻找x.其中切线的斜率为目标函数在点x_0的导数(梯度),切必过点(x_0,f(x_0)).所以迭代的方程式如图1,为了求该方程的极值点,还需要令其导数等于0,也就是又求了一次导数,所以需要用到f(x)的二阶导数.
在最优化的问题中,牛顿法提供了一种求解的办法. 假设任务是优化一个目标函数f, 求函数ff的极大极小问题, 可以转化为求解函数f导数等于0的问题, 这样求可以把优化问题看成方程求解问题(f的导数等于0). 剩下的问题就和牛顿法求解方程根的思想很相似了.
目标函数的泰勒展开式:
化简后:
这样就得到了与图1相似的公式,这里是二维的,在多维空间上,求二阶导数就是求海森矩阵,因为是分母,所以还需要求海森矩阵的逆矩阵.
牛顿法和SGD的区别:
牛顿法是二阶求导,SGD是一阶求导,所以牛顿法要收敛的更快一些.SGD只考虑当前情况下梯度下降最快的方向,而牛顿法不仅考虑当前梯度下降最快,还有考虑下一步下降最快的方向.
牛顿法的优点是二阶求导下降速度快,但是因为是迭代算法,每一步都需要求解海森矩阵的逆矩阵,所以计算复杂.
3.拟牛顿法(没搞懂,待定)
考虑到牛顿法计算海森矩阵比较麻烦,所以它使用正定矩阵来代替海森矩阵的逆矩阵,从而简化了计算过程.
常用的拟牛顿法有DFP算法和BFGS算法.
4.共轭梯度法(Conjugate Gradient)
共轭梯度法是介于最速下降法与牛顿法之间的一个方法,它仅需利用一阶导数信息,但克服了最速下降法收敛慢的缺点,又避免了牛顿法计算海森矩阵并求逆的缺点.共轭梯度法不仅是解决大型线性方程组最有用的方法之一,也是解大型非线性最优化最有效的算法之一.
5.拉格朗日法
参考SVM里的讲解 机器学习-SVM
6.动量优化法(Momentum)
动量优化法主要是在SGD的基础上,加入了历史的梯度更新信息或者说是加入了速度更新.SGD虽然是很流行的优化算法,但是其学习过程很慢,因为总是以同样的步长沿着梯度下降的方向.所以动量是为了加速学习的方法.
其中第一行的减号部分是计算当前的梯度,第一行是根据梯度更新速度v,而α是新引进的参数,在实践中,α的一般取值为 0.5,0.9 和 0.99.和学习率 一样,α 也会随着时间不断调整.一般初始值是一个较小的值,随后会慢慢变大.
7.Nesterov加速梯度(NAG, Nesterov accelerated gradient)
NAG是在动量优化算法的基础上又进行了改进.根据下图可以看出,Nesterov 动量和标准动量之间的区别体现在梯度计算上, Nesterov 动量中,梯度计算在施加当前速度之后.因此,Nesterov 动量可以解释为往标准动量方法中添加了一个校正因子
8.AdaGrad算法
AdaGrad算法,自适应优化算法的一种,独立地适应所有模型参数的学习率,缩放每个参数反比于其所有梯度历史平均值总和的平方根.具有代价函数最大梯度的参数相应地有个快速下降的学习率,而具有小梯度的参数在学习率上有相对较小的下降.通俗一点的讲,就是根据实际情况更改学习率,比如模型快要收敛的时候,学习率步长就会小一点,防止跳出最优解.
其中g是梯度,第一行的分母是计算累计梯度的平方根, 是为了防止分母为0加上的极小常数项,α是学习率.
Adagrad的主要优点是不需要人为的调节学习率,它可以自动调节.但是依然需要设置一个初始的全局学习率.缺点是随着迭代次数增多,学习率会越来越小,最终会趋近于0.
9.RMSProp算法
RMSProp修改 AdaGrad 以在非凸设定下效果更好,改变梯度积累为指数加权的移动平均.AdaGrad旨在应用于凸问题时快速收敛.
10.AdaDelta算法
11.Adam算法
Adam是Momentum和RMSprop的结合体,也就是带动量的自适应优化算法.
12.Nadam算法
13.模拟退火算法
14.蚁群算法
15.遗传算法
动量是为了加快学习速度,而自适应是为了加快收敛速度,注意学习速度快不一定收敛速度就快,比如步长大学习速度快,但是很容易跳出极值点,在极值点附近波动,很难达到收敛.
未完待定....
参考:
《统计学习方法》 李航 着
《深度学习》 花书
❾ 基因遗传算法主流
基因遗传算法是一种灵感源于达尔文自然进化理论的启发式搜索算法 该算法反映了自然选择的过程 即最适者被选定繁殖 并产生下一代
自然选择的过程从选择群体中最适应环境的个体开始 后代继承了父母的特性 并且这些特性将添加到下一代中 如果父母具有更好的适应性 那么它们的后代将更易于存活 迭代地进行该自然选择的过程 最终 我们将得到由最适应环境的个体组成的一代
这一概念可以被应用于搜索问题中 我们考滤一个问题的诸多解决方案 并从中搜寻出最佳方案
遗传算法含以下五步
1.初始化
2.个体评价（计算适应度函数）
3.选择运算
4.交叉运算
5.变异运算
初始化
该过程从种群的一组个体开始 且每一个体都是待解决问题的一个候选解
个体以一组参数（变量）为特征 这些特征被称为基因 串联这些基因就可以组成染色体（问题的解）
在遗传算法中 单个个体的基因组以字符串的方式呈现 通常我们可以使用二进制（1和0的字符串）编码 即一个二进制串代表一条染色体串 因此可以说我们将基因串或候选解的特征编码在染色体中
个体评价利用适应度函数评估了该个体对环境的适应度（与其它个体径争的能力）每一个体都有适应评分 个体被选中进行繁殖的可能性取决于其适应度评分 适应度函数是遗传算法进化的驱动力 也是进行自然选择的唯一标准 它的设计应结合求解问题本身的要求而定
选择运算的目的是选出适应性最好的个体 并使它们将基因传到下一代中 基于其适应度评分 我们选择多对较优个体（父母）适应度高的个体更易被选中繁殖 即将较优父母的基因传递到下一代
交叉运算是遗传算法中最重要的阶段 对每一对配对的父母 基因都存在随机选中的交叉点
变异运算
在某些形成的新后代中 它们的某些基因可能受到低概率变异因子的作用 这意味着二进制位串中的某些位可能会翻转
变异运算前后
变异运算可用于保持群内的多样性 并防止过早收敛
终止
在群体收敛的情况下（群体内不产生与前一代差异较大的后代）该算法终止 也就是说遗传算法提供了一组问题的解
❿ 遗传算法的主要步骤
为了使用遗传算法来解决优化问题，准备工作分为以下四步［56，57，61］。
7.4.1 确定问题的潜在解的遗传表示方案
在基本的遗传算法中，表示方案是把问题的搜索空间中每个可能的点表示为确定长度的特征串（通常是二进制串）。表示方案的确定需要选择串长l和字母表规模k。在染色体串和问题的搜索空间中的点之间选择映射有时容易实现，有时又非常困难。选择一个便于遗传算法求解问题的表示方案经常需要对问题有深入的了解。
7.4.2 确定适应值的度量
适应值度量为群体中每个可能的确定长度的特征串指定一个适应值，它经常是问题本身所具有的。适应值度量必须有能力计算搜索空间中每个确定长度的特征串的适应值。
7.4.3 确定控制该算法的参数和变量
控制遗传算法的主要参数有群体规模Pop-Size、算法执行的最大代数N-Gen、交叉概率Pc、变异概率Pm和选择策略R等参数。
（1）群体规模Pop-Size。群体规模影响到遗传算法的最终性能和效率。当规模太小时，由于群体对大部分超平面只给出了不充分的样本量，所以得到的结果一般不佳。大的群体更有希望包含出自大量超平面的代表，从而可以阻止过早收敛到局部最优解；然而群体越大，每一代需要的计算量也就越多，这有可能导致一个无法接受的慢收敛率。
（2）交叉率Pc。交叉率控制交叉算子应用的频率，在每代新的群体中，有Pc·Pop-Size个串实行交叉。交叉率越高，群体中串的更新就越快。如果交叉率过高，相对选择能够产生的改进而言，高性能的串被破坏得更快。如果交叉率过低，搜索会由于太小的探查率而可能停滞不前。
（3）变异率Pm。变异是增加群体多样性的搜索算子，每次选择之后，新的群体中的每个串的每一位以相等的变异率进行随机改变。对于M进制串，就是相应的位从1变为0或0变为1。从而每代大约发生Pm·Pop-Size·L次变异，其中L为串长。一个低水平的变异率足以防止整个群体中任一给定位保持永远收敛到单一的值。高水平的变异率产生的实质是随机搜索。
比起选择和交叉，变异在遗传算法中是次要的，它在恢复群体中失去的多样性方面具有潜在的作用。例如，在遗传算法执行的开始阶段，串中一个特定位上的值1可能与好的性能紧密联系，也就是说从搜索空间中某些初始随机点开始，在那个位上的值1可能一致地产生适应性度量好的值。因为越好的适应值与串中那个位上的值1相联系，复制作用就越会使群体的遗传多样性损失。当达到一定程度时，值0会从整个群体中的那个位上消失，然而全局最优解可能在串中那个位上是0。一旦搜索范围缩小到实际包含全局最优解的那部分搜索空间，在那个位上的值0就可能正好是达到全局最优解所需的。这仅仅是一种说明搜索空间是非线性的方式，这种情形不是假定的，因为实际上所有我们感兴趣的问题都是非线性的。变异作用提供了一个恢复遗传多样性的损失的方法。
（4）选择策略R。有两种选择策略。一是利用纯选择，即当前群体中每个点复制的次数比与点的性能值成比例。二是利用最优选择，即首先执行纯选择，且具有最好性能的点总是保留到下一代。在缺少最优选择的情况下，由于采样误差、交叉和变异，最好性能的点可能会丢失。
通过指定各个参数Pop-Size、Pc、Pm和R的值，可以表示一个特定的遗传算法。
7.4.4 确定指定结果的方法和停止运行的准则
当遗传的代数达到最大允许代数时，就可以停止算法的执行，并指定执行中得到的最好结果作为算法的结果。
基本的遗传算法
1）随机产生一个由固定长度字符串组成的初始群体。
2）对于字符串群体，迭代地执行下述步骤，直到选择标准被满足为止。
①计算群体中的每个个体字符串的适应值；
②实施下列三种操作（至少前两种）来产生新的群体，操作对象的选取基于与适应度成比例的概率。
选择：把现有的个体串按适应值复制到新的群体中。
交叉：通过遗传重组随机选择两个现有的子串进行遗传重组，产生两个新的串。
变异：将现有串中某一位的字符随机变异产生一个新串。
3）把在后代中出现的最好适应值的个体串指定为遗传算法运行的结果。这一结果可以是问题的解（或近似解）。
基本的遗传算法流程图如图7-1所示。