群优化算法

‘壹’ 粒子群优化算法

姓名：杨晶晶  学号：21011210420  学院：通信工程学院

【嵌牛导读】

传统的多目标优化方法是将多目标问题通过加权求和转化为单目标问题来处理的,而粒子算法主要是解决一些多目标优化问题的（例如机械零件的多目标设计优化）,其优点是容易实现,精度高,收敛速度快。

【嵌牛鼻子】粒子群算法的概念、公式、调参以及与遗传算法的比较。

【嵌牛提问】什么是粒子群算法？它的计算流程是什么？与遗传算法相比呢？

【嵌牛正文】

1. 概念

        粒子群优化算法(PSO：Particle swarm optimization) 是一种进化计算技术（evolutionary computation），源于对鸟群捕食的行为研究。

        粒子群优化算法的基本思想：是通过群体中个体之间的协作和信息共享来寻找最优解。

        PSO的优势：在于简单容易实现并且没有许多参数的调节。目前已被广泛应用于函数优化、神经网络训练、模糊系统控制以及其他遗传算法的应用领域。

2. 算法

2.1 问题抽象

        鸟被抽象为没有质量和体积的微粒(点)，并延伸到N维空间，粒子i在N维空间的位置表示为矢量Xi＝(x1，x2，…，xN)，飞行速度表示为矢量Vi＝(v1，v2，…，vN)。每个粒子都有一个由目标函数决定的适应值(fitness value)，并且知道自己到目前为止发现的最好位置(pbest)和现在的位置Xi。这个可以看作是粒子自己的飞行经验。除此之外，每个粒子还知道到目前为止整个群体中所有粒子发现的最好位置(gbest)(gbest是pbest中的最好值)，这个可以看作是粒子同伴的经验。粒子就是通过自己的经验和同伴中最好的经验来决定下一步的运动。

2.2 更新规则

      PSO初始化为一群随机粒子(随机解)。然后通过迭代找到最优解。在每一次的迭代中，粒子通过跟踪两个“极值”(pbest，gbest)来更新自己。在找到这两个最优值后，粒子通过下面的公式来更新自己的速度和位置。

      公式(1)的第一部分称为【记忆项】，表示上次速度大小和方向的影响；公式(1)的第二部分称为【自身认知项】，是从当前点指向粒子自身最好点的一个矢量，表示粒子的动作来源于自己经验的部分；公式(1)的第三部分称为【群体认知项】，是一个从当前点指向种群最好点的矢量，反映了粒子间的协同合作和知识共享。粒子就是通过自己的经验和同伴中最好的经验来决定下一步的运动。

      以上面两个公式为基础，形成了PSO的标准形式。

      公式(2)和 公式(3)被视为标准PSO算法。

2.3 标准PSO算法流程

    标准PSO算法的流程：

    1）初始化一群微粒(群体规模为N)，包括随机位置和速度；

    2）评价每个微粒的适应度；

    3）对每个微粒，将其适应值与其经过的最好位置pbest作比较，如果较好，则将其作为当前的最好位置pbest；

    4）对每个微粒，将其适应值与其经过的最好位置gbest作比较，如果较好，则将其作为当前的最好位置gbest；

    5）根据公式(2)、(3)调整微粒速度和位置；

    6）未达到结束条件则转第2）步。

        迭代终止条件根据具体问题一般选为最大迭代次数Gk或(和)微粒群迄今为止搜索到的最优位置满足预定最小适应阈值。

      公式(2)和(3)中pbest和gbest分别表示微粒群的局部和全局最优位置。

    当C1＝0时，则粒子没有了认知能力，变为只有社会的模型(social-only)：

被称为全局PSO算法。粒子有扩展搜索空间的能力，具有较快的收敛速度，但由于缺少局部搜索，对于复杂问题

比标准PSO 更易陷入局部最优。

    当C2＝0时，则粒子之间没有社会信息，模型变为只有认知(cognition-only)模型：

      被称为局部PSO算法。由于个体之间没有信息的交流，整个群体相当于多个粒子进行盲目的随机搜索，收敛速度慢，因而得到最优解的可能性小。

2.4 参数分析

        参数：群体规模N，惯性因子 ，学习因子c1和c2，最大速度Vmax，最大迭代次数Gk。

        群体规模N：一般取20～40，对较难或特定类别的问题可以取到100～200。

        最大速度Vmax：决定当前位置与最好位置之间的区域的分辨率(或精度)。如果太快，则粒子有可能越过极小点；如果太慢，则粒子不能在局部极小点之外进行足够的探索，会陷入到局部极值区域内。这种限制可以达到防止计算溢出、决定问题空间搜索的粒度的目的。

        权重因子：包括惯性因子和学习因子c1和c2。使粒子保持着运动惯性，使其具有扩展搜索空间的趋势，有能力探索新的区域。c1和c2代表将每个粒子推向pbest和gbest位置的统计加速项的权值。较低的值允许粒子在被拉回之前可以在目标区域外徘徊，较高的值导致粒子突然地冲向或越过目标区域。

        参数设置：

        1)如果令c1＝c2＝0，粒子将一直以当前速度的飞行，直到边界。很难找到最优解。

        2)如果＝0，则速度只取决于当前位置和历史最好位置，速度本身没有记忆性。假设一个粒子处在全局最好位置，它将保持静止，其他粒子则飞向它的最好位置和全局最好位置的加权中心。粒子将收缩到当前全局最好位置。在加上第一部分后，粒子有扩展搜索空间的趋势，这也使得的作用表现为针对不同的搜索问题，调整算法的全局和局部搜索能力的平衡。较大时，具有较强的全局搜索能力；较小时，具有较强的局部搜索能力。

        3)通常设c1＝c2＝2。Suganthan的实验表明：c1和c2为常数时可以得到较好的解，但不一定必须等于2。Clerc引入收敛因子(constriction factor) K来保证收敛性。

      通常取为4.1,则K＝0.729.实验表明，与使用惯性权重的PSO算法相比，使用收敛因子的PSO有更快的收敛速度。其实只要恰当的选取和c1、c2，两种算法是一样的。因此使用收敛因子的PSO可以看作使用惯性权重PSO的特例。

        恰当的选取算法的参数值可以改善算法的性能。

3. PSO与其它算法的比较

3.1 遗传算法和PSO的比较

  1)共性：

  (1)都属于仿生算法。

  (2)都属于全局优化方法。

  (3)都属于随机搜索算法。

  (4)都隐含并行性。

  (5)根据个体的适配信息进行搜索，因此不受函数约束条件的限制，如连续性、可导性等。

  (6)对高维复杂问题，往往会遇到早熟收敛和收敛 性能差的缺点，都无法保证收敛到最优点。

    2)差异：   

    (1)PSO有记忆，好的解的知识所有粒子都保 存，而GA（Genetic Algorithm），以前的知识随着种群的改变被改变。

    (2)PSO中的粒子仅仅通过当前搜索到最优点进行共享信息，所以很大程度上这是一种单共享项信息机制。而GA中，染色体之间相互共享信息，使得整个种群都向最优区域移动。

    (3)GA的编码技术和遗传操作比较简单，而PSO相对于GA，没有交叉和变异操作，粒子只是通过内部速度进行更新，因此原理更简单、参数更少、实现更容易。

    (4)应用于人工神经网络(ANN)

    GA可以用来研究NN的三个方面：网络连接权重、网络结构、学习算法。优势在于可处理传统方法不能处理的问题，例如不可导的节点传递函数或没有梯度信息。

    GA缺点:在某些问题上性能不是特别好；网络权重的编码和遗传算子的选择有时较麻烦。

    已有利用PSO来进行神经网络训练。研究表明PSO是一种很有潜力的神经网络算法。速度较快且有较好的结果。且没有遗传算法碰到的问题。

‘贰’ 粒子群优化的算法参数

PSO参数包括：群体规模m，惯性权重w，加速常数c1和c2，最大速度Vmax，最大代数Gmax，解空间[Xmin Xmax]。
Vmax决定在当前位置与最好位置之间的区域的分辨率（或精度）。如果Vmax太高，微粒可能会飞过好解，如果Vmax太小，微粒不能进行足够的探索，导致陷入局部优值。该限制有三个目的：防止计算溢出；实现人工学习和态度转变；决定问题空间搜索的粒度。
惯性权重w使微粒保持运动的惯性，使其有扩展搜索空间的趋势，有能力探索新的区域。
加速常数c1和c2代表将每个微粒推向pbest和gbest位置的统计加速项的权重。低的值允许微粒在被拉回来之前可以在目标区域外徘徊，而高的值导致微粒突然的冲向或者越过目标区域。
如果没有后两部分，即c1 = c2 = 0，微粒将一直以当前的速度飞行，直到到达边界。由于它只能搜索有限的区域，将很难找到好的解。
如果没有第一部分，即w = 0，则速度只取决于微粒当前的位置和它们历史最好位置pbest和gbest，速度本身没有记忆性。假设一个微粒位于全局最好位置，它将保持静止。而其它微粒则飞向它本身最好位置pbest和全局最好位置gbest的加权中心。在这种条件下，微粒群将统计的收缩到当前的全局最好位置，更象一个局部算法。
在加上第一部分后，微粒有扩展搜索空间的趋势，即第一部分有全局搜索的能力。这也使得w的作用为针对不同的搜索问题，调整算法全局和局部搜索能力的平衡。
如果没有第二部分，即c1 = 0，则微粒没有认知能力，也就是“只有社会(social-only)”的模型。在微粒的相互作用下，有能力到达新的搜索空间。它的收敛速度比标准版本更快，但是对复杂问题，比标准版本更容易陷入局部优值点。
如果没有第三部分，即c2 = 0，则微粒之间没有社会信息共享，也就是“只有认知(cognition-only)”的模型。因为个体间没有交互，一个规模为m的群体等价于m个单个微粒的运行。因而得到解的几率非常小。

‘叁’ 粒子群优化算法

         粒子群算法 的思想源于对鸟/鱼群捕食行为的研究，模拟鸟集群飞行觅食的行为，鸟之间通过集体的协作使群体达到最优目的，是一种基于Swarm Intelligence的优化方法。它没有遗传算法的“交叉”(Crossover) 和“变异”(Mutation) 操作，它通过追随当前搜索到的最优值来寻找全局最优。粒子群算法与其他现代优化方法相比的一个明显特色就是所 需要调整的参数很少、简单易行 ，收敛速度快，已成为现代优化方法领域研究的热点。

         设想这样一个场景：一群鸟在随机搜索食物。已知在这块区域里只有一块食物；所有的鸟都不知道食物在哪里；但它们能感受到当前的位置离食物还有多远。那么找到食物的最优策略是什么呢？

        1. 搜寻目前离食物最近的鸟的周围区域

        2. 根据自己飞行的经验判断食物的所在。

        PSO正是从这种模型中得到了启发，PSO的基础是 信息的社会共享

        每个寻优的问题解都被想象成一只鸟，称为“粒子”。所有粒子都在一个D维空间进行搜索。

        所有的粒子都由一个fitness function 确定适应值以判断目前的位置好坏。

        每一个粒子必须赋予记忆功能，能记住所搜寻到的最佳位置。

        每一个粒子还有一个速度以决定飞行的距离和方向。这个速度根据它本身的飞行经验以及同伴的飞行经验进行动态调整。

        粒子速度更新公式包含三部分： 第一部分为“惯性部分”，即对粒子先前速度的记忆；第二部分为“自我认知”部分，可理解为粒子i当前位置与自己最好位置之间的距离；第三部分为“社会经验”部分，表示粒子间的信息共享与合作，可理解为粒子i当前位置与群体最好位置之间的距离。

        第1步   在初始化范围内，对粒子群进行随机初始化，包括随机位置和速度

        第2步   根据fitness function，计算每个粒子的适应值

        第3步   对每个粒子，将其当前适应值与其个体历史最佳位置（pbest）对应的适应值作比较，如果当前的适应值更高，则用当前位置更新粒子个体的历史最优位置pbest

        第4步   对每个粒子，将其当前适应值与全局最佳位置（gbest）对应的适应值作比较，如果当前的适应值更高，则用当前位置更新粒子群体的历史最优位置gbest

        第5步   更新粒子的速度和位置

        第6步   若未达到终止条件，则转第2步

        【通常算法达到最大迭代次数或者最佳适应度值得增量小于某个给定的阈值时算法停止】

粒子群算法流程图如下：

以Ras函数（Rastrigin's Function）为目标函数，求其在x1,x2∈[-5,5]上的最小值。这个函数对模拟退火、进化计算等算法具有很强的欺骗性，因为它有非常多的局部最小值点和局部最大值点，很容易使算法陷入局部最优，而不能得到全局最优解。如下图所示，该函数只在(0,0)处存在全局最小值0。

‘肆’ 人工萤火虫群优化算法的流程是什么

人工萤火虫群优化算法流程如下：
1.初始化算法基本参数。
2.随机初始化萤火虫的位置，计算萤火虫的目标函数值作为各自最大萤光亮度。
3.计算群体中萤火虫的相对亮度I和吸引度β，根据相对亮度决定萤火虫的移动方向。
4.更新萤火虫的空间位置，对处在最佳位置的萤火虫进行随机扰动。
5.根据更新后萤火虫的位置，重新计算萤火虫的亮度。
6.当满足搜索精度或达到最大搜索次数时则转7.否则，搜索次数增加1，转3，进行下一次搜索。
7.输出全局最优值和个体最优值。

‘伍’ pso什么意思

PSO是粒子群优化算法（——Particle Swarm Optimization）的英文缩写，是一种基于种群的随机优化技术，由Eberhart和Kennedy于1995年提出。粒子群算法模仿昆虫、兽群、鸟群和鱼群等的群集行为，这些群体按照一种合作的方式寻找食物，群体中的每个成员通过学习它自身的经验和其他成员的经验来不断改变其搜索模式。

‘陆’ 群智能算法的基本思想

群智能算法的基本思想

基本思想

群算法的核心含义就是模拟各种动物或者事物群体的一种寻优过程，群优化算法通过设计一种无质量的粒子来模拟消陆各种动物群中的个体，个体仅具有两个属性：速度和位置，速度代表移动的快慢，位置代表移动的方向。每个单体在搜索空间中单独的搜寻最优解，并将其记为当前个体极值，并将个体极值与整个群里的其他个体共享，找到最优的那个单体极值作为整个群的当前全局最优解，群中的所有单体根据自己找到的当前个体极值和整个群共享的当前全局最优解来调整自己的速度和位置，该类方法一般用拿卖顷于优化问题。

很多研究生的在写论文的时候都会用到各种优化算法，例如粒子群算法、蚁群算法、遗传算法等。但由于这些算法都太配闹老，所以往往导致论文的创新度不够，达不到期刊的发表要求，于是就衍生出了大量的新改进算法以提高创新度。算法改进就是一种创新，只要你改的是合理且有效的。可以引用这些优秀的改进算法来研究自己的题目。

群智能算法是一种新兴的演化计算技术，已成为越来越多研究者的关注焦点，它与人工生命，特别是进化策略以及遗传算法有着极为特殊的联系。 群智能理论研究领域主要有两种算法：蚁群算法和粒子群算法。

‘柒’ 粒子群算法简单介绍

粒子群算法（也称粒子群优化算法（particle swarm optimization, PSO）），模拟鸟群随机搜索食物的行为。粒子群算法中，每个优化问题的潜在解都是搜索空间中的一只鸟，叫做“粒子”。所有的粒子都有一个由被优化的函数决定的适应值（fitness value），每个粒子还有一个速度决定它们“飞行”的方向和距离。

粒子群算法初始化为一群随机的粒子（随机解），然后根据迭代找到最优解。每一次迭代中，粒子通过跟踪两个极值来更新自己：第1个是粒子本身所找到的最优解，这个称为个体极值；第2个是整个种群目前找到的最优解，这个称为全局极值。也可以不用整个种群，而是用其中的一部分作为粒子的邻居，称为局部极值。

假设在一个D维搜索空间中，有N个粒子组成一个群落，其中第i个粒子表示为一个D维的向量：

第i个粒子的速度表示为：

还要保存每个个体的已经找到的最优解 ，和一个整个群落找到的最优解 。

第i个粒子根据下面的公式更新自己的速度和位置：

其中， 是个体已知最优解， 是种群已知最优解， 为惯性权重， , 为学习因子（或加速常数 acceleration constant)， , 是[0,1]范围内的随机数。

式(1)由三部分组成：

‘捌’ 智能优化算法：鸡群优化算法

@[toc]
摘要：鸡群算法 (Chicken Swarm Optimization，CSO) 是一种新颖的仿生学算法，充分继承群智能优化特点，创新采用个体分类、协作优化，最大程度挖掘最优解，又能很好避免早熟现象。具有收敛快，寻优能力强的特点。

新型的仿生学算法—鸡群优化算法，它模拟群的等级制度和鸡群的群体活动行为。 在特殊的等级制度下鸡群中不同鸡种搜寻食物时存在着竞争。公鸡搜索食物能力强，适应值小；母鸡其次；小鸡搜索食物能力最弱，适应值最大。

为了简化，文中通过下列规则理想化鸡群算法：

因为不同的鸡种有不同的运动规律， 因此，以下 3 种个体的位置更新策略各不相同。

适应度好的公鸡能够在更大的范围内搜索食物，而且比适应度差的公鸡能够优先获得食物实现全局搜索，它的位置更新受随机选取的其他公鸡位置的影响，则更新策略见式（1）-（2）

式 (1)-(2) 中：第 只公鸡位置的第 j 维的值表示为， 表示当前的迭代次数，表示服从期望值为0 ，方差值为 2 的正态分布随机数， 第 只公鸡的适应度为 ，随机选取公鸡 的适应度为 ， 分母中加上无穷小数 ，避免除数为零。

母鸡跟随伙伴公鸡搜索食物，位置更新受伙伴公鸡位置影响。由于母鸡的偷食行为，位置更新又与其它公鸡和母鸡有关系，则更新策略见式 (3)-(5) 。

式 (3)-(5) 中： Rand 是一个服从 [0,1] 均匀分布的随机数，该母鸡的伙伴公鸡 的适应度值为 ， 表示其伙伴公鸡对其的影响因子，其他公鸡和母鸡中随机选取个体 的适应度值为 ， 为其他鸡对其的影响因子。

小鸡在其母亲周围搜寻食物，它的搜索能力最差，位置受到母亲公鸡的影响，则更新策略见式 (6) 。

式 (6) 中：母亲母鸡 位置的第 维数值为 ， ，母亲母鸡的位置对小鸡位置的影响因子为 ， 其为随机函数随机生成，取值范围一般为 (0,2) 。

步骤如下：

[1] MENG X ， LIU Y ， GAO X Z ， et al. A new bio-inspired algorithm: chicken swarm optimization[J]. Lecture Notes in Computer Science ,2014 ,8794(1):86-94.

[2] 胡汉梅,李静雅,黄景光.基于鸡群算法的微网经济运行优化[J].高压电器,2017,53(01):119-125.

https://mianbaoo.com/o/bread/aJWbmZk=

文献复现：基于模拟退火的改进鸡群优化算法(SAICSO)
[1]李振璧,王康,姜媛媛.基于模拟退火的改进鸡群优化算法[J].微电子学与计算机,2017,34(02):30-33+38.

文献复现：一种改进的鸡群算法(ICSO)
[1]孔飞,吴定会.一种改进的鸡群算法[J].江南大学学报(自然科学版),2015,14(06):681-688.

文献复现:全局优化的改进鸡群算法（ECSO)
[1]韩斐斐,赵齐辉,杜兆宏,刘升.全局优化的改进鸡群算法[J].计算机应用研究,2019,36(08):2317-2319+2327.