遺傳演算法分類

① 遺傳演算法的特點

遺傳演算法具有十分頑強的魯棒性^{［56，53］}，這是因為比起普通的優化搜索方法，它採用了許多獨特的方法和技術，歸納起來，主要有以下幾個方面。

遺傳演算法的處理對象不是參數本身，而是對參數集進行了編碼的個體。此編碼操作，使得遺傳演算法可直接對結構對象進行操作。所謂結構對象泛指集合、序列、矩陣、樹、圖、鏈和表等各種一維或二維甚至三維結構形式的對象。這一特點，使得遺傳演算法具有廣泛的應用領域。比如：

①通過對連接矩陣的操作，遺傳演算法可用來對神經網路或自動機的結構或參數加以優化；②通過對集合的操作，遺傳演算法可實現對規則集合或知識庫的精煉而達到高質量的機器學習目的；③通過對樹結構的操作用遺傳演算法可得到用於分類的最佳決策樹；④通過對任務序列的操作，遺傳演算法可用於任務規劃，而通過對操作序列的處理遺傳演算法可自動構造順序控制系統。

如前所述許多傳統搜索方法都是單點搜索演算法，即通過一些變動規則，問題的解從搜索空間中的當前解（點）移到另一解（點）。這種點對點的搜索方法，對於多峰分布的搜索空間常常會陷於局部的某個單峰的優解。相反，遺傳演算法是採用同時處理群體中多個個體的方法，即同時對搜索空間中的多個解進行評估，更形象地說，遺傳演算法是並行地爬多個峰。這一特點使遺傳演算法具有較好的全局搜索性能，減少了陷於局部優解的風險，同時這使遺傳演算法本身也十分易於並行化。

在標準的遺傳演算法中，基本上不用搜索空間的知識或其他輔助信息，無需導數或其他輔助信息，而僅用適應度函數值來評估個體，並在此基礎上進行遺傳操作。需要著重提出的是，遺傳演算法的適應度函數不僅不受連續可微的約束，而且其定義域可以任意設定。對適應度函數的惟一要求是，對於輸入可計算出加以比較的正的輸出。遺傳演算法的這一特點使它的應用范圍大大擴展。

圖7-1 基本遺傳演算法的框圖

遺傳演算法不是採用確定性規則，而是採用概率的變遷規則來指導它的搜索方向。在以後的章節中我們將會看到，遺傳演算法採用概率僅僅是作為一種工具來引導其搜索過程朝著搜索空間的更優化的解區域移動。因此雖然看起來它是一種盲目搜索方法，但實際上有明確的搜索方向。

遺傳演算法利用簡單的編碼技術和繁殖機制來表現復雜的現象，從而解決非常困難的問題。特別是由於它不受搜索空間的限制性假設的約束，不必要求諸如連續性、導數存在和單峰等假設，它能從離散的、多極值的、含有噪音的高維問題中以很大的概率找到全局最優解；其次，由於它固有的並行性，遺傳演算法非常適用於大規模並行計算。遺傳演算法目前已經在優化、機器學習和並行處理等領域得到了越來越廣泛的應用。

② 常用的數據挖掘演算法有哪幾類

常用的數據挖掘演算法分為以下幾類：神經網路，遺傳演算法，回歸演算法，聚類分析演算法，貝耶斯演算法。

目前已經進入大數據的時代，所以數據挖掘和大數據分析的就業前景非常好，學好大數據分析和數據挖掘可以在各個領域中發揮自己的價值；同時，大數據分析並不是一蹴而就的事情，而是需要你日積月累的數據處理經驗，不是會被輕易替代的。一家公司的各項工作，基本上都都用數據體現出來，一位高級的數據分析師職位通常是數據職能架構中領航者，擁有較高的分析和思辨能力，對於業務的理解到位，並且深度知曉公司的管理和商業行為，他可以負責一個子產品或模塊級別的項目，帶領團隊來全面解決問題，把控手下數據分析師的工作質量。

想要了解更多有關數據挖掘演算法的信息，可以了解一下CDA數據分析師的課程。課程教你學企業需要的敏捷演算法建模能力，可以學到前沿且實用的技術，挖掘數據的魅力;教你用可落地、易操作的數據科學思維和技術模板構建出優秀模型，只教實用干貨，以專精技術能力提升業務效果與效率。點擊預約免費試聽課。

③ 演算法有哪些分類

演算法分類編輯演算法可大致分為：

基本演算法、數據結構的演算法、數論與代數演算法、計算幾何的演算法、圖論的演算法、動態規劃以及數值分析、加密演算法、排序演算法、檢索演算法、隨機化演算法、並行演算法，厄米變形模型，隨機森林演算法。

④ 智能演算法的演算法分類

模擬退火演算法的依據是固體物質退火過程和組合優化問題之間的相似性。物質在加熱的時候，粒子間的布朗運動增強，到達一定強度後，固體物質轉化為液態，這個時候再進行退火，粒子熱運動減弱，並逐漸趨於有序，最後達到穩定。
模擬退火的解不再像局部搜索那樣最後的結果依賴初始點。它引入了一個接受概率p。如果新的點（設為pn）的目標函數f（pn）更好，則p=1，表示選取新點；否則，接受概率p是當前點（設為pc）的目標函數f（pc），新點的目標函數f（pn）以及另一個控制參數「溫度」T的函數。也就是說，模擬退火沒有像局部搜索那樣每次都貪婪地尋找比現在好的點，目標函數差一點的點也有可能接受進來。隨著演算法的執行，系統溫度T逐漸降低，最後終止於某個低溫，在該溫度下，系統不再接受變化。
模擬退火的典型特徵是除了接受目標函數的改進外，還接受一個衰減極限，當T較大時，接受較大的衰減，當T逐漸變小時，接受較小的衰減，當T為0時，就不再接受衰減。這一特徵意味著模擬退火與局部搜索相反，它能避開局部極小，並且還保持了局部搜索的通用性和簡單性。
在物理上，先加熱，讓分子間互相碰撞，變成無序狀態，內能加大，然後降溫，最後的分子次序反而會更有序，內能比沒有加熱前更小。就像那隻兔子，它喝醉後，對比較近的山峰視而不見，迷迷糊糊地跳一大圈子，反而更有可能找到珠峰。
值得注意的是，當T為0時，模擬退火就成為局部搜索的一個特例。
模擬退火的偽碼表達：
procere simulated annealing
begin
t:=0;
initialize temperature T
select a current string vc at random;
evaluate vc;
repeat
repeat
select a new string vn in the neighborhood of vc; (1)
if f(vc)<f(vn)
then vc:=vn;
else if random [0,1] <exp ((f (vn)-f (vc))/T) (2)
then vc:=vn;
until (termination-condition) (3)
T:=g(T,t); (4)
T:=t+1;
until (stop-criterion) (5)
end;
上面的程序中，關鍵的是(1)新狀態產生函數，(2)新狀態接受函數，(3)抽樣穩定準則，(4)退溫函數，(5)退火結束准則（簡稱三函數兩准則）是直接影響優化結果的主要環節。雖然實驗結果證明初始值對於最後的結果沒有影響，但是初溫越高，得到高質量解的概率越大。所以，應該盡量選取比較高的初溫。
上面關鍵環節的選取策略：
（1）狀態產生函數：候選解由當前解的鄰域函數決定，可以取互換，插入，逆序等操作產生，然後根據概率分布方式選取新的解，概率可以取均勻分布、正態分布、高斯分布、柯西分布等。
（2）狀態接受函數：這個環節最關鍵，但是，實驗表明，何種接受函數對於最後結果影響不大。所以，一般選取min [1, exp ((f (vn)-f (vc))/T)]。
（3）抽樣穩定準則：一般常用的有：檢驗目標函數的均值是否穩定；連續若干步的目標值變化較小；規定一定的步數；
（4）退溫函數：如果要求溫度必須按照一定的比率下降，SA演算法可以採用，但是溫度下降很慢；快速SA中，一般採用 。目前，經常用的是 ，是一個不斷變化的值。
（5）退火結束准則：一般有：設置終止溫度；設置迭代次數；搜索到的最優值連續多次保持不變；檢驗系統熵是否穩定。
為了保證有比較優的解，演算法往往採取慢降溫、多抽樣、以及把「終止溫度」設的比較低等方式，導致演算法運行時間比較長，這也是模擬退火的最大缺點。人喝醉了酒辦起事來都不利索，何況兔子？ 「物競天擇，適者生存」，是進化論的基本思想。遺傳演算法就是模擬自然界想做的事。遺傳演算法可以很好地用於優化問題，若把它看作對自然過程高度理想化的模擬，更能顯出它本身的優雅——雖然生存競爭是殘酷的。
遺傳演算法以一種群體中的所有個體為對象，並利用隨機化技術指導對一個被編碼的參數空間進行高效搜索。其中，選擇、交叉和變異構成了遺傳演算法的遺傳操作；參數編碼、初始群體的設定、適應度函數的設計、遺傳操作設計、控制參數設定五個要素組成了遺傳演算法的核心內容。作為一種新的全局優化搜索演算法，遺傳演算法以其簡單通用、健壯性強、適於並行處理以及高效、實用等顯著特點，在各個領域得到了廣泛應用，取得了良好效果，並逐漸成為重要的智能演算法之一。
遺傳演算法的偽碼：
procere genetic algorithm
begin
initialize a group and evaluate the fitness value ; （1）
while not convergent （2）
begin
select; （3）
if random[0,1]<pc then
crossover; （4）
if random (0,1)<pm then
mutation; （5）
end;
end
上述程序中有五個重要的環節：
（1）編碼和初始群體的生成：GA在進行搜索之前先將解空間的解數據表示成遺傳空間的基因型串結構數據，這些串結構數據的不同組合便構成了不同的點。然後隨機產生N個初始串結構數據，每個串結構數據稱為一個個體， N個體構成了一個群體。GA以這N個串結構數據作為初始點開始迭代。
比如，旅行商問題中，可以把商人走過的路徑進行編碼，也可以對整個圖矩陣進行編碼。編碼方式依賴於問題怎樣描述比較好解決。初始群體也應該選取適當，如果選取的過小則雜交優勢不明顯，演算法性能很差（數量上佔了優勢的老鼠進化能力比老虎強），群體選取太大則計算量太大。
（2）檢查演算法收斂准則是否滿足，控制演算法是否結束。可以採用判斷與最優解的適配度或者定一個迭代次數來達到。
（3）適應性值評估檢測和選擇：適應性函數表明個體或解的優劣性，在程序的開始也應該評價適應性，以便和以後的做比較。不同的問題，適應性函數的定義方式也不同。根據適應性的好壞，進行選擇。選擇的目的是為了從當前群體中選出優良的個體，使它們有機會作為父代為下一代繁殖子孫。遺傳演算法通過選擇過程體現這一思想，進行選擇的原則是適應性強的個體為下一代貢獻一個或多個後代的概率大。選擇實現了達爾文的適者生存原則。
（4）雜交：按照雜交概率（pc）進行雜交。雜交操作是遺傳演算法中最主要的遺傳操作。通過雜交操作可以得到新一代個體，新個體組合了其父輩個體的特性。雜交體現了信息交換的思想。
可以選定一個點對染色體串進行互換，插入，逆序等雜交，也可以隨機選取幾個點雜交。雜交概率如果太大，種群更新快，但是高適應性的個體很容易被淹沒，概率小了搜索會停滯。
（5）變異：按照變異概率（pm）進行變異。變異首先在群體中隨機選擇一個個體，對於選中的個體以一定的概率隨機地改變串結構數據中某個串的值。同生物界一樣，GA中變異發生的概率很低。變異為新個體的產生提供了機會。
變異可以防止有效基因的缺損造成的進化停滯。比較低的變異概率就已經可以讓基因不斷變更，太大了會陷入隨機搜索。想一下，生物界每一代都和上一代差距很大，會是怎樣的可怕情形。
就像自然界的變異適和任何物種一樣，對變數進行了編碼的遺傳演算法沒有考慮函數本身是否可導，是否連續等性質，所以適用性很強；並且，它開始就對一個種群進行操作，隱含了並行性，也容易找到「全局最優解」。 為了找到「全局最優解」，就不應該執著於某一個特定的區域。局部搜索的缺點就是太貪婪地對某一個局部區域以及其鄰域搜索，導致一葉障目，不見泰山。禁忌搜索就是對於找到的一部分局部最優解，有意識地避開它（但不是完全隔絕），從而獲得更多的搜索區間。兔子們找到了泰山，它們之中的一隻就會留守在這里，其他的再去別的地方尋找。就這樣，一大圈後，把找到的幾個山峰一比較，珠穆朗瑪峰脫穎而出。
當兔子們再尋找的時候，一般地會有意識地避開泰山，因為他們知道，這里已經找過，並且有一隻兔子在那裡看著了。這就是禁忌搜索中「禁忌表（tabu list）」的含義。那隻留在泰山的兔子一般不會就安家在那裡了，它會在一定時間後重新回到找最高峰的大軍，因為這個時候已經有了許多新的消息，泰山畢竟也有一個不錯的高度，需要重新考慮，這個歸隊時間，在禁忌搜索裡面叫做「禁忌長度（tabu length）」；如果在搜索的過程中，留守泰山的兔子還沒有歸隊，但是找到的地方全是華北平原等比較低的地方，兔子們就不得不再次考慮選中泰山，也就是說，當一個有兔子留守的地方優越性太突出，超過了「best to far」的狀態，就可以不顧及有沒有兔子留守，都把這個地方考慮進來，這就叫「特赦准則（aspiration criterion）」。這三個概念是禁忌搜索和一般搜索准則最不同的地方，演算法的優化也關鍵在這里。
偽碼表達：
procere tabu search;
begin
initialize a string vc at random,clear up the tabu list;
cur:=vc;
repeat
select a new string vn in the neighborhood of vc;
if va>best_to_far then {va is a string in the tabu list}
begin
cur:=va;
let va take place of the oldest string in the tabu list;
best_to_far:=va;
end else
begin
cur:=vn;
let vn take place of the oldest string in the tabu list;
end;
until (termination-condition);
end;
以上程序中有關鍵的幾點：
（1）禁忌對象：可以選取當前的值（cur）作為禁忌對象放進tabu list，也可以把和當然值在同一「等高線」上的都放進tabu list。
（2）為了降低計算量，禁忌長度和禁忌表的集合不宜太大，但是禁忌長度太小容易循環搜索，禁忌表太小容易陷入「局部極優解」。
（3）上述程序段中對best_to_far的操作是直接賦值為最優的「解禁候選解」，但是有時候會出現沒有大於best_to_far的，候選解也全部被禁的「死鎖」狀態，這個時候，就應該對候選解中最佳的進行解禁，以能夠繼續下去。
（4）終止准則：和模擬退火，遺傳演算法差不多，常用的有：給定一個迭代步數；設定與估計的最優解的距離小於某個范圍時，就終止搜索；當與最優解的距離連續若干步保持不變時，終止搜索；
禁忌搜索是對人類思維過程本身的一種模擬，它通過對一些局部最優解的禁忌（也可以說是記憶）達到接納一部分較差解，從而跳出局部搜索的目的。 人工神經網路（Artificial Neural Network，ANN）
神經網路從名字就知道是對人腦的模擬。它的神經元結構，它的構成與作用方式都是在模仿人腦，但是也僅僅是粗糙的模仿，遠沒有達到完美的地步。和馮·諾依曼機不同，神經網路計算非數字，非精確，高度並行，並且有自學習功能。
生命科學中，神經細胞一般稱作神經元，它是整個神經結構的最基本單位。每個神經細胞就像一條胳膊，其中像手掌的地方含有細胞核，稱作細胞體，像手指的稱作樹突，是信息的輸入通路，像手臂的稱作軸突，是信息的輸出通路；神經元之間錯綜復雜地連在一起，互相之間傳遞信號，而傳遞的信號可以導致神經元電位的變化，一旦電位高出一定值，就會引起神經元的激發，此神經元就會通過軸突傳出電信號。
而如果要用計算機模仿生物神經，就需要人工的神經網路有三個要素：（1）形式定義人工神經元；（2）給出人工神經元的連接方式，或者說給出網路結構；（3）給出人工神經元之間信號強度的定義。
歷史上第一個人工神經網路模型稱作M－P模型，非常簡單：
其中，表示神經元i在t時刻的狀態，為1表示激發態，為0表示抑制態；是神經元i和j之間的連接強度；表示神經元i的閾值，超過這個值神經元才能激發。
這個模型是最簡單的神經元模型。但是功能已經非常強大：此模型的發明人McCulloch和Pitts已經證明，不考慮速度和實現的復雜性，它可以完成當前數字計算機的任何工作。
以上這個M－P模型僅僅是一層的網路，如果從對一個平面進行分割的方面來考慮的話，M－P網路只能把一個平面分成個半平面，卻不能夠選取特定的一部分。而解決的辦法就是「多層前向網路」。
為了讓這種網路有合適的權值，必須給網路一定的激勵，讓它自己學習，調整。一種方法稱作「向後傳播演算法（Back Propagation，BP）」，其基本思想是考察最後輸出解和理想解的差異，調整權值，並把這種調整從輸出層開始向後推演，經過中間層，達到輸入層。
可見，神經網路是通過學習來達到解決問題的目的，學習沒有改變單個神經元的結構和工作方式，單個神經元的特性和要解決的問題之間也沒有直接聯系，這里學習的作用是根據神經元之間激勵與抑制的關系，改變它們的作用強度。學習樣本中的任何樣品的信息都包含在網路的每個權值之中。
BP演算法中有考察輸出解和理想解差異的過程，假設差距為w，則調整權值的目的就是為了使得w最小化。這就又包含了前文所說的「最小值」問題。一般的BP演算法採用的是局部搜索，比如最速下降法，牛頓法等，當然如果想要得到全局最優解，可以採用模擬退火，遺傳演算法等。當前向網路採用模擬退火演算法作為學習方法的時候，一般成為「波爾茲曼網路」，屬於隨機性神經網路。
在學習BP演算法學習的過程中，需要已經有一部分確定的值作為理想輸出，這就好像中學生在學習的時候，有老師的監督。如果沒有了監督，人工神經網路該怎麼學習？
就像沒有了宏觀調控，自由的市場引入了競爭一樣，有一種學習方法稱作「無監督有競爭的學習」。在輸入神經元i的若干個神經元之間開展競爭，競爭之後，只有一個神經元為1，其他均為0，而對於失敗的神經元，調整使得向對競爭有利的方向移動，則最終也可能在一次競爭中勝利；
人工神經網路還有反饋網路如Hopfield網路，它的神經元的信號傳遞方向是雙向的，並且引入一個能量函數，通過神經元之間不斷地相互影響，能量函數值不斷下降，最後能給出一個能量比較低的解。這個思想和模擬退火差不多。
人工神經網路應用到演算法上時，其正確率和速度與軟體的實現聯系不大，關鍵的是它自身的不斷學習。這種思想已經和馮·諾依曼模型很不一樣。 粒子群優化演算法(PSO)是一種進化計算技術(evolutionary computation)，1995 年由Eberhart 博士和kennedy 博士提出，源於對鳥群捕食的行為研究 。該演算法最初是受到飛鳥集群活動的規律性啟發，進而利用群體智能建立的一個簡化模型。粒子群演算法在對動物集群活動行為觀察基礎上，利用群體中的個體對信息的共享使整個群體的運動在問題求解空間中產生從無序到有序的演化過程，從而獲得最優解。
PSO同遺傳演算法類似，是一種基於迭代的優化演算法。系統初始化為一組隨機解，通過迭代搜尋最優值。但是它沒有遺傳演算法用的交叉(crossover)以及變異(mutation)，而是粒子在解空間追隨最優的粒子進行搜索。同遺傳演算法比較，PSO的優勢在於簡單容易實現並且沒有許多參數需要調整。目前已廣泛應用於函數優化，神經網路訓練，模糊系統控制以及其他遺傳演算法的應用領域。
PSO模擬鳥群的捕食行為。設想這樣一個場景：一群鳥在隨機搜索食物。在這個區域里只有一塊食物。所有的鳥都不知道食物在那裡。但是他們知道當前的位置離食物還有多遠。那麼找到食物的最優策略是什麼呢。最簡單有效的就是搜尋目前離食物最近的鳥的周圍區域。
PSO從這種模型中得到啟示並用於解決優化問題。PSO中，每個優化問題的解都是搜索空間中的一隻鳥。我們稱之為「粒子」。所有的粒子都有一個由被優化的函數決定的適應值(fitness value)，每個粒子還有一個速度決定他們飛翔的方向和距離。然後粒子們就追隨當前的最優粒子在解空間中搜索。
PSO 初始化為一群隨機粒子(隨機解)。然後通過迭代找到最優解。在每一次迭代中，粒子通過跟蹤兩個極值來更新自己。第一個就是粒子本身所找到的最優解，這個解叫做個體極值pBest。另一個極值是整個種群目前找到的最優解，這個極值是全局極值gBest。另外也可以不用整個種群而只是用其中一部分作為粒子的鄰居，那麼在所有鄰居中的極值就是局部極值。 模擬退火，遺傳演算法，禁忌搜索，神經網路在解決全局最優解的問題上有著獨到的優點，並且，它們有一個共同的特點：都是模擬了自然過程。模擬退火思路源於物理學中固體物質的退火過程，遺傳演算法借鑒了自然界優勝劣汰的進化思想，禁忌搜索模擬了人類有記憶過程的智力過程，神經網路更是直接模擬了人腦。
它們之間的聯系也非常緊密，比如模擬退火和遺傳演算法為神經網路提供更優良的學習演算法提供了思路。把它們有機地綜合在一起，取長補短，性能將更加優良。
這幾種智能演算法有別於一般的按照圖靈機進行精確計算的程序，尤其是人工神經網路，是對計算機模型的一種新的詮釋，跳出了馮·諾依曼機的圈子，按照這種思想來設計的計算機有著廣闊的發展前景

⑤ 遺傳演算法屬於分類演算法嗎

屬於。遺傳演算法屬於分類演算法。遺傳演算法（GeneticAlgorithm，GA）最早是由美國的Johnholland於20世紀70年代提出，該演算法是根據大自然中生物體進化規律而設計提出的。

⑥ 粒子群演算法遺傳演算法蟻群演算法模擬退火演算法和貝葉斯是一類演算法嗎

粒子群演算法、遺傳演算法、蟻群演算法、模擬退火演算法，這些是一類演算法，是一種基於迭代的優化演算法，用於求最優解。
貝葉斯分類演算法另一類，它是統計學的一種分類方法，利用概率統計知識進行分類的演算法。

⑦ 數據挖掘的方法有哪些

數據挖掘的的方法主要有以下幾點：
1.分類挖掘方法。分類挖掘方法主要利用決策樹進行分類，是一種高效且在數據挖掘方法中佔有重要地位的挖掘方法。為了對數據進行較為准確的測試並據此分類，我們採用決策樹演算法，而決策樹中比較典型的幾種方法為：ID3演算法，此方法具有較強的實用性，適用於大規模數據處理；KNN演算法，此方法算量較大，適用於分別類別的數據處理。
2..聚類分析挖掘方法。聚類分析挖掘方法主要應用於樣品與指標分類研究領域，是一種典型的統計方法，廣泛應用於商業領域。此聚類分析方法根據適用對象不同又可分為四種分析挖掘方法：基於網格的聚類分析方法、基於分層的聚類方法、基於密度的聚類挖掘方法和基於模型的聚類方法。
3.預測方法。預測方法主要用於對知識的預測以及對連續數值型數據的挖掘，傳統的預測方法主要分為：時間序列方法、回歸模型分析法、灰色系統模型分析。而現在預測方法主要採用神經網路與支持向量機演算法，進行數據分析計算，同時可預測未來數據的走向趨勢。

關於大數據挖掘工程師的課程推薦CDA數據分析師的相關課程，課程內容兼顧培養解決數據挖掘流程問題的橫向能力以及解決數據挖掘演算法問題的縱向能力。要求學生具備從數據治理根源出發的思維，通過數字化工作方法來探查業務問題，通過近因分析、宏觀根因分析等手段，再選擇業務流程優化工具還是演算法工具，而非「遇到問題調演算法包」點擊預約免費試聽課。

⑧ 遺傳演算法可以解決哪些問題

遺傳演算法主要是用來求解最優化問題的。
一般來講可以求解函數的最大、最小值問題，還可以結合其它一些方法解決（非）線性回歸、分類問題等等。

但遺傳演算法有兩個缺點，一是時間長，二是初值的選擇會影響收斂的效果。

它的本質，實際上還是隨機搜索演算法，還是屬於所謂的蒙特卡羅式的方法。

⑨ 優化演算法筆記（二）優化演算法的分類

（以下描述，均不是學術用語，僅供大家快樂的閱讀）

在分類之前，我們先列舉一下常見的優化演算法（不然我們拿什麼分類呢？）。
1遺傳演算法Genetic algorithm
2粒子群優化演算法Particle Swarm Optimization
3差分進化演算法Differential Evolution
4人工蜂群演算法Artificial Bee Colony
5蟻群演算法Ant Colony Optimization
6人工魚群演算法Artificial Fish Swarm Algorithm
7杜鵑搜索演算法Cuckoo Search
8螢火蟲演算法Firefly Algorithm
9灰狼演算法Grey Wolf Optimizer
10鯨魚演算法Whale Optimization Algorithm
11群搜索演算法Group search optimizer
12混合蛙跳演算法Shuffled Frog Leaping Algorithm
13煙花演算法fireworks algorithm
14菌群優化演算法Bacterial Foraging Optimization
以上優化演算法是我所接觸過的演算法，沒接觸過的演算法不能隨便下結論，知之為知之，不知為不知。其實到目前為止優化演算法可能已經有幾百種了，我們不可能也不需要全面的了解所有的演算法，而且優化演算法之間也有較大的共性，深入研究幾個之後再看其他優化演算法上手速度會灰常的快。
優化演算法從提出到現在不過50-60年（遺傳演算法1975年提出），雖種類繁多但大多較為相似，不過這也很正常，比較香蕉和人的基因相似度也有50%-60%。當然演算法之間的相似度要比香蕉和人的相似度更大，畢竟人家都是優化演算法，有著相同的目標，只是實現方式不同。就像條條大路通羅馬，我們可以走去，可以坐汽車去，可以坐火車去，也可以坐飛機去，不管使用何種方式，我們都在去往羅馬的路上，也不會說坐飛機去要比走去更好，交通工具只是一個工具，最終的方案還是要看我們的選擇。

上面列舉了一些常見的演算法，即使你一個都沒見過也沒關系，後面會對它們進行詳細的介紹，但是對後面的分類可能會有些許影響，不過問題不大，就先當總結看了。
再對優化演算法分類之前，先介紹一下演算法的模型，在筆記（一）中繪制了優化演算法的流程，不過那是個較為簡單的模型，此處的模型會更加復雜。上面說了優化演算法有較大的相似性，這些相似性主要體現在演算法的運行流程中。
優化演算法的求解過程可以看做是一個群體的生存過程。

有一群原始人，他們要在野外中尋找食物，一個原始人是這個群體中的最小單元，他們的最終目標是尋找這個環境中最容易獲取食物的位置，即最易存活下來的位置。每個原始人都去獨自尋找食物，他們每個人每天獲取食物的策略只有採集果實、製作陷阱或者守株待兔，即在一天之中他們不會改變他們的位置。在下一天他們會根據自己的策略變更自己的位置。到了某一天他們又聚在了一起，選擇了他們到過的最容易獲取食物的位置定居。
一群原始人=優化演算法中的種群、群體；
一個原始人=優化演算法中的個體；
一個原始人的位置=優化演算法中個體的位置、基因等屬性；
原始人變更位置=優化演算法中總群的更新操作；
該位置獲取食物的難易程度=優化演算法中的適應度函數；
一天=優化演算法中的一個迭代；
這群原始人最終的定居位置=優化演算法所得的解。
優化演算法的流程圖如下：

對優化演算法分類得有個標准，按照不同的標准分類也會得到不一樣的結果。首先說一下我所使用的分類標准（動態更新，有了新的感悟再加）：

按由來分類比較好理解，就是該演算法受何種現象啟發而發明，本質是對現象分類。

可以看出演算法根據由來可以大致分為有人類的理論創造而來，向生物學習而來，受物理現象啟發。其中向生物學習而來的演算法最多，其他類別由於舉例有偏差，不是很准確，而且物理現象也經過人類總結，有些與人類現象相交叉，但仍將其獨立出來。
類別分好了，那麼為什麼要這么分類呢？

當然是因為要湊字數啦，啊呸，當然是為了更好的理解學習這些演算法的原理及特點。
向動物生存學習而來的演算法一定是一種行之有效的方法，能夠保證演算法的效率和准確性，因為，如果使用該策略的動物無法存活到我們可以對其進行研究，我們也無法得知其生存策略。（而這也是一種倖存者偏差，我們只能看到行之有效的策略，但並不是我們沒看到的策略都是垃圾，畢竟也發生過小行星撞地球這種小概率毀滅性事件。講個冷笑話開cou心一shu下:一隻小恐龍對他的小夥伴說，好開心，我最喜歡的那顆星星越來越亮了（完）。）但是由於生物的局限性，人們所創造出的演算法也會有局限性：我們所熟知的生物都生存在三維空間，在這些環境中，影響生物生存的條件比較有限，反應到演算法中就是這些演算法在解決較低維度的問題時效果很好，當遇到超高維（維度>500）問題時，結果可能不容樂觀，沒做過實驗，我也不敢亂說。

按更新過程分類相對復雜一點，主要是根據優化演算法流程中更新位置操作的方式來進行分類。更新位置的操作按我的理解可大致分為兩類：1.跟隨最優解；2.不跟隨最優解。
還是上面原始人的例子，每天他有一次去往其他位置狩獵的機會，他們採用何種方式來決定今天自己應該去哪裡呢？
如果他們的策略是「跟隨最優解」，那麼他們選取位置的方式就是按一定的策略向群體已知的最佳狩獵位置（歷史最佳）或者是當前群體中的最佳狩獵位置（今天最佳）靠近，至於是直線跑過去還是蛇皮走位繞過去，這個要看他們群體的策略。當然，他們的目的不是在最佳狩獵位置集合，他們的目的是在過去的途中看是否能發現更加好的狩獵位置，去往已經到過的狩獵地點再次狩獵是沒有意義的，因為每個位置獲取食物的難易程度是固定的。有了目標，大家都會朝著目標前進，總有一日，大家會在謀個位置附近相聚，相聚雖好但不利於後續的覓食容易陷入局部最優。
什麼是局部最優呢？假設在當前環境中有一「桃花源」，擁有上帝視角的我們知道這個地方就是最適合原始人們生存的，但是此地入口隱蔽「山有小口，彷彿若有光」、「初極狹，才通人。」，是一個難以發現的地方。如果沒有任何一個原始人到達了這里，大家向著已知的最優位置靠近時，也難以發現這個「桃源之地」，而當大家越聚越攏之後，「桃源」被發現的可能性越來越低。雖然原始人們得到了他們的解，但這並不是我們所求的「桃源」，他們聚集之後失去了尋求「桃源」的可能，這群原始人便陷入了局部最優。

如果他們的策略是「不跟隨最優解」，那麼他們的策略是什麼呢？我也不知道，這個應該他們自己決定。畢竟「是什麼」比「不是什麼」的范圍要小的多。總之不跟隨最優解時，演算法會有自己特定的步驟來更新個體的位置，有可能是隨機在自己附近找，也有可能是隨機向別人學習。不跟隨最優解時，原始人們應該不會快速聚集到某一處，這樣一來他們的選擇更具多樣性。
按照更新過程對上面的演算法分類結果如下

可以看出上面不跟隨最優解的演算法只有遺傳演算法和差分進化演算法，他們的更新策略是與進化和基因的重組有關。因此這些不跟隨最優解的演算法，他們大多依據進化理論更新位置（基因）我把他們叫做進化演算法，而那些跟隨群體最優解的演算法，他們則大多依賴群體的配合協作，我把這些演算法叫做群智能演算法。

目前我只總結了這兩種，分類方法，如果你有更加優秀的分類方法，我們可以交流一下：

目錄
上一篇 優化演算法筆記（一）優化演算法的介紹
下一篇 優化演算法筆記（三）粒子群演算法（1）