隨機退火演算法
1. 模擬退火演算法的簡介
模擬退火演算法(Simulated Annealing，SA)最早的思想是由N. Metropolis 等人於1953年提出。1983 年,S. Kirkpatrick 等成功地將退火思想引入到組合優化領域。它是基於Monte-Carlo迭代求解策略的一種隨機尋優演算法，其出發點是基於物理中固體物質的退火過程與一般組合優化問題之間的相似性。模擬退火演算法從某一較高初溫出發，伴隨溫度參數的不斷下降,結合概率突跳特性在解空間中隨機尋找目標函數的全局最優解，即在局部最優解能概率性地跳出並最終趨於全局最優。模擬退火演算法是一種通用的優化演算法，理論上演算法具有概率的全局優化性能,目前已在工程中得到了廣泛應用，諸如VLSI、生產調度、控制工程、機器學習、神經網路、信號處理等領域。
模擬退火演算法是通過賦予搜索過程一種時變且最終趨於零的概率突跳性，從而可有效避免陷入局部極小並最終趨於全局最優的串列結構的優化演算法。
2. 模擬退火演算法在TSP問題怎樣體現出來的
Procere SIMULATED_ANNEALING;
begin
INITIALIZE (i0, t0, L0); { 初始化i0, t0, L0 }
k:=0;
i:=i
0;
Repeat
{ 對每個tk產生Lk個解，這Lk個解構成了一條長為Lk的Mapkob鏈}
for l:=1 to Lk do begin
GENERATE (j from Si); { 從當前解i的鄰域Si中產生新解j }
{ 以下 3 行即 Metropolis 演算法，共迭代了Lk 次 }
if f(j) <= f(i) then i:=j
else
if exp((f(i)-f(j))/ tk) >= random[0, 1) then i:=j {模擬退火演算法就是在這里體現，根據溫度變化隨機接受一個不良解，以防止局部最優現象，而隨著溫度（tk）的降低，接受不良解的概率越來越低，最終逼近最優解}
end;
k:=k+1;
CALCULATE_LENGTH (Lk); { 重新計算Mapkob鏈長Lk }
CALCULATE_CONTROL(tk); { 重新計算控制參數值tk }
until stop_criterion { 演算法停止准則 }
End;
3. matlab 模擬退火演算法求解TSP問題源代碼
我這有飛機巡航的代碼，本質上和旅行商問題一樣，代碼如下(非原創):
functionmySim()
disp('模擬退火求巡航路徑');
data=xlsread('飛機巡航數據.xlsx','sheet1','C4:J28');
x=data(:,1:2:8);x=x(:);
y=data(:,2:2:8);y=y(:);
si=[xy];d1=[70,40];
si=[d1;si;d1];
sj=si;
sj=sj*pi/180;%經緯度化為弧度制
d=zeros(102);%距離矩陣d
fori=1:101
forj=i+1:102
temp=cos(sj(i,1)-sj(j,1))*cos(sj(i,2))*cos(sj(j,2))+sin(sj(i,2))*sin(sj(j,2));
d(i,j)=6370*acos(temp);
end
end
d=d+d';%生成距離矩陣
S0=[];%用於存放最優路徑
Sum=inf;%用於存放最優解
rand('state',sum(clock));%設隨機種子
forj=1:1000
S=[11+randperm(100),102];%randperm(n)用於隨機生成1到n的一個排列
temp=0;
fori=1:101
temp=temp+d(S(i),S(i+1));
end
iftemp<Sum
S0=S;Sum=temp;
end
end
e=0.1^30;L=20000;at=0.999;T=1;
%退火過程
fork=1:L
%產生新解
c=2+floor(100*rand(1,2));%floor向下取整,rand(m,n)生成m*n階（0,1）隨機矩陣
c=sort(c);%順序排列
c1=c(1);c2=c(2);
%計算代價函數值
df=d(S0(c1-1),S0(c2))+d(S0(c1),S0(c2+1))-d(S0(c1-1),S0(c1))-d(S0(c2),S0(c2+1));
%接受准則
ifdf<0
S0=[S0(1:c1-1),S0(c2:-1:c1),S0(c2+1:102)];
Sum=Sum+df;
elseifexp(-df/T)>rand(1)
S0=[S0(1:c1-1),S0(c2:-1:c1),S0(c2+1:102)];
Sum=Sum+df;
end
T=T*at;
ifT<e
break;
end
end
%輸出巡航路徑及路徑長度
S0,Sum
%巡航時間
v=xlsread('飛機巡航數據.xlsx','sheet1','A2');
time=Sum/v(1,1)
%畫出路徑圖
r=size(sj,1);
fori=1:r-1;
plot([si(S0(i),1)si(S0(i+1),1)],[si(S0(i),2)si(S0(i+1),2)],'*');
line([si(S0(i),1)si(S0(i+1),1)],[si(S0(i),2)si(S0(i+1),2)]);
holdon
end
4. 退火演算法的應用領域及示例
作為模擬退火演算法應用，討論旅行商問題(Travelling Salesman Problem,簡記為TSP)：設有n個城市，用數碼1,…,n代表。城市i和城市j之間的距離為d(i,j) i,j=1,…,n．TSP問題是要找遍訪每個域市恰好一次的一條迴路，且其路徑總長度為最短.。
求解TSP的模擬退火演算法模型可描述如下：
解空間 解空間S是遍訪每個城市恰好一次的所有迴路，是{1,……,n}的所有循環排列的集合,S中的成員記為(w1,w2,……,wn)，並記wn+1= w1。初始解可選為(1,……,n)
目標函數 此時的目標函數即為訪問所有城市的路徑總長度或稱為代價函數：
我們要求此代價函數的最小值。
新解的產生 隨機產生1和n之間的兩相異數k和m,
若k<m,則將
(w1,w2,…,wk,wk+1,…,wm,…,wn)
變為：
(w1,w2,…,wm,wm-1,…,wk+1,wk,…,wn).
如果是k>m,則將
(w1,w2,…,wm,wm+1,…,wk,…,wn)
變為：
(wm,wm-1,…,w1,wm+1,…,wk-1,wn,wn-1,…,wk).
上述變換方法可簡單說成是「逆轉中間或者逆轉兩端」。
也可以採用其他的變換方法，有些變換有獨特的優越性，有時也將它們交替使用，得到一種更好方法。
代價函數差 設將(w1,w2,……,wn)變換為(u1,u2,……,un)，則代價函數差為：
根據上述分析，可寫出用模擬退火演算法求解TSP問題的偽程序：
Procere TSPSA:
begin
init-of-T; { T為初始溫度}
S={1,……,n}; {S為初始值}
termination=false;
while termination=false
begin
for i=1 to L do
begin
generate(S′form S); { 從當前迴路S產生新迴路S′}
Δt:=f(S′））-f(S);{f(S)為路徑總長}
IF（Δt<0) OR (EXP(-Δt/T)>Random-of-[0,1])
S=S′；
IF the-halt-condition-is-TRUE THEN
termination=true;
End;
T_lower;
End;
End
模擬退火演算法的應用很廣泛，可以較高的效率求解最大截問題(Max Cut Problem)、0-1背包問題(Zero One Knapsack Problem)、圖著色問題(Graph Colouring Problem)、調度問題(Scheling Problem)等等。 模擬退火演算法的應用很廣泛，可以求解NP完全問題，但其參數難以控制，其主要問題有以下三點：
⑴ 溫度T的初始值設置問題。
溫度T的初始值設置是影響模擬退火演算法全局搜索性能的重要因素之一、初始溫度高，則搜索到全局最優解的可能性大，但因此要花費大量的計算時間；反之，則可節約計算時間，但全局搜索性能可能受到影響。實際應用過程中，初始溫度一般需要依據實驗結果進行若干次調整。
⑵ 退火速度問題。
模擬退火演算法的全局搜索性能也與退火速度密切相關。一般來說，同一溫度下的「充分」搜索（退火）是相當必要的，但這需要計算時間。實際應用中，要針對具體問題的性質和特徵設置合理的退火平衡條件。
⑶ 溫度管理問題。
溫度管理問題也是模擬退火演算法難以處理的問題之一。實際應用中，由於必須考慮計算復雜度的切實可行性等問題，常採用如下所示的降溫方式：
T(t+1)=k×T(t)
式中k為正的略小於1.00的常數,t為降溫的次數 優點：計算過程簡單，通用，魯棒性強，適用於並行處理，可用於求解復雜的非線性優化問題。
缺點：收斂速度慢，執行時間長，演算法性能與初始值有關及參數敏感等缺點。
經典模擬退火演算法的缺點：
⑴如果降溫過程足夠緩慢，多得到的解的性能會比較好，但與此相對的是收斂速度太慢；
⑵如果降溫過程過快，很可能得不到全局最優解。
模擬退火演算法的改進
⑴ 設計合適的狀態產生函數，使其根據搜索進程的需要
表現出狀態的全空間分散性或局部區域性。
⑵ 設計高效的退火策略。
⑶ 避免狀態的迂迴搜索。
⑷ 採用並行搜索結構。
⑸ 為避免陷入局部極小，改進對溫度的控制方式
⑹ 選擇合適的初始狀態。
⑺ 設計合適的演算法終止准則。
也可通過增加某些環節而實現對模擬退火演算法的改進。
主要的改進方式包括：
⑴ 增加升溫或重升溫過程。在演算法進程的適當時機，將溫度適當提高，從而可激活各狀態的接受概率，以調整搜索進程中的當前狀態，避免演算法在局部極小解處停滯不前。
⑵ 增加記憶功能。為避免搜索過程中由於執行概率接受環節而遺失當前遇到的最優解，可通過增加存儲環節，將一些在這之前好的態記憶下來。
⑶ 增加補充搜索過程。即在退火過程結束後，以搜索到的最優解為初始狀態，再次執行模擬退火過程或局部性搜索。
⑷ 對每一當前狀態，採用多次搜索策略，以概率接受區域內的最優狀態，而非標准SA的單次比較方式。
⑸ 結合其他搜索機制的演算法，如遺傳演算法、混沌搜索等。
⑹上述各方法的綜合應用。
5. 模擬退火法（SA）和遺傳演算法(GA)的專業解釋
n局部搜索，模擬退火，遺傳演算法，禁忌搜索的形象比喻：
為了找出地球上最高的山，一群有志氣的兔子們開始想辦法。
1．兔子朝著比現在高的地方跳去。他們找到了不遠處的最高山峰。但是這座山不一定是珠穆朗瑪峰。這就是局部搜索，它不能保證局部最優值就是全局最優值。
2．兔子喝醉了。他隨機地跳了很長時間。這期間，它可能走向高處，也可能踏入平地。但是，他漸漸清醒了並朝最高方向跳去。這就是模擬退火。
3．兔子們吃了失憶葯片，並被發射到太空，然後隨機落到了地球上的某些地方。他們不知道自己的使命是什麼。但是，如果你過幾年就殺死一部分海拔低的兔子，多產的兔子們自己就會找到珠穆朗瑪峰。這就是遺傳演算法。
4.兔子們知道一個兔的力量是渺小的。他們互相轉告著，哪裡的山已經找過，並且找過的每一座山他們都留下一隻兔子做記號。他們制定了下一步去哪裡尋找的策略。這就是禁忌搜索。
6. 模擬退火演算法 一定能收斂到全局最優解嗎
不一定，這是一個隨機演算法，這就意味著它有可能會止步於部分最優解。所以一般比賽的時候都要交上好幾遍來通過代碼
7. 誰能給我舉一個模擬退火演算法MATLAB源代碼的簡單例子
clear
clc
a = 0.95
k = [5;10;13;4;3;11;13;10;8;16;7;4];
k = -k; % 模擬退火演算法是求解最小值，故取負數
d = [2;5;18;3;2;5;10;4;11;7;14;6];
restriction = 46;
num = 12;
sol_new = ones(1,num); % 生成初始解
E_current = inf;E_best = inf;
% E_current是當前解對應的目標函數值（即背包中物品總價值）；
% E_new是新解的目標函數值；
% E_best是最優解的
sol_current = sol_new; sol_best = sol_new;
t0=97; tf=3; t=t0;
p=1;
while t>=tf
for r=1:100
%產生隨機擾動
tmp=ceil(rand.*num);
sol_new(1,tmp)=~sol_new(1,tmp);
%檢查是否滿足約束
while 1
q=(sol_new*d <= restriction);
if ~q
p=~p; %實現交錯著逆轉頭尾的第一個1
tmp=find(sol_new==1);
if p
sol_new(1,tmp)=0;
else
sol_new(1,tmp(end))=0;
end
else
break
end
end
% 計算背包中的物品價值
E_new=sol_new*k;
if E_new<E_current
E_current=E_new;
sol_current=sol_new;
if E_new<E_best
% 把冷卻過程中最好的解保存下來
E_best=E_new;
sol_best=sol_new;
end
else
if rand<exp(-(E_new-E_current)./t)
E_current=E_new;
sol_current=sol_new;
else
sol_new=sol_current;
end
end
end
t=t.*a;
end
disp('最優解為：')
sol_best
disp('物品總價值等於：')
val=-E_best;
disp(val)
disp('背包中物品重量是：')
disp(sol_best * d)
8. 模擬退火法<sup>[1，]</sup>
模擬退火演算法最早在1953年由 Metropolis等人提出。在地球物理中的最早應用是Rothman在1983年利用模擬退火演算法處理地震資料的剩餘靜校正。模擬退火法也是類似於蒙特卡洛法的隨機搜索方法。但是在產生模型的過程中引入一些規則，能有效地加快搜索速度，有時又稱這類方法為啟發式蒙特卡洛法。
模擬退火法概念源於統計物理學，是模擬固體熔化狀態逐漸緩慢冷卻最終達到能量最小的結晶狀態的物理過程。對於一個熔化的金屬，當處於某個溫度的熱平衡狀態時，它的每一個分子都有它可能所處的狀態，有些分子可能能量高一些，有些分子可能能量低一些，分子處於何種狀態的概率由分子所具有的能量決定。設分子所有可能的能級總數為n(微觀粒子的能量都是量子化的，不連續的)，則分子處於某種狀態的概率滿足玻爾茲曼概率分布:
地球物理反演教程
其中:Ei為第i個分子的能量;K為玻爾茲曼常數;T為絕對溫度;n為分子所有可能的能級總數，分母稱為配分因子;pi為第i個分子處於能量Ei的概率。
如果把地球物理反演的模型向量看作分子，把目標函數看作分子的能量，把目標函數的極小值看成分子冷卻結晶的最小能量，反演問題(最優化問題)可以模擬式(8.11)金屬退火的過程，通過緩慢地減小溫度進行反演，使目標函數(能量)逐漸達到極小值，這時所對應的模型(分子狀態)就是反演結果。
為了改善於蒙特卡洛法的隨機搜索方法，1953年 Metropolis等人在產生模型的過程中引入Metropolis接受准則，模型產生並不是完全隨機，而是以前一個模型為基礎隨機產生。對能量減小的模型完全接受，對能量增加的模型按一定的概率接受，這樣能有效地加快搜索速度，同時又有可能跳出局部極小值。具體如下:
設原來模型向量為mi，新的模型為mi+1(在mi基礎上隨機修改產生)，各自的能量(目標函數)為E(mi)和E(mi+1)。如果E(mi+1)＜E(mi)，則目標函數在減小，新模型可以接受。如果E(mi+1)＞E(mi)，則目標函數在增加，按照一定概率來確定是否接受新的模型。具體規則見式(8.12):
E(mi+1)＜E(mi) 完全接受mi+1為新模型
地球物理反演教程
式(8.12)就是Metropolis接受准則。它使得反演過程可以接受使目標函數增加的模型，因此也就使得模擬退火法有可能跳出局部極小，收斂於全局極小值點。由於玻爾茲曼常數K只是起到尺度因子的作用，在實際計算中K可取為1來簡化公式。從式(8.12)可以看出，當溫度較低時，pi+1/pi較小，因此接受使能量增加的新模型的可能性較小。而一般溫度較低時，目標函數較小，模型比較靠近真實模型，這時基本上只接受使目標函數減小的模型，使模型盡快收斂於極小值點。
在模擬退火反演中，要求溫度T隨著迭代次數的增加而緩慢降溫。常用的溫度函數有兩種。
(1)指數下降型:
Tk=T0·exp(-ck1/N) (8.13)
式中:k為迭代次數;c為衰減因子;N為模型參數的個數;T0為初始溫度。上式也可以改寫為
地球物理反演教程
通常選擇0.7≤α≤1。在實際應用中可採用0.5或1代替式(8.14)的1/N。圖8.4(a)為指數降溫曲線。採用參數為:T0=200℃，α=0.99，1/N=0.9。
(2)雙曲線下降型:
T=T0αk (8.15)
式中:T0為初始溫度;k為迭代次數;α為衰減因子，通常取0.99。初始溫度T0不能取得太高，否則增加計算時間浪費機時;T0也不能太低，否則模型選取不能遍及整個模型空間，只是在初始模型附近選取，不能進行全局尋優。所以T0的確定只有通過實驗計算得到。圖8.4(b)為雙曲線降溫曲線。採用參數為:T0=200℃，α=0.99。從圖8.4可以看出通過對不同溫度曲線和相關參數進行選擇，可以控制溫度下降的方式和速度。
圖8.4 模擬退火法降溫曲線
模擬退火法主要有三種:
(1)MSA演算法(Metropolis Simulated Annealing);
(2)HBSA演算法(Heat Bath Simulated Annealing);
(3)VFSA演算法(Very Fast Simulated Annealing)。
圖8.5 模擬退火MSA演算法程序流程圖
前面介紹的利用 Metropolis接受准則的演算法就是經典的模擬退火法。圖8.5為模擬退火 MSA演算法的程序流程圖。從中可以看出 MSA演算法有一套模型修改准則，依次改變模型參數，每次改變都是在原來模型基礎上改變一個參數，因此容易保持已有搜索成果，持續不斷地向目標函數最小值點接近，因此搜索效率比蒙特卡洛法高。此外，MSA演算法允許接受使目標函數增加的模型，這樣又易於跳出局部極小，達到全局極小。但 MSA演算法在任何溫度下和蒙特卡洛法一樣都是在模型全空間進行搜索，不能根據當前溫度和模型減小搜索空間，此外由於模型的修改全憑運氣，所以不可能像前面介紹的最小二乘法那樣目標函數基本上持續減小，而是呈不規則振盪在宏觀上逐漸減小，因此效率較低。
HBSA演算法與 MSA演算法的不同之處是在模型的修改上。也是首先隨機選擇一個初始M維模型向量m0(它具有M個參數);然後限制各個模型參數可能的取值范圍，對取值離散化。假設每個模型參數都有N個可能的值，首先固定模型第2個參數m0(2)直到第M個參數m0(M)保持不變，只修改第1個參數m0(1);計算m0(1)的所有取值時的目標函數，然後按式(8.16)計算「概率」，它就是式(8.11)配分因子取1的公式。即
地球物理反演教程
選擇「概率」最大的為模型第1個參數的修改值。照此依次對所有模型參數進行修改完成依次迭代計算。在每次迭代計算中保持溫度不變。隨著迭代次數增加，溫度降低，最終達到穩定狀態，獲得最小能量解。這種方法的計算由於要計算某個參數的所有可能值，所以計算量也是很大的。
1989年Ingber提出了VFSA演算法，由於速度較快，最為常用。它使得模擬退火法從理論走向了實際應用。VFSA演算法在流程上與傳統的模擬退火法相同，但是在模型修改、接受概率以及降溫曲線上有所改進。
(1)模型修改:常規模擬退火法採用高斯隨機分布修改模型，在任何溫度下都是在模型全空間進行搜索。而Ingber提出採用依賴於溫度的似cauchy分布產生新的模型。即
地球物理反演教程
yi=Tsgn(u-0.5)[(1+1/T|2u-1|-1](8.18)
其中:mi為當前模型第i個參數，m'i為修改後的模型參數;u為[0，1]的隨機數;[Ai，Bi]為mi和m'i的取值范圍;sgn( )為符號函數。
採用以上方式能在高溫下進行大范圍的搜索，低溫時在當前模型附近搜索，而且由於似cauchy分布具有平坦的「尾巴」，使其易於迅速跳出局部極值。這一改進大大加快了模擬退火法的收斂速度。
(2)接收概率:當E(mi+1)＞E(mi)時，VFSA演算法採用如下概率接受公式:
地球物理反演教程
上式當h→1時變為式(8.12)。h通過實驗獲得。
(3)降溫曲線(退火計劃):Ingber在1989年採用式(8.13)得出指數降溫曲線。從圖8.4可知，溫度下降較快。
總之，VFSA演算法在模型修改、接受概率以及降溫曲線上的改進使得模擬退火演算法收斂速度大大加快。後人在此基礎上還有很多的改進，讀者可以參考相關文獻。
模擬退火法的優點:由於不需要計算偏導數矩陣，不需要解線性方程組(當然正演計算的除外)，結構簡單，易於編程;此外，由於它搜索范圍大，能接受較差模型，因此易於達到全局極小。缺點:隨機搜索，計算量巨大，往往要計算成百上千次正演，這與前面的最小二乘法十幾次的正演計算相比反演時間太長，因此一般應用在一維反演之中，在二維、三維等高維反演中應用較少。
9. 模擬退火演算法和粒子群演算法的優缺點有那些具體點，謝啦
他們有類似之處，但差別也不小。
蒙特卡洛演算法是數值計算方法，原理是利用隨機數來解決計算問題。與它對應的是確定性演算法。也就是說該種演算法屬於隨機演算法，得到的解是近似解。
而遺傳演算法、粒子群、模擬退火雖然也是隨機近似演算法，但這三種都是仿生智能演算法，且比蒙特卡洛演算法要復雜，應用的領域也不太相同。
顯然，蒙特卡洛演算法很輕巧，求解問題更快速。