高斯核演算法

❶ 高斯核函數和隨機森林到底什麼關系

首先要清楚，SVM中，對於維度的計算，我們可以用內積的形式，假設函數：
表示一個簡單的從二維映射到三維。
則在SVM的計算中，可以表示為：

再來看泰勒展開式：

所以這個無窮多項的式子正是對於的近似，所對應的映射：

再來看高斯核：

將泰勒展開式帶入高斯核，我們得到了一個無窮維度的映射：

那麼，對於和的內積形式符合在SVM中無窮維度下的內積計算，即高斯核將數據映射到無窮高的維度。

❷ 高斯核函數為什麼是把原始空間映射到無窮維空間

首先要清楚，SVM中，對於維度的計算，我們可以用內積的形式，假設函數：
表示一個簡單的從二維映射到三維。
則在SVM的計算中，可以表示為：

再來看泰勒展開式：

所以這個無窮多項的式子正是對於的近似，所對應的映射：

再來看高斯核：

將泰勒展開式帶入高斯核，我們得到了一個無窮維度的映射：

那麼，對於和的內積形式符合在SVM中無窮維度下的內積計算，即高斯核將數據映射到無窮高的維度。

❸ 高斯核函數的計算機視覺中的作用

在計算機視覺中，有時也簡稱為高斯函數。高斯函數具有五個重要的性質，這些性質使得它在早期圖像處理中特別有用．這些性質表明，高斯平滑濾波器無論在空間域還是在頻率域都是十分有效的低通濾波器，且在實際圖像處理中得到了工程人員的有效使用．高斯函數具有五個十分重要的性質，它們是：
（1）二維高斯函數具有旋轉對稱性，即濾波器在各個方向上的平滑程度是相同的．一般來說，一幅圖像的邊緣方向是事先不知道的，因此，在濾波前是無法確定一個方向上比另一方向上需要更多的平滑．旋轉對稱性意味著高斯平滑濾波器在後續邊緣檢測中不會偏向任一方向．
（2）高斯函數是單值函數．這表明，高斯濾波器用像素鄰域的加權均值來代替該點的像素值，而每一鄰域像素點權值是隨該點與中心點的距離單調增減的．這一性質是很重要的，因為邊緣是一種圖像局部特徵，如果平滑運算對離運算元中心很遠的像素點仍然有很大作用，則平滑運算會使圖像失真．
（3）高斯函數的傅立葉變換頻譜是單瓣的．正如下面所示，這一性質是高斯函數付立葉變換等於高斯函數本身這一事實的直接推論．圖像常被不希望的高頻信號所污染(雜訊和細紋理)．而所希望的圖像特徵（如邊緣），既含有低頻分量，又含有高頻分量．高斯函數傅里葉變換的單瓣意味著平滑圖像不會被不需要的高頻信號所污染，同時保留了大部分所需信號．
（4）高斯濾波器寬度(決定著平滑程度)是由參數σ表徵的，而且σ和平滑程度的關系是非常簡單的．σ越大，高斯濾波器的頻帶就越寬，平滑程度就越好．通過調節平滑程度參數σ，可在圖像特徵過分模糊(過平滑)與平滑圖像中由於雜訊和細紋理所引起的過多的不希望突變數(欠平滑)之間取得折衷．
（5）由於高斯函數的可分離性，大高斯濾波器可以得以有效地實現．二維高斯函數卷積可以分兩步來進行，首先將圖像與一維高斯函數進行卷積，然後將卷積結果與方向垂直的相同一維高斯函數卷積．因此，二維高斯濾波的計算量隨濾波模板寬度成線性增長而不是成平方增長．

❹ 什麼是高斯演算法

高斯小時候非常淘氣，一次老師去開會他和同學們鬧騰。老師回來後大發雷霆，命令他們全班所有人都開始算1+2+3+4+5+6+……+100的得數。全班只有高斯想出來的（1＋100）＋（2＋99）＋（3＋98）……＋（50＋51）…………一共有50個101，所以50·101就是1加到一百的得數。後來人們把這種簡便演算法稱作高斯演算法。

就是：（首項+末項）*項數/2

❺ 如何用cordic演算法實現高斯核函數

核函數一般是為了解決維度過高導致的計算能力不足的缺陷，實質就是特徵向量內積的平方。

❻ 什麼是核函數常見的核函數有哪些

姓名：賀文琪

學號：19021210758

【嵌牛導讀】核函數通常定義為空間中任一點x到某一中心xc之間歐式距離的單調函數 , 可記作 k（||x-xc||）， 其作用往往是局部的 , 即當x遠離xc時函數取值很小。核函數不是僅僅在SVM里使用，他是一個工具，把低維數據映射到高維數據的工具。

【嵌牛鼻子】核函數

【嵌牛提問】如何實現核函數

【嵌牛正文】

一、核

1.1 核的介紹

內核方法是一類用於模式分析或識別的演算法，其最知名的使用是在支持向量機（SVM）。模式分析的一般任務是在一般類型的數據（例如序列，文本文檔，點集，向量，圖像等）中找到並研究一般類型的關系（例如聚類，排名，主成分，相關性，分類）圖表等）。內核方法將數據映射到更高維的空間，希望在這個更高維的空間中，數據可以變得更容易分離或更好的結構化。對這種映射的形式也沒有約束，這甚至可能導致無限維空間。然而，這種映射函數幾乎不需要計算的，所以可以說成是在低維空間計算高維空間內積的一個工具。

1.2 核的訣竅

內核技巧是一個非常有趣和強大的工具。 它是強大的，因為它提供了一個從線性到非線性的連接以及任何可以只表示兩個向量之間的點積的演算法。 它來自如下事實：如果我們首先將我們的輸入數據映射到更高維的空間，那麼我在這個高維的空間進行操作出的效果，在原來那個空間就表現為非線性。

現在，內核技巧非常有趣，因為不需要計算映射。 如果我們的演算法只能根據兩個向量之間的內積表示，我們所需要的就是用一些其他合適的空間替換這個內積。 這就是"技巧"的地方：無論使用怎樣的點積，它都被內核函數替代。 核函數表示特徵空間中的內積，通常表示為：

K（x，y）= <φ（x），φ（y）>

使用內核函數，該演算法然後可以被攜帶到更高維空間中，而不將輸入點顯式映射到該空間中。 這是非常可取的，因為有時我們的高維特徵空間甚至可以是無限維，因此不可能計算。

1.3 核函數的性質

核函數必須是連續的，對稱的，並且最優選地應該具有正（半）定Gram矩陣。據說滿足Mercer定理的核是正半定數，意味著它們的核矩陣只有非負特徵值。使用肯定的內核確保優化問題將是凸的和解決方案將是唯一的。

然而，許多並非嚴格定義的核函數在實踐中表現得很好。一個例子是Sigmoid內核，盡管它廣泛使用，但它對於其參數的某些值不是正半定的。 Boughorbel（2005）也實驗證明，只有條件正定的內核在某些應用中可能勝過大多數經典內核。

內核還可以分為各向異性靜止，各向同性靜止，緊湊支撐，局部靜止，非穩定或可分離非平穩。此外，內核也可以標記為scale-invariant（規模不變）或scale-dependent（規模依賴），這是一個有趣的屬性，因為尺度不變內核驅動訓練過程不變的數據的縮放。

補充：Mercer 定理：任何半正定的函數都可以作為核函數。所謂半正定的函數f(xi,xj)，是指擁有訓練數據集合（x1,x2,...xn)，我們定義一個矩陣的元素aij = f(xi,xj)，這個矩陣式n*n的，如果這個矩陣是半正定的，那麼f(xi,xj)就稱為半正定的函數。這個mercer定理不是核函數必要條件，只是一個充分條件，即還有不滿足mercer定理的函數也可以是核函數

二、 幾種常用的核

2.1 線性核

線性內核是最簡單的內核函數。 它由內積<x，y>加上可選的常數c給出。 使用線性內核的內核演算法通常等於它們的非內核對應物，即具有線性內核的KPCA與標准PCA相同。

2.2 多項式核函數

多項式核是非固定內核。 多項式內核非常適合於所有訓練數據都歸一化的問題。我記得一般都會把問題歸一化吧？

可調參數是斜率α，常數項c和多項式度d。

2.3 高斯核

高斯核是徑向基函數核的一個例子。

可調參數sigma在內核的性能中起著主要作用，並且應該仔細地調整到手頭的問題。 如果過高估計，指數將幾乎呈線性，高維投影將開始失去其非線性功率。 另一方面，如果低估，該函數將缺乏正則化，並且決策邊界將對訓練數據中的雜訊高度敏感。

2.4指數的內核

指數核與高斯核密切相關，只有正態的平方被忽略。 它也是一個徑向基函數內核。

2.5 拉普拉斯運算元核

拉普拉斯核心完全等同於指數內核，除了對sigma參數的變化不那麼敏感。 作為等價的，它也是一個徑向基函數內核。

❼ SVM演算法採用高斯核函數，核函數的參數對結果影響大嗎

核函數一般是為了解決維度過高導致的計算能力不足的缺陷，實質就是特徵向量內積的平方。
為什麼會提出核函數：
一般我們在解決一般的分類或者回歸問題的時候，給出的那個數據可能在低維空間並不線性可分，但是我們選用的模型卻是在特徵空間中構造超平面，從而進行分類，如果在低維空間中直接使用模型，很明顯，效果必然會大打折扣。
但是！如果我們能夠將低緯空間的特徵向量映射到高維空間，那麼這些映射後的特徵線性可分的可能性更大【記住這里只能說是可能性更大，並不能保證映射過去一定線性可分】，由此我們可以構造映射函數，但問題隨之而來了，維度擴大，那麼隨之而言的計算成本就增加了，模型效果好了，但是可用性降低，那也是不行的。
於是有人提出了核函數的概念，可以在低維空間進行高維度映射過後的計算，使得計算花銷大為降低，由此，使得映射函數成為了可能。舉個簡單的例子吧，假設我們的原始樣本特徵維度為2，將其映射到三維空間，隨便假設我們的映射函數為f(x1,x2)
=
(x1^2,
x2^2,
2*x1*x2)，那麼在三維空間中，樣本線性可分更大，但是向量內積的計算開銷從4提高到9【如果從10維映射到1000維，那麼計算花銷就提高了10000倍，而實際情況下，特徵維度幾萬上百萬十分常見】，再看對於樣本n1=(a1,a2)，n2=(b1,b2)，映射到三維空間之後，兩者的內積I1為：a1^2
*
b1^2
+
a2^2
*
b2^2
+
4
*
a1
*
a2
*
b1
*
b2，此時，又有，n1,n2在二維空間中的內積為：a1b1
+
a2b2，平方之後為I2:a1^2
*
b1^2
+
a2^2
*
b2^2
+
4
*
a1
*
a2
*
b1
*
b2，此時
I1
和
I2
是不是很相似，只要我們將f(x1,x2)調整為：
(x1^2,
x2^2,
根號(2*x1*x2)
)
，那麼此時就有I1
=
I2，也就是說，映射到三維空間里的內積，可以通過二維空間的內積的平方進行計算！
個人博客：www.idiotaron.org
里有關於svm核函數的描述~
實際上核函數還是挺難找的，目前常用的有多項式核，高斯核，還有線性核。
希望能幫到你，也希望有更好的想法，在下面分享下哈。

❽ SVM幾種核函數的對比分析以及SVM演算法的優缺點

SVM核函數的作用

SVM核函數是用來解決數據線性不可分而提出的，把數據從源空間映射到目標空間（線性可分空間）。

SVM中核函數的種類

1、線性核

優點：

• 方案首選，奧卡姆剃刀定律

• 簡單，可以求解較快一個QP問題

• 可解釋性強：可以輕易知道哪些feature是重要的

限制：只能解決線性可分問題

2、多項式核

基本原理：依靠升維使得原本線性不可分的數據線性可分；
升維的意義：使得原本線性不可分的數據線性可分；

優點：

• 可解決非線性問題

• 可通過主觀設置冪數來實現總結的預判

缺點：

• 對於大數量級的冪數，不太適用

• 比較多的參數要選擇

通常只用在已經大概知道一個比較小的冪數的情況


3、高斯核

優點：

• 可以映射到無限維

• 決策邊界更為多樣

• 只有一個參數，相比多項式核容易選擇

缺點：

• 可解釋性差(無限多維的轉換，無法算w)

• 計算速度比較慢(解一個對偶問題)

• 容易過擬合(參數選不好時容易overfitting)

4、Sigmoid核

採用Sigmoid函數作為核函數時，支持向量機實現的就是一種多層感知器神經網路，應用SVM方法，隱含層節點數目(它確定神經網路的結構)、隱含層節點對輸入節點的權值都是在設計(訓練)的過程中自動確定的。而且支持向量機的理論基礎決定了它最終求得的是全局最優值而不是局部最小值，也保證了它對於未知樣本的良好泛化能力而不會出現過學習現象。

在實戰中更多的是：

• 特徵維數高選擇線性核

• 樣本數量可觀、特徵少選擇高斯核（非線性核）

• 樣本數量非常多選擇線性核（避免造成龐大的計算量）

SVM的優缺點

1、SVM演算法對大規模訓練樣本難以實施

SVM的空間消耗主要是存儲訓練樣本和核矩陣，由於SVM是藉助二次規劃來求解支持向量，而求解二次規劃將涉及m階矩陣的計算（m為樣本的個數），當m數目很大時該矩陣的存儲和計算將耗費大量的機器內存和運算時間。針對以上問題的主要改進有有J.Platt的SMO演算法、T.Joachims的SVM、C.J.C.Burges等的PCGC、張學工的CSVM以及O.L.Mangasarian等的SOR演算法。如果數據量很大，SVM的訓練時間就會比較長，如垃圾郵件的分類檢測，沒有使用SVM分類器，而是使用了簡單的naive bayes分類器，或者是使用邏輯回歸模型分類。

2、用SVM解決多分類問題存在困難

經典的支持向量機演算法只給出了二類分類的演算法，而在數據挖掘的實際應用中，一般要解決多類的分類問題。可以通過多個二類支持向量機的組合來解決。主要有一對多組合模式、一對一組合模式和SVM決策樹；再就是通過構造多個分類器的組合來解決。主要原理是克服SVM固有的缺點，結合其他演算法的優勢，解決多類問題的分類精度。如：與粗集理論結合，形成一種優勢互補的多類問題的組合分類器。

3、對缺失數據敏感，對參數和核函數的選擇敏感

支持向量機性能的優劣主要取決於核函數的選取,所以對於一個實際問題而言,如何根據實際的數據模型選擇合適的核函數從而構造SVM演算法。目前比較成熟的核函數及其參數的選擇都是人為的,根據經驗來選取的,帶有一定的隨意性.在不同的問題領域,核函數應當具有不同的形式和參數,所以在選取時候應該將領域知識引入進來,但是目前還沒有好的方法來解決核函數的選取問題。

❾ 唯一可以和神經網路抗衡的演算法SVM

一、線性分類器：

首先給出一個非常非常簡單的分類問題（線性可分） ，我們要用一條直線，將下圖中黑色的點和白色的點分開，很顯然，圖上的這條直線就是我們要求的直線之一（可以有無數條這樣的直線）

假如說，我們令黑色的點 = -1， 白色的點 =  +1，直線f(x) = w.x +

b，這兒的x、w是向量，其實寫成這種形式也是等價的f(x) = w1x1 + w2x2 … + wnxn + b,

當向量x的維度=2的時候，f(x) 表示二維空間中的一條直線， 當x的維度=3的時候，f(x) 表示3維空間中的一個平面，當x的維度=n

> 3的時候，表示n維空間中的n-1維超平面。這些都是比較基礎的內容，如果不太清楚，可能需要復習一下微積分、線性代數的內容。

剛剛說了，我們令黑色白色兩類的點分別為+1,

-1，所以當有一個新的點x需要預測屬於哪個分類的時候，我們用sgn(f(x))，就可以預測了，sgn表示符號函數，當f(x) >

0的時候，sgn(f(x)) = +1, 當f(x) < 0的時候sgn(f(x)) = –1。

但是，我們怎樣才能取得一個最優的劃分直線f(x)呢？下圖的直線表示幾條可能的f(x)

一個很直觀的感受是，讓這條直線到給定樣本中最近的點最遠，這句話讀起來比較拗口，下面給出幾個圖，來說明一下：

第一種分法：

第二種分法：

這兩種分法哪種更好呢？從直觀上來說，就是分割的間隙越大越好，把兩個類別的點分得越開越好。就像我們平時判斷一個人是男還是女，就是很難出現分錯的情況，這就是男、女兩個類別之間的間隙非常的大導致的，讓我們可以更准確的進行分類。 在SVM中，稱為Maximum Marginal，是SVM的一個理論基礎之一。 選擇使得間隙最大的函數作為分割平面是由很多道理的，比如說從概率的角度上來說，就是使得置信度最小的點置信度最大（聽起來很拗口），從實踐的角度來說，這樣的效果非常好，等等。這里就不展開講，作為一個結論就ok了，:)

上圖被紅色和藍色的線圈出來的點就是所謂的支持向量(support vector)。

上圖就是一個對之前說的類別中的間隙的一個描述。Classifier Boundary就是f(x)，紅色和藍色的線（plus

plane與minus plane）就是support vector所在的面，紅色、藍色線之間的間隙就是我們要最大化的分類間的間隙。

這里直接給出M的式子：（從高中的解析幾何就可以很容易的得到了，也可以參考後面Moore的ppt）

另外支持向量位於wx + b = 1與wx + b = -1的直線上，我們在前面乘上一個該點所屬的類別y（還記得嗎?y不是+1就是-1），就可以得到支持向量的表達式為：y(wx + b) = 1，這樣就可以更簡單的將支持向量表示出來了。

當支持向量確定下來的時候，分割函數就確定下來了，兩個問題是等價的。得到支持向量，還有一個作用是，讓支持向量後方那些點就不用參與計算了。這點在後面將會更詳細的講講。

在這個小節的最後，給出我們要優化求解的表達式：

||w||的意思是w的二范數，跟上面的M表達式的分母是一個意思，之前得到，M = 2 / ||w||，最大化這個式子等價於最小化||w||,

另外由於||w||是一個單調函數，我們可以對其加入平方，和前面的系數，熟悉的同學應該很容易就看出來了，這個式子是為了方便求導。

這個式子有還有一些限制條件，完整的寫下來，應該是這樣的：（ 原問題 ）

s.t的意思是subject

to，也就是在後面這個限制條件下的意思，這個詞在svm的論文裡面非常容易見到。這個其實是一個帶約束的二次規劃(quadratic

programming,

QP)問題，是一個凸問題，凸問題就是指的不會有局部最優解，可以想像一個漏斗，不管我們開始的時候將一個小球放在漏斗的什麼位置，這個小球最終一定可以掉出漏斗，也就是得到全局最優解。s.t.後面的限制條件可以看做是一個凸多面體，我們要做的就是在這個凸多面體中找到最優解。這些問題這里不展開，因為展開的話，一本書也寫不完。如果有疑問請看看wikipedia。

二、轉化為對偶問題，並優化求解:

這個優化問題可以用 拉格朗日乘子法 去解，使用了 KKT條件 的理論，這里直接作出這個式子的拉格朗日目標函數：

求解這個式子的過程需要 拉格朗日對偶性 的相關知識（另外pluskid也有 一篇文章 專門講這個問題），並且有一定的公式推導，如果不感興趣， 可以直接跳到後面 用 藍色公式 表示的結論，該部分推導主要參考自 plukids的文章 。

首先讓L關於w，b最小化，分別令L關於w，b的偏導數為0，得到關於 原問題 的一個表達式

將兩式帶回L(w,b,a)得到對偶問題的表達式

新問題加上其限制條件是（ 對偶問題 ）:

這個就是我們需要最終優化的式子。至此， 得到了線性可分問題的優化式子 。

求解這個式子，有很多的方法，比如 SMO 等等，個人認為，求解這樣的一個帶約束的凸優化問題與得到這個凸優化問題是比較獨立的兩件事情，所以在這篇文章中准備完全不涉及如何求解這個話題，如果之後有時間可以補上一篇文章來談談:)。

三、線性不可分的情況（軟間隔）：

接下來談談線性不可分的情況，因為 線性可分這種假設實在是太有局限性 了：

下圖就是一個典型的線性不可分的分類圖，我們沒有辦法用一條直線去將其分成兩個區域，每個區域只包含一種顏色的點。

要想在這種情況下的分類器，有兩種方式， 一種是用曲線 去將其完全分開，曲線就是一種 非線性 的情況，跟之後將談到的 核函數 有一定的關系：

另外一種還是用直線，不過不用去保證可分性 ，就是包容那些分錯的情況，不過我們得加入懲罰函數，使得點分錯的情況越合理越好。其實在很多時候，不是在訓練的時候分類函數越完美越好，因為訓練函數中有些數據本來就是雜訊，可能就是在人工加上分類標簽的時候加錯了，如果我們在訓練（學習）的時候把這些錯誤的點學習到了，那麼模型在下次碰到這些錯誤情況的時候就難免出錯了（假如老師給你講課的時候，某個知識點講錯了，你還信以為真了，那麼在考試的時候就難免出錯）。這種學習的時候學到了「雜訊」的過程就是一個過擬合（over-fitting），這在機器學習中是一個大忌，我們寧願少學一些內容，也堅決杜絕多學一些錯誤的知識。還是回到主題，用直線怎麼去分割線性不可分的點：

我們可以為分錯的點加上一點懲罰，對一個分錯的點的 懲罰函數 就是 這個點到其正確位置的距離：

在上圖中，藍色、紅色的直線分別為支持向量所在的邊界，綠色的線為決策函數，那些紫色的線 表示分錯的點到其相應的決策面的距離 ，這樣我們可以在原函數上面加上一個懲罰函數，並且帶上其限制條件為：

公式中藍色的部分為在線性可分問題的基礎上加上的懲罰函數部分，當xi在正確一邊的時候，ε=0，R為全部的點的數目，C是一個由用戶去指定的系數，表示對分錯的點加入多少的懲罰，當C很大的時候，分錯的點就會更少，但是過擬合的情況可能會比較嚴重，當C很小的時候，分錯的點可能會很多，不過可能由此得到的模型也會不太正確，所以如何選擇C是有很多學問的，不過在大部分情況下就是通過經驗嘗試得到的。

接下來就是同樣的，求解一個拉格朗日對偶問題，得到一個原問題的對偶問題的表達式：

藍色的部分是與線性可分的對偶問題表達式的不同之處。在線性不可分情況下得到的對偶問題，不同的地方就是α的范圍從[0, +∞)，變為了[0, C]，增加的懲罰ε沒有為對偶問題增加什麼復雜度。

四、核函數：

剛剛在談不可分的情況下，提了一句，如果使用某些非線性的方法，可以得到將兩個分類完美劃分的曲線，比如接下來將要說的核函數。

我們可以 讓空間從原本的線性空間變成一個更高維的空間 ， 在這個高維的線性空間下，再用一個超平面進行劃分 。這兒舉個例子，來理解一下如何利用空間的維度變得更高來幫助我們分類的（例子以及圖片來自 pluskid的kernel函數部分 ）：

下圖是一個典型的線性不可分的情況

但是當我們把這兩個類似於橢圓形的點映射到一個高維空間後，映射函數為：

用這個函數可以將上圖的平面中的點映射到一個三維空間（z1,z2,z3)，並且對映射後的坐標加以旋轉之後就可以得到一個線性可分的點集了。

用另外一個哲學例子來說：世界上本來沒有兩個完全一樣的物體，對於所有的兩個物體，我們可以通過增加維度來讓他們最終有所區別，比如說兩本書，從(顏色，內容)兩個維度來說，可能是一樣的，我們可以加上 作者 這個維度，是在不行我們還可以加入 頁碼 ，可以加入 擁有者 ，可以加入 購買地點 ，可以加入 筆記內容 等等。 當維度增加到無限維的時候，一定可以讓任意的兩個物體可分了 。

回憶剛剛得到的對偶問題表達式：

我們可以將紅色這個部分進行改造，令：

這個式子所做的事情就是將線性的空間映射到高維的空間,k(x, xj)有很多種，下面是比較典型的兩種：

上面這個核稱為多項式核，下面這個核稱為高斯核，高斯核甚至是將原始空間映射為無窮維空間，另外核函數有一些比較好的性質，比如說不會比線性條件下增加多少額外的計算量，等等，這里也不再深入。一般對於一個問題，不同的核函數可能會帶來不同的結果，一般是需要嘗試來得到的。

五、一些其他的問題：

1）如何進行多分類問題：

上面所談到的分類都是2分類的情況，當N分類的情況下，主要有兩種方式，一種是1 vs (N – 1)一種是1 vs 1，前一種方法我們需要訓練N個分類器，第i個分類器是看看是屬於分類i還是屬於分類i的補集（出去i的N-1個分類）。

後一種方式我們需要訓練N * (N – 1) / 2個分類器，分類器(i,j)能夠判斷某個點是屬於i還是屬於j。

這種處理方式不僅在SVM中會用到，在很多其他的分類中也是被廣泛用到，從林教授（libsvm的作者）的結論來看，1 vs 1的方式要優於1 vs (N – 1)。

2）SVM會overfitting嗎？

SVM避免overfitting，一種是調整之前說的懲罰函數中的C，另一種其實從式子上來看，min

||w||^2這個看起來是不是很眼熟？在最小二乘法回歸的時候，我們看到過這個式子，這個式子可以讓函數更平滑，所以SVM是一種不太容易over-fitting的方法。

參考文檔：

主要的參考文檔來自4個地方，wikipedia（在文章中已經給出了超鏈接了）， pluskid關於SVM的博文 ， Andrew moore的ppt （文章中不少圖片都是引用或者改自Andrew Moore的ppt，以及prml

❿ 如何理解高斯核函數的公式

所謂徑向基函數 (Radial Basis Function 簡稱 RBF), 就是某種沿徑向對稱的標量函數。 通常定義為空間中任一點x到某一中心xc之間歐氏距離的單調函數 , 可記作 k(||x-xc||), 其作用往往是局部的 , 即當x遠離xc時函數取值很小。最常用的徑向基函數是高斯核函數 ,形式為 k(||x-xc||)=exp{- ||x-xc||^2/(2*σ^2) } 其中xc為核函數中心,σ為函數的寬度參數 , 控制了函數的徑向作用范圍。