二分類演算法

A. 哪些機器學習演算法可以處理多分類

maxsoft作為logistics二分類的改進版，天生適合多分類；神經網路(如bp神經網路，隨機權神經網路，RBF神經網路等)；通過建立多個支持向量機或者最小二乘支持向量機分類模型，通過投票演算法選擇概率最大的分類標簽；也可以通過聚類演算法(KNN，kMeans等)等無監督學習演算法實現分類。
樸素貝葉斯分類器演算法是最受歡迎的學習方法之一，按照相似性分類，用流行的貝葉斯概率定理來建立機器學習模型，特別是用於疾病預測和文檔分類。 它是基於貝葉斯概率定理的單詞的內容的主觀分析的簡單分類。
如果特徵數量遠大於訓練樣本數，則使用邏輯回歸或線性核方法的SVM。
如果特徵數較小，而樣本數量相對較多，可以考慮高斯核方法的SVM。
如果特徵數少兒樣本數極大，可以考慮增加一些特徵，再使用邏輯回歸或線性核方法的SVM
神經網路則對上述情況都可適用，但訓練時間較長。

想要學習了解更多機器學習的信息，推薦CDA數據分析師課程。CDA 與國際知名考試服務機構 Pearson VUE 合作,認證考點覆蓋全球。課程內容綜合使用統計分析方法、統計模型、運籌學、機器學習、文本挖掘演算法，而非單一的機器學習演算法。 點擊預約免費試聽課。

B. 機器學習新手必看十大演算法

機器學習新手必看十大演算法
本文介紹了機器學習新手需要了解的 10 大演算法，包括線性回歸、Logistic 回歸、樸素貝葉斯、K 近鄰演算法等。
在機器學習中，有一種叫做「沒有免費的午餐」的定理。簡而言之，它指出沒有任何一種演算法對所有問題都有效，在監督學習(即預測建模)中尤其如此。
例如，你不能說神經網路總是比決策樹好，反之亦然。有很多因素在起作用，例如數據集的大小和結構。
因此，你應該針對具體問題嘗試多種不同演算法，並留出一個數據「測試集」來評估性能、選出優勝者。
當然，你嘗試的演算法必須適合你的問題，也就是選擇正確的機器學習任務。打個比方，如果你需要打掃房子，你可能會用吸塵器、掃帚或拖把，但是你不會拿出鏟子開始挖土。
大原則
不過也有一個普遍原則，即所有監督機器學習演算法預測建模的基礎。
機器學習演算法被描述為學習一個目標函數 f，該函數將輸入變數 X 最好地映射到輸出變數 Y：Y = f(X)
這是一個普遍的學習任務，我們可以根據輸入變數 X 的新樣本對 Y 進行預測。我們不知道函數 f 的樣子或形式。如果我們知道的話，我們將會直接使用它，不需要用機器學習演算法從數據中學習。
最常見的機器學習演算法是學習映射 Y = f(X) 來預測新 X 的 Y。這叫做預測建模或預測分析，我們的目標是盡可能作出最准確的預測。
對於想了解機器學習基礎知識的新手，本文將概述數據科學家使用的 top 10 機器學習演算法。
1. 線性回歸
線性回歸可能是統計學和機器學習中最知名和最易理解的演算法之一。
預測建模主要關注最小化模型誤差或者盡可能作出最准確的預測，以可解釋性為代價。我們將借用、重用包括統計學在內的很多不同領域的演算法，並將其用於這些目的。
線性回歸的表示是一個方程，它通過找到輸入變數的特定權重(稱為系數 B)，來描述一條最適合表示輸入變數 x 與輸出變數 y 關系的直線。
線性回歸
例如：y = B0 + B1 * x
我們將根據輸入 x 預測 y，線性回歸學習演算法的目標是找到系數 B0 和 B1 的值。
可以使用不同的技術從數據中學習線性回歸模型，例如用於普通最小二乘法和梯度下降優化的線性代數解。
線性回歸已經存在了 200 多年，並得到了廣泛研究。使用這種技術的一些經驗是盡可能去除非常相似(相關)的變數，並去除噪音。這是一種快速、簡單的技術，可以首先嘗試一下。
2. Logistic 回歸
Logistic 回歸是機器學習從統計學中借鑒的另一種技術。它是解決二分類問題的首選方法。
Logistic 回歸與線性回歸相似，目標都是找到每個輸入變數的權重，即系數值。與線性回歸不同的是，Logistic 回歸對輸出的預測使用被稱為 logistic 函數的非線性函數進行變換。
logistic 函數看起來像一個大的 S，並且可以將任何值轉換到 0 到 1 的區間內。這非常實用，因為我們可以規定 logistic 函數的輸出值是 0 和 1(例如，輸入小於 0.5 則輸出為 1)並預測類別值。
Logistic 回歸
由於模型的學習方式，Logistic 回歸的預測也可以作為給定數據實例(屬於類別 0 或 1)的概率。這對於需要為預測提供更多依據的問題很有用。
像線性回歸一樣，Logistic 回歸在刪除與輸出變數無關的屬性以及非常相似(相關)的屬性時效果更好。它是一個快速的學習模型，並且對於二分類問題非常有效。
3. 線性判別分析(LDA)
Logistic 回歸是一種分類演算法，傳統上，它僅限於只有兩類的分類問題。如果你有兩個以上的類別，那麼線性判別分析是首選的線性分類技術。
LDA 的表示非常簡單直接。它由數據的統計屬性構成，對每個類別進行計算。單個輸入變數的 LDA 包括：
每個類別的平均值;
所有類別的方差。
線性判別分析
進行預測的方法是計算每個類別的判別值並對具備最大值的類別進行預測。該技術假設數據呈高斯分布(鍾形曲線)，因此最好預先從數據中刪除異常值。這是處理分類預測建模問題的一種簡單而強大的方法。
4. 分類與回歸樹
決策樹是預測建模機器學習的一種重要演算法。
決策樹模型的表示是一個二叉樹。這是演算法和數據結構中的二叉樹，沒什麼特別的。每個節點代表一個單獨的輸入變數 x 和該變數上的一個分割點(假設變數是數字)。
決策樹
決策樹的葉節點包含一個用於預測的輸出變數 y。通過遍歷該樹的分割點，直到到達一個葉節點並輸出該節點的類別值就可以作出預測。
決策樹學習速度和預測速度都很快。它們還可以解決大量問題，並且不需要對數據做特別准備。
5. 樸素貝葉斯
樸素貝葉斯是一個簡單但是很強大的預測建模演算法。
該模型由兩種概率組成，這兩種概率都可以直接從訓練數據中計算出來：1)每個類別的概率;2)給定每個 x 的值，每個類別的條件概率。一旦計算出來，概率模型可用於使用貝葉斯定理對新數據進行預測。當你的數據是實值時，通常假設一個高斯分布(鍾形曲線)，這樣你可以簡單的估計這些概率。
貝葉斯定理
樸素貝葉斯之所以是樸素的，是因為它假設每個輸入變數是獨立的。這是一個強大的假設，真實的數據並非如此，但是，該技術在大量復雜問題上非常有用。
6. K 近鄰演算法
KNN 演算法非常簡單且有效。KNN 的模型表示是整個訓練數據集。是不是很簡單?
KNN 演算法在整個訓練集中搜索 K 個最相似實例(近鄰)並匯總這 K 個實例的輸出變數，以預測新數據點。對於回歸問題，這可能是平均輸出變數，對於分類問題，這可能是眾數(或最常見的)類別值。
訣竅在於如何確定數據實例間的相似性。如果屬性的度量單位相同(例如都是用英寸表示)，那麼最簡單的技術是使用歐幾里得距離，你可以根據每個輸入變數之間的差值直接計算出來其數值。
K 近鄰演算法
KNN 需要大量內存或空間來存儲所有數據，但是只有在需要預測時才執行計算(或學習)。你還可以隨時更新和管理訓練實例，以保持預測的准確性。
距離或緊密性的概念可能在非常高的維度(很多輸入變數)中會瓦解，這對演算法在你的問題上的性能產生負面影響。這被稱為維數災難。因此你最好只使用那些與預測輸出變數最相關的輸入變數。
7. 學習向量量化
K 近鄰演算法的一個缺點是你需要遍歷整個訓練數據集。學習向量量化演算法(簡稱 LVQ)是一種人工神經網路演算法，它允許你選擇訓練實例的數量，並精確地學習這些實例應該是什麼樣的。
學習向量量化
LVQ 的表示是碼本向量的集合。這些是在開始時隨機選擇的，並逐漸調整以在學習演算法的多次迭代中最好地總結訓練數據集。在學習之後，碼本向量可用於預測(類似 K 近鄰演算法)。最相似的近鄰(最佳匹配的碼本向量)通過計算每個碼本向量和新數據實例之間的距離找到。然後返回最佳匹配單元的類別值或(回歸中的實際值)作為預測。如果你重新調整數據，使其具有相同的范圍(比如 0 到 1 之間)，就可以獲得最佳結果。
如果你發現 KNN 在你的數據集上達到很好的結果，請嘗試用 LVQ 減少存儲整個訓練數據集的內存要求。
8. 支持向量機(SVM)
支持向量機可能是最受歡迎和最廣泛討論的機器學習演算法之一。
超平面是分割輸入變數空間的一條線。在 SVM 中，選擇一條可以最好地根據輸入變數類別(類別 0 或類別 1)對輸入變數空間進行分割的超平面。在二維中，你可以將其視為一條線，我們假設所有的輸入點都可以被這條線完全的分開。SVM 學習演算法找到了可以讓超平面對類別進行最佳分割的系數。
支持向量機
超平面和最近的數據點之間的距離被稱為間隔。分開兩個類別的最好的或最理想的超平面具備最大間隔。只有這些點與定義超平面和構建分類器有關。這些點被稱為支持向量，它們支持或定義了超平面。實際上，優化演算法用於尋找最大化間隔的系數的值。
SVM 可能是最強大的立即可用的分類器之一，值得一試。
9. Bagging 和隨機森林
隨機森林是最流行和最強大的機器學習演算法之一。它是 Bootstrap Aggregation(又稱 bagging)集成機器學習演算法的一種。
bootstrap 是從數據樣本中估算數量的一種強大的統計方法。例如平均數。你從數據中抽取大量樣本，計算平均值，然後平均所有的平均值以便更好的估計真實的平均值。
bagging 使用相同的方法，但是它估計整個統計模型，最常見的是決策樹。在訓練數據中抽取多個樣本，然後對每個數據樣本建模。當你需要對新數據進行預測時，每個模型都進行預測，並將所有的預測值平均以便更好的估計真實的輸出值。
隨機森林
隨機森林是對這種方法的一種調整，在隨機森林的方法中決策樹被創建以便於通過引入隨機性來進行次優分割，而不是選擇最佳分割點。
因此，針對每個數據樣本創建的模型將會與其他方式得到的有所不同，不過雖然方法獨特且不同，它們仍然是准確的。結合它們的預測可以更好的估計真實的輸出值。
如果你用方差較高的演算法(如決策樹)得到了很好的結果，那麼通常可以通過 bagging 該演算法來獲得更好的結果。
10. Boosting 和 AdaBoost
Boosting 是一種集成技術，它試圖集成一些弱分類器來創建一個強分類器。這通過從訓練數據中構建一個模型，然後創建第二個模型來嘗試糾正第一個模型的錯誤來完成。一直添加模型直到能夠完美預測訓練集，或添加的模型數量已經達到最大數量。
AdaBoost 是第一個為二分類開發的真正成功的 boosting 演算法。這是理解 boosting 的最佳起點。現代 boosting 方法建立在 AdaBoost 之上，最顯著的是隨機梯度提升。
AdaBoost
AdaBoost與短決策樹一起使用。在第一個決策樹創建之後，利用每個訓練實例上樹的性能來衡量下一個決策樹應該對每個訓練實例付出多少注意力。難以預測的訓練數據被分配更多權重，而容易預測的數據分配的權重較少。依次創建模型，每個模型在訓練實例上更新權重，影響序列中下一個決策樹的學習。在所有決策樹建立之後，對新數據進行預測，並且通過每個決策樹在訓練數據上的精確度評估其性能。
因為在糾正演算法錯誤上投入了太多注意力，所以具備已刪除異常值的干凈數據非常重要。
總結
初學者在面對各種機器學習演算法時經常問：「我應該用哪個演算法?」這個問題的答案取決於很多因素，包括：(1)數據的大小、質量和特性;(2)可用的計算時間;(3)任務的緊迫性;(4)你想用這些數據做什麼。
即使是經驗豐富的數據科學家在嘗試不同的演算法之前，也無法分辨哪種演算法會表現最好。雖然還有很多其他的機器學習演算法，但本篇文章中討論的是最受歡迎的演算法。如果你是機器學習的新手，這將是一個很好的學習起點。

C. relief演算法只能用於二分類嗎

relief演算法只能用於二分類
默認的Zend Framework歡迎頁面
第 2 步：初始化應用資料庫和模型
下一步是初始化應用資料庫。所以，我們要創建一個新的Mysql表來保存產品信息，如下所示：
以下是引用片段：
mysql> CREATE TABLE IF NOT EXISTS procts (
-> id int(11) NOT NULL AUTO_INCREMENT,
-> title varchar(200) NOT NULL,
-> shortdesc text NOT NULL,
-> price float NOT NULL,
-> quantity int(11) NOT NULL,
-> PRIMARY KEY (id)
-> ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

D. 人工智慧演算法簡介

人工智慧的三大基石—演算法、數據和計算能力，演算法作為其中之一，是非常重要的，那麼人工智慧都會涉及哪些演算法呢？不同演算法適用於哪些場景呢？

一、按照模型訓練方式不同可以分為監督學習（Supervised Learning），無監督學習（Unsupervised Learning）、半監督學習（Semi-supervised Learning）和強化學習（Reinforcement Learning）四大類。

常見的監督學習演算法包含以下幾類：
（1）人工神經網路（Artificial Neural Network）類：反向傳播（Backpropagation）、波爾茲曼機（Boltzmann Machine）、卷積神經網路（Convolutional Neural Network）、Hopfield網路（hopfield Network）、多層感知器（Multilyer Perceptron）、徑向基函數網路（Radial Basis Function Network，RBFN）、受限波爾茲曼機（Restricted Boltzmann Machine）、回歸神經網路（Recurrent Neural Network，RNN）、自組織映射（Self-organizing Map，SOM）、尖峰神經網路（Spiking Neural Network）等。
（2）貝葉斯類（Bayesin）：樸素貝葉斯（Naive Bayes）、高斯貝葉斯（Gaussian Naive Bayes）、多項樸素貝葉斯（Multinomial Naive Bayes）、平均-依賴性評估（Averaged One-Dependence Estimators，AODE）
貝葉斯信念網路（Bayesian Belief Network，BBN）、貝葉斯網路（Bayesian Network，BN）等。
（3）決策樹（Decision Tree）類：分類和回歸樹（Classification and Regression Tree，CART）、迭代Dichotomiser3（Iterative Dichotomiser 3， ID3）,C4.5演算法（C4.5 Algorithm）、C5.0演算法（C5.0 Algorithm）、卡方自動交互檢測（Chi-squared Automatic Interaction Detection，CHAID）、決策殘端（Decision Stump）、ID3演算法（ID3 Algorithm）、隨機森林（Random Forest）、SLIQ（Supervised Learning in Quest）等。
（4）線性分類器（Linear Classifier）類：Fisher的線性判別（Fisher』s Linear Discriminant）
線性回歸（Linear Regression）、邏輯回歸（Logistic Regression）、多項邏輯回歸（Multionmial Logistic Regression）、樸素貝葉斯分類器（Naive Bayes Classifier）、感知（Perception）、支持向量機（Support Vector Machine）等。

常見的無監督學習類演算法包括：
（1） 人工神經網路（Artificial Neural Network）類：生成對抗網路（Generative Adversarial Networks，GAN），前饋神經網路（Feedforward Neural Network）、邏輯學習機（Logic Learning Machine）、自組織映射（Self-organizing Map）等。
（2） 關聯規則學習（Association Rule Learning）類：先驗演算法（Apriori Algorithm）、Eclat演算法（Eclat Algorithm）、FP-Growth演算法等。
（3）分層聚類演算法（Hierarchical Clustering）：單連鎖聚類（Single-linkage Clustering），概念聚類（Conceptual Clustering）等。
（4）聚類分析（Cluster analysis）：BIRCH演算法、DBSCAN演算法，期望最大化（Expectation-maximization，EM）、模糊聚類（Fuzzy Clustering）、K-means演算法、K均值聚類（K-means Clustering）、K-medians聚類、均值漂移演算法（Mean-shift）、OPTICS演算法等。
（5）異常檢測（Anomaly detection）類：K最鄰近（K-nearest Neighbor，KNN）演算法，局部異常因子演算法（Local Outlier Factor，LOF）等。

常見的半監督學習類演算法包含：生成模型（Generative Models）、低密度分離（Low-density Separation）、基於圖形的方法（Graph-based Methods）、聯合訓練（Co-training）等。

常見的強化學習類演算法包含：Q學習（Q-learning）、狀態-行動-獎勵-狀態-行動（State-Action-Reward-State-Action，SARSA）、DQN（Deep Q Network）、策略梯度演算法（Policy Gradients）、基於模型強化學習（Model Based RL）、時序差分學習（Temporal Different Learning）等。

常見的深度學習類演算法包含：深度信念網路（Deep Belief Machines）、深度卷積神經網路（Deep Convolutional Neural Networks）、深度遞歸神經網路（Deep Recurrent Neural Network）、分層時間記憶（Hierarchical Temporal Memory，HTM）、深度波爾茲曼機（Deep Boltzmann Machine，DBM）、棧式自動編碼器（Stacked Autoencoder）、生成對抗網路（Generative Adversarial Networks）等。

二、按照解決任務的不同來分類，粗略可以分為二分類演算法（Two-class Classification）、多分類演算法（Multi-class Classification）、回歸演算法（Regression）、聚類演算法（Clustering）和異常檢測（Anomaly Detection）五種。
1.二分類（Two-class Classification）
（1）二分類支持向量機（Two-class SVM）：適用於數據特徵較多、線性模型的場景。
（2）二分類平均感知器（Two-class Average Perceptron）：適用於訓練時間短、線性模型的場景。
（3）二分類邏輯回歸（Two-class Logistic Regression）：適用於訓練時間短、線性模型的場景。
（4）二分類貝葉斯點機（Two-class Bayes Point Machine）：適用於訓練時間短、線性模型的場景。（5）二分類決策森林（Two-class Decision Forest）：適用於訓練時間短、精準的場景。
（6）二分類提升決策樹（Two-class Boosted Decision Tree）：適用於訓練時間短、精準度高、內存佔用量大的場景
（7）二分類決策叢林（Two-class Decision Jungle）：適用於訓練時間短、精確度高、內存佔用量小的場景。
（8）二分類局部深度支持向量機（Two-class Locally Deep SVM）：適用於數據特徵較多的場景。
（9）二分類神經網路（Two-class Neural Network）：適用於精準度高、訓練時間較長的場景。

解決多分類問題通常適用三種解決方案：第一種，從數據集和適用方法入手，利用二分類器解決多分類問題；第二種，直接使用具備多分類能力的多分類器；第三種，將二分類器改進成為多分類器今兒解決多分類問題。
常用的演算法：
（1）多分類邏輯回歸（Multiclass Logistic Regression）：適用訓練時間短、線性模型的場景。
（2）多分類神經網路（Multiclass Neural Network）：適用於精準度高、訓練時間較長的場景。
（3）多分類決策森林（Multiclass Decision Forest）：適用於精準度高，訓練時間短的場景。
（4）多分類決策叢林（Multiclass Decision Jungle）：適用於精準度高，內存佔用較小的場景。
（5）「一對多」多分類（One-vs-all Multiclass）：取決於二分類器效果。

回歸
回歸問題通常被用來預測具體的數值而非分類。除了返回的結果不同，其他方法與分類問題類似。我們將定量輸出，或者連續變數預測稱為回歸；將定性輸出，或者離散變數預測稱為分類。長巾的演算法有：
（1）排序回歸（Ordinal Regression）：適用於對數據進行分類排序的場景。
（2）泊松回歸（Poission Regression）：適用於預測事件次數的場景。
（3）快速森林分位數回歸（Fast Forest Quantile Regression）：適用於預測分布的場景。
（4）線性回歸（Linear Regression）：適用於訓練時間短、線性模型的場景。
（5）貝葉斯線性回歸（Bayesian Linear Regression）：適用於線性模型，訓練數據量較少的場景。
（6）神經網路回歸（Neural Network Regression）：適用於精準度高、訓練時間較長的場景。
（7）決策森林回歸（Decision Forest Regression）：適用於精準度高、訓練時間短的場景。
（8）提升決策樹回歸（Boosted Decision Tree Regression）：適用於精確度高、訓練時間短、內存佔用較大的場景。

聚類
聚類的目標是發現數據的潛在規律和結構。聚類通常被用做描述和衡量不同數據源間的相似性，並把數據源分類到不同的簇中。
（1）層次聚類（Hierarchical Clustering）：適用於訓練時間短、大數據量的場景。
（2）K-means演算法：適用於精準度高、訓練時間短的場景。
（3）模糊聚類FCM演算法（Fuzzy C-means，FCM）：適用於精確度高、訓練時間短的場景。
（4）SOM神經網路（Self-organizing Feature Map，SOM）：適用於運行時間較長的場景。
異常檢測
異常檢測是指對數據中存在的不正常或非典型的分體進行檢測和標志，有時也稱為偏差檢測。
異常檢測看起來和監督學習問題非常相似，都是分類問題。都是對樣本的標簽進行預測和判斷，但是實際上兩者的區別非常大，因為異常檢測中的正樣本（異常點）非常小。常用的演算法有：
（1）一分類支持向量機（One-class SVM）：適用於數據特徵較多的場景。
（2）基於PCA的異常檢測（PCA-based Anomaly Detection）：適用於訓練時間短的場景。

常見的遷移學習類演算法包含：歸納式遷移學習（Inctive Transfer Learning） 、直推式遷移學習（Transctive Transfer Learning）、無監督式遷移學習（Unsupervised Transfer Learning）、傳遞式遷移學習（Transitive Transfer Learning）等。

演算法的適用場景：
需要考慮的因素有：
（1）數據量的大小、數據質量和數據本身的特點
（2）機器學習要解決的具體業務場景中問題的本質是什麼？
（3）可以接受的計算時間是什麼？
（4）演算法精度要求有多高？
————————————————

原文鏈接： https://blog.csdn.net/nfzhlk/article/details/82725769

E. python分類演算法有哪些

常見的分類演算法有：

• K近鄰演算法

• 決策樹

• 樸素貝葉斯

• SVM

• Logistic Regression

F. 分類演算法 - SVM演算法

SVM的全稱是Support Vector Machine，即支持向量機，主要用於解決模式識別領域中的數據分類問題，屬於有監督學習演算法的一種。SVM要解決的問題可以用一個經典的二分類問題加以描述。如圖1所示，紅色和藍色的二維數據點顯然是可以被一條直線分開的，在模式識別領域稱為線性可分問題。然而將兩類數據點分開的直線顯然不止一條。圖2和3分別給出了A、B兩種不同的分類方案，其中黑色實線為分界線，術語稱為「決策面」。每個決策面對應了一個線性分類器。雖然在目前的數據上看，這兩個分類器的分類結果是一樣的，但如果考慮潛在的其他數據，則兩者的分類性能是有差別的。

之前在b站看到一個非常好的介紹！！十分推薦， 這是傳送門

按照我自己的理解，以二維數據為例，我們喂給模型已經分類好的數據，那麼假設有一線條可以將此部分數據正確劃分為2大部分，這樣可以形成2個等式，即橫線兩邊的數值歸類為1或者-1，一般情況下可以求出最大間隔即無數個解，因此需要一個限定條件求出最優的那條線條。限定方式為：無數個解形成一個解的范圍，距離邊緣相等的那條線條即是最優解。

有時候本來數據的確是可分的，也就是說可以用線性分類SVM的學習方法來求解，但是卻因為混入了異常點，導致不能線性可分，比如下圖，本來數據是可以按下面的實線來做超平面分離的，可以由於一個橙色和一個藍色的異常點導致我們沒法按照線性分類支持向量機方法來分類。

以上討論的都是在線性可分情況進行討論的，但是實際問題中給出的數據並不是都是線性可分的，比如有些數據可能是曲線的。

那麼這種非線性可分的數據是否就不能用SVM演算法來求解呢？答案是否定的。事實上，對於低維平面內不可分的數據，放在一個高維空間中去就有可能變得可分。以二維平面的數據為例，我們可以通過找到一個映射將二維平面的點放到三維平面之中。理論上任意的數據樣本都能夠找到一個合適的映射使得這些在低維空間不能劃分的樣本到高維空間中之後能夠線性可分。

當特徵變數非常多的時候，在高維空間中計算內積的運算量是非常龐大的。考慮到我們的目的並不是為找到這樣一個映射而是為了計算其在高維空間的內積，因此如果我們能夠找到計算高維空間下內積的公式，那麼就能夠避免這樣龐大的計算量，我們的問題也就解決了。實際上這就是我們要找的 核函數 ，即兩個向量在隱式映射後的空間中的內積。

（1）對於邊界清晰的分類問題效果好；
（2）對高維分類問題效果好；
（3）當維度高於樣本數的時候，SVM 較為有效；
（4）因為最終只使用訓練集中的支持向量，所以節約內存

（1）當數據量較大時，訓練時間會較長；
（2）當數據集的噪音過多時，表現不好；
（3）SVM 不直接提供結果的概率估計，它在計算時直接使用 5 倍交叉驗證。

（1）LR 與 SVM 都是分類演算法；
（2）LR 與 SVM 都是監督學習演算法；
（3）LR 與 SVM 都是判別模型；
（4）關於判別模型與生成模型的詳細概念與理解，筆者會在下篇博文給出，這里不詳述。
（5）如果不考慮核函數，LR 與 SVM 都是線性分類演算法，也就是說他們的分類決策面都是線性的

這里需要說明的是，LR 也是可以用核函數的，因在 LR 演算法里，每個樣本點都必須參與決策面的計算過程，也就是說，如果在 LR 里也運用核函數的原理，那麼每個樣本點都必須參與核計算，這帶來的計算復雜度是相當高的。所以在具體應用時，LR 很少運用核函數機制。

（1）損失函數不同；
（2）SVM 只考慮支持向量，而 LR 考慮全局（即遠離的點對邊界線的確定也起作用）；
（3）在解決非線性問題時，SVM 採用核函數的機制，而 LR 通常不採用核函數的方法；
（4）SVM 的損失函數就自帶正則（損失函數中的12||w||2項），這就是為什麼 SVM 是結構風險最小化演算法的原因，而 LR 必須另外在損失函數上添加正則項；
（5）LR是參數模型，SVM是非參數模型，本質不同。
（6）在訓練集較小時，SVM 較適用，而 LR 需要較多的樣本。

（1）LR 與線性回歸都是廣義的線性回歸；
（2）線性回歸模型的優化目標函數是最小二乘，而 LR 則是似然函數；
（3）線性回歸在整個實數域范圍內進行預測，敏感度一致，而分類范圍，需要在[0,1]。邏輯回歸就是一種減小預測范圍，將預測值限定為[0,1]間的一種回歸模型，因而對於這類問題來說，邏輯回歸的魯棒性比線性回歸的要好。
（4）邏輯回歸的模型本質上是一個線性回歸模型，邏輯回歸都是以線性回歸為理論支持的。但線性回歸模型無法做到 sigmoid 的非線性形式，sigmoid 可以輕松處理 0/1 分類問題。
（5）線性回歸主要做預測，LR 主要做分類（如二分類）；

G. 降維演算法二：LDA（Linear Discriminant Analysis）

學習分類演算法，線性分類器最簡單的就是LDA，它可以看做是簡化版的SVM，如果想理解SVM這種分類器，那理解LDA就是很有必要的了。

談到LDA，就不得不談談PCA，PCA是一個和LDA非常相關的演算法，從推導、求解、到演算法最終的結果，都有著相當的相似。

本次的內容主要是以推導數學公式為主，都是從演算法的物理意義出發，然後一步一步最終推導到最終的式子，LDA和PCA最終的表現都是解一個矩陣特徵值的問題，但是理解了如何推導，才能更深刻的理解其中的含義。本次內容要求讀者有一些基本的線性代數基礎，比如說特徵值、特徵向量的概念，空間投影，點乘等的一些基本知識等。除此之外的其他公式、我都盡量講得更簡單清楚。

LDA的全稱是Linear Discriminant Analysis（線性判別分析），是一種 supervised learning 。有些資料上也稱為是Fisher』s Linear Discriminant，因為它被Ronald Fisher發明自1936年，Discriminant這次詞我個人的理解是，一個模型，不需要去通過概率的方法來訓練、預測數據，比如說各種貝葉斯方法，就需要獲取數據的先驗、後驗概率等等。LDA是在 目前機器學習、數據挖掘領域經典且熱門的一個演算法 ，據我所知，網路的商務搜索部裡面就用了不少這方面的演算法。

LDA的原理是，將帶上標簽的數據（點），通過投影的方法，投影到維度更低的空間中，使得投影後的點，會形成按類別區分，一簇一簇的情況，相同類別的點，將會在投影後的空間中更接近。要說明白LDA，首先得弄明白線性分類器( Linear Classifier )：因為LDA是一種線性分類器。對於K-分類的一個分類問題，會有K個線性函數：

上式實際上就是一種投影，是將一個高維的點投影到一條高維的直線上，LDA最求的目標是，給出一個標注了類別的數據集，投影到了一條直線之後，能夠使得點盡量的按類別區分開，當k=2即二分類問題的時候，如下圖所示：

紅色的方形的點為0類的原始點、藍色的方形點為1類的原始點，經過原點的那條線就是投影的直線，從圖上可以清楚的看到，紅色的點和藍色的點被原點明顯的分開了，這個數據只是隨便畫的，如果在高維的情況下，看起來會更好一點。下面我來推導一下二分類LDA問題的公式：
假設用來區分二分類的直線（投影函數)為：

LDA分類的一個目標是使得不同類別之間的距離越遠越好，同一類別之中的距離越近越好，所以我們需要定義幾個關鍵的值。
類別i的原始中心點為：（Di表示屬於類別i的點)

類別i投影後的中心點為：

衡量類別i投影後，類別點之間的分散程度（方差）為：

最終我們可以得到一個下面的公式，表示LDA投影到w後的損失函數：

分類的目標是， 使得類別內的點距離越近越好（集中），類別間的點越遠越好。 分母表示每一個類別內的方差之和，方差越大表示一個類別內的點越分散，分子為兩個類別各自的中心點的距離的平方，我們最大化J(w)就可以求出最優的w了。想要求出最優的w，可以使用拉格朗日乘子法，但是現在我們得到的J(w)裡面，w是不能被單獨提出來的，我們就得想辦法將w單獨提出來。
我們定義一個投影前的各類別分散程度的矩陣，這個矩陣看起來有一點麻煩，其實意思是，如果某一個分類的輸入點集Di裡面的點距離這個分類的中心店mi越近，則Si裡面元素的值就越小，如果分類的點都緊緊地圍繞著mi，則Si裡面的元素值越更接近0.

同樣的將J(w)分子化為：

我們希望 分母越小越好，分子越大越好 ：
分母小，則每個類內部數據點比較聚集；
分子大，則兩個類別的距離較遠。
所以需要找出一個 W 使 J(W) 的值最大。

這樣就可以用最喜歡的拉格朗日乘子法了，但是還有一個問題，如果分子、分母是都可以取任意值的，那就會使得有無窮解，我們將分母限制為長度為1（這是用拉格朗日乘子法一個很重要的技巧，在下面將說的PCA裡面也會用到，如果忘記了，請復習一下高數），並作為拉格朗日乘子法的限制條件，帶入得到：

這樣的式子就是一個求特徵值的問題了。
對於N(N>2)分類的問題，我就直接寫出下面的結論了：

二者都有降維的作用。

H. binary classification是什麼意思

binary classification
二分類

例句:
1.
Then starting from the concept 'scale of contexts' with a combination of two cognitive principles, we reanalyze the motivation for the binary classification mentioned above, thus indicating it is necessary to make further explorations on it by taking this opportunity.
在此基礎上，建議把某些認知因素（省力原則和盡力原則）介入其中，以語境量為出發點，重新解析一般會話含義和特殊會話含義的劃分理據，並提出應以此為契機，對該問題進行進一步的探索。

I. 分類演算法 - adaboost

Adaboost是一種迭代演算法，其核心思想是針對同一個訓練集訓練不同的分類器(弱分類器)，然後把這些弱分類器集合起來，構成一個更強的最終分類器（強分類器）。

Adaboost演算法已被證明是一種有效而實用的Boosting演算法。該演算法是Freund和Schapire於1995年對Boosting演算法的改進得到的，其演算法原理是通過調整樣本權重和弱分類器權值，從訓練出的弱分類器中篩選出權值系數最小的弱分類器組合成一個最終強分類器。基於訓練集訓練弱分類器，每次下一個弱分類器都是在樣本的不同權值集上訓練獲得的。每個樣本被分類的難易度決定權重，而分類的難易度是經過前面步驟中的分類器的輸出估計得到的。

Adaboost演算法在樣本訓練集使用過程中，對其中的關鍵分類特徵集進行多次挑選，逐步訓練分量弱分類器，用適當的閾值選擇最佳弱分類器，最後將每次迭代訓練選出的最佳弱分類器構建為強分類器。其中，級聯分類器的設計模式為在盡量保證感興趣圖像輸出率的同時，減少非感興趣圖像的輸出率，隨著迭代次數不斷增加，所有的非感興趣圖像樣本都不能通過，而感興趣樣本始終保持盡可能通過為止。

1. 先通過對N個訓練樣本的學習得到第一個弱分類器

2. 將分錯的樣本和其他的新數據一起構成一個新的N個的訓練樣本，通過對這個樣本的學習得到第二個弱分類器

3. 將1和2都分錯了的樣本加上其他的新樣本構成另一個新的N個的訓練樣本，通過對這個樣本的學習得到第三個弱分類器

4. 最終經過提升的強分類器。即某個數據被分為哪一類要由各分類器權值決定

由Adaboost演算法的描述過程可知，該演算法在實現過程中根據訓練集的大小初始化樣本權值，使其滿足均勻分布，在後續操作中通過公式來改變和規范化演算法迭代後樣本的權值。樣本被錯誤分類導致權值增大，反之權值相應減小，這表示被錯分的訓練樣本集包括一個更高的權重。這就會使在下輪時訓練樣本集更注重於難以識別的樣本，針對被錯分樣本的進一步學習來得到下一個弱分類器，直到樣本被正確分類。在達到規定的迭代次數或者預期的誤差率時，則強分類器構建完成。

（1）很好的利用了弱分類器進行級聯
（2）可以將不同的分類演算法作為弱分類器
（3）AdaBoost具有很高的精度
（4）相對於bagging演算法和Random Forest演算法，AdaBoost充分考慮的每個分類器的權重

（1）AdaBoost迭代次數也就是弱分類器數目不太好設定，可以使用交叉驗證來進行確定
（2）數據不平衡導致分類精度下降
（3）訓練比較耗時，每次重新選擇當前分類器最好切分點

看到這個演算法你是不是似曾相識？對，他們都是由多個弱演算法組合成一個強演算法的原理。印證了「三個臭皮匠賽過諸葛亮」。但是其實他們棣屬於不同的演算法框架：

1）Bagging + 決策樹 = 隨機森林
2）AdaBoost + 決策樹 = 提升樹

那麼bagging和boosting分別是什麼呢？

Bagging和Boosting都是將已有的分類或回歸演算法通過一定方式組合起來，形成一個性能更加強大的分類器，更准確的說這是一種分類演算法的組裝方法。即將弱分類器組裝成強分類器的方法。

A）從原始樣本集中抽取訓練集。每輪從原始樣本集中使用Bootstraping的方法抽取n個訓練樣本（在訓練集中，有些樣本可能被多次抽取到，而有些樣本可能一次都沒有被抽中）。共進行k輪抽取，得到k個訓練集。（k個訓練集之間是相互獨立的）

B）每次使用一個訓練集得到一個模型，k個訓練集共得到k個模型。（註：這里並沒有具體的分類演算法或回歸方法，我們可以根據具體問題採用不同的分類或回歸方法，如決策樹、感知器等）

C）對分類問題：將上步得到的k個模型採用投票的方式得到分類結果；對回歸問題，計算上述模型的均值作為最後的結果。（所有模型的重要性相同）

其主要思想是將弱分類器組裝成一個強分類器。在PAC（概率近似正確）學習框架下，則一定可以將弱分類器組裝成一個強分類器。關於Boosting的兩個核心問題：

通過提高那些在前一輪被弱分類器分錯樣例的權值，減小前一輪分對樣例的權值，來使得分類器對誤分的數據有較好的效果。

通過加法模型將弱分類器進行線性組合，比如AdaBoost通過加權多數表決的方式，即增大錯誤率小的分類器的權值，同時減小錯誤率較大的分類器的權值。而提升樹通過擬合殘差的方式逐步減小殘差，將每一步生成的模型疊加得到最終模型。

Bagging：訓練集是在原始集中有放回選取的，從原始集中選出的各輪訓練集之間是獨立的。
Boosting：每一輪的訓練集不變，只是訓練集中每個樣例在分類器中的權重發生變化。而權值是根據上一輪的分類結果進行調整。

Bagging：使用均勻取樣，每個樣例的權重相等
Boosting：根據錯誤率不斷調整樣例的權值，錯誤率越大則權重越大。

Bagging：所有預測函數的權重相等。
Boosting：每個弱分類器都有相應的權重，對於分類誤差小的分類器會有更大的權重。

Bagging：各個預測函數可以並行生成
Boosting：各個預測函數只能順序生成，因為後一個模型參數需要前一輪模型的結果。

這兩種方法都是把若干個分類器整合為一個分類器的方法，只是整合的方式不一樣，最終得到不一樣的效果，將不同的分類演算法套入到此類演算法框架中一定程度上會提高了原單一分類器的分類效果，但是也增大了計算量。

J. gbase8a支持什麼分類演算法

目前支持兩種分類演算法：
1、Logistic回歸演算法，Logistic回歸又稱logistic回歸分析，是一種廣義的線性回歸分析模型，常用於數據挖掘、疾病自動診斷和經濟預測等領域。
2、支持向量機演算法，
支持向量機是一種二分類模型，它的基本模型是定義在特徵空間上的間隔最大的線性分類器。
說的通俗一點就是就是在特徵空間裡面用某條線或某塊面將訓練數據集分成兩類，而依據的原則就是間隔最大化，這里的間隔最大化是指特徵空間裡面距離分離線或面最近的點到這條線或面的間隔(距離)最大。