boost演算法

⑴ 分類演算法 - adaboost

Adaboost是一種迭代演算法，其核心思想是針對同一個訓練集訓練不同的分類器(弱分類器)，然後把這些弱分類器集合起來，構成一個更強的最終分類器（強分類器）。

Adaboost演算法已被證明是一種有效而實用的Boosting演算法。該演算法是Freund和Schapire於1995年對Boosting演算法的改進得到的，其演算法原理是通過調整樣本權重和弱分類器權值，從訓練出的弱分類器中篩選出權值系數最小的弱分類器組合成一個最終強分類器。基於訓練集訓練弱分類器，每次下一個弱分類器都是在樣本的不同權值集上訓練獲得的。每個樣本被分類的難易度決定權重，而分類的難易度是經過前面步驟中的分類器的輸出估計得到的。

Adaboost演算法在樣本訓練集使用過程中，對其中的關鍵分類特徵集進行多次挑選，逐步訓練分量弱分類器，用適當的閾值選擇最佳弱分類器，最後將每次迭代訓練選出的最佳弱分類器構建為強分類器。其中，級聯分類器的設計模式為在盡量保證感興趣圖像輸出率的同時，減少非感興趣圖像的輸出率，隨著迭代次數不斷增加，所有的非感興趣圖像樣本都不能通過，而感興趣樣本始終保持盡可能通過為止。

1. 先通過對N個訓練樣本的學習得到第一個弱分類器

2. 將分錯的樣本和其他的新數據一起構成一個新的N個的訓練樣本，通過對這個樣本的學習得到第二個弱分類器

3. 將1和2都分錯了的樣本加上其他的新樣本構成另一個新的N個的訓練樣本，通過對這個樣本的學習得到第三個弱分類器

4. 最終經過提升的強分類器。即某個數據被分為哪一類要由各分類器權值決定

由Adaboost演算法的描述過程可知，該演算法在實現過程中根據訓練集的大小初始化樣本權值，使其滿足均勻分布，在後續操作中通過公式來改變和規范化演算法迭代後樣本的權值。樣本被錯誤分類導致權值增大，反之權值相應減小，這表示被錯分的訓練樣本集包括一個更高的權重。這就會使在下輪時訓練樣本集更注重於難以識別的樣本，針對被錯分樣本的進一步學習來得到下一個弱分類器，直到樣本被正確分類。在達到規定的迭代次數或者預期的誤差率時，則強分類器構建完成。

（1）很好的利用了弱分類器進行級聯
（2）可以將不同的分類演算法作為弱分類器
（3）AdaBoost具有很高的精度
（4）相對於bagging演算法和Random Forest演算法，AdaBoost充分考慮的每個分類器的權重

（1）AdaBoost迭代次數也就是弱分類器數目不太好設定，可以使用交叉驗證來進行確定
（2）數據不平衡導致分類精度下降
（3）訓練比較耗時，每次重新選擇當前分類器最好切分點

看到這個演算法你是不是似曾相識？對，他們都是由多個弱演算法組合成一個強演算法的原理。印證了「三個臭皮匠賽過諸葛亮」。但是其實他們棣屬於不同的演算法框架：

1）Bagging + 決策樹 = 隨機森林
2）AdaBoost + 決策樹 = 提升樹

那麼bagging和boosting分別是什麼呢？

Bagging和Boosting都是將已有的分類或回歸演算法通過一定方式組合起來，形成一個性能更加強大的分類器，更准確的說這是一種分類演算法的組裝方法。即將弱分類器組裝成強分類器的方法。

A）從原始樣本集中抽取訓練集。每輪從原始樣本集中使用Bootstraping的方法抽取n個訓練樣本（在訓練集中，有些樣本可能被多次抽取到，而有些樣本可能一次都沒有被抽中）。共進行k輪抽取，得到k個訓練集。（k個訓練集之間是相互獨立的）

B）每次使用一個訓練集得到一個模型，k個訓練集共得到k個模型。（註：這里並沒有具體的分類演算法或回歸方法，我們可以根據具體問題採用不同的分類或回歸方法，如決策樹、感知器等）

C）對分類問題：將上步得到的k個模型採用投票的方式得到分類結果；對回歸問題，計算上述模型的均值作為最後的結果。（所有模型的重要性相同）

其主要思想是將弱分類器組裝成一個強分類器。在PAC（概率近似正確）學習框架下，則一定可以將弱分類器組裝成一個強分類器。關於Boosting的兩個核心問題：

通過提高那些在前一輪被弱分類器分錯樣例的權值，減小前一輪分對樣例的權值，來使得分類器對誤分的數據有較好的效果。

通過加法模型將弱分類器進行線性組合，比如AdaBoost通過加權多數表決的方式，即增大錯誤率小的分類器的權值，同時減小錯誤率較大的分類器的權值。而提升樹通過擬合殘差的方式逐步減小殘差，將每一步生成的模型疊加得到最終模型。

Bagging：訓練集是在原始集中有放回選取的，從原始集中選出的各輪訓練集之間是獨立的。
Boosting：每一輪的訓練集不變，只是訓練集中每個樣例在分類器中的權重發生變化。而權值是根據上一輪的分類結果進行調整。

Bagging：使用均勻取樣，每個樣例的權重相等
Boosting：根據錯誤率不斷調整樣例的權值，錯誤率越大則權重越大。

Bagging：所有預測函數的權重相等。
Boosting：每個弱分類器都有相應的權重，對於分類誤差小的分類器會有更大的權重。

Bagging：各個預測函數可以並行生成
Boosting：各個預測函數只能順序生成，因為後一個模型參數需要前一輪模型的結果。

這兩種方法都是把若干個分類器整合為一個分類器的方法，只是整合的方式不一樣，最終得到不一樣的效果，將不同的分類演算法套入到此類演算法框架中一定程度上會提高了原單一分類器的分類效果，但是也增大了計算量。

⑵ 帶你了解數據挖掘中的經典演算法

數據挖掘的演算法有很多，而不同的演算法有著不同的優點，同時也發揮著不同的作用。可以這么說，演算法在數據挖掘中做出了極大的貢獻，如果我們要了解數據挖掘的話就不得不了解這些演算法，下面我們就繼續給大家介紹一下有關數據挖掘的演算法知識。
1.The Apriori algorithm，
Apriori演算法是一種最有影響的挖掘布爾關聯規則頻繁項集的演算法。其核心是基於兩階段頻集思想的遞推演算法。該關聯規則在分類上屬於單維、單層、布爾關聯規則。在這里，所有支持度大於最小支持度的項集稱為頻繁項集，簡稱頻集。這個演算法是比較復雜的，但也是十分實用的。
2.最大期望演算法
在統計計算中，最大期望演算法是在概率模型中尋找參數最大似然估計的演算法，其中概率模型依賴於無法觀測的隱藏變數。最大期望經常用在機器學習和計算機視覺的數據集聚領域。而最大期望演算法在數據挖掘以及統計中都是十分常見的。
3.PageRank演算法
PageRank是Google演算法的重要內容。PageRank里的page不是指網頁，而是創始人的名字，即這個等級方法是以佩奇來命名的。PageRank根據網站的外部鏈接和內部鏈接的數量和質量倆衡量網站的價值。PageRank背後的概念是，每個到頁面的鏈接都是對該頁面的一次投票，被鏈接的越多，就意味著被其他網站投票越多。這個就是所謂的「鏈接流行度」，這個標准就是衡量多少人願意將他們的網站和你的網站掛鉤。PageRank這個概念引自學術中一篇論文的被引述的頻度——即被別人引述的次數越多，一般判斷這篇論文的權威性就越高。
3.AdaBoost演算法
Adaboost是一種迭代演算法，其核心思想是針對同一個訓練集訓練不同的分類器，然後把這些弱分類器集合起來，構成一個更強的最終分類器。其演算法本身是通過改變數據分布來實現的，它根據每次訓練集之中每個樣本的分類是否正確，以及上次的總體分類的准確率，來確定每個樣本的權值。將修改過權值的新數據集送給下層分類器進行訓練，最後將每次訓練得到的分類器最後融合起來，作為最後的決策分類器。這種演算法給數據挖掘工作解決了不少的問題。
數據挖掘演算法有很多，這篇文章中我們給大家介紹的演算法都是十分經典的演算法，相信大家一定可以從中得到有價值的信息。需要告訴大家的是，我們在進行數據挖掘工作之前一定要事先掌握好數據挖掘需呀掌握的各類演算法，這樣我們才能在工總中得心應手，如果基礎不牢固，那麼我們遲早是會被淘汰的。職場如戰場，我們一定要全力以赴。

⑶ 誰能通俗的講講Gradient Boost和Adaboost演算法是啥

Adaboost演算法

Adaboost是由Freund 和 Schapire在1997年提出的，在整個訓練集上維護一個分布權值向量W,用賦予權重的訓練集通過弱分類演算法產生分類假設（基學習器）y(x),然後計算錯誤率,用得到的錯誤率去更新分布權值向量w,對錯誤分類的樣本分配更大的權值,正確分類的樣本賦予更小的權值。每次更新後用相同的弱分類演算法產生新的分類假設,這些分類假設的序列構成多分類器。對這些多分類器用加權的方法進行聯合,最後得到決策結果。

其結構如下圖所示：

這里是直接對模型的函數進行更新，利用了參數可加性推廣到函數空間。

訓練F0-Fm一共m個基學習器，沿著梯度下降的方向不斷更新ρm和am