python實現gbdt

❶ GBDT 如何實現特徵組合提取

以python調用sklearn為例，在你建立GBDT對象並作fit之後，可以使用如下代碼獲得你要的規則代碼：

dot_data = tree.export_graphviz(model_tree, out_file=None,
max_depth=5, feature_names=names_list, filled=True, rounded=True) # 將決策樹規則生成dot對象

其中tree就是你的數對象，如果你的out_file後面是一個文件名，那麼你的規則會輸出到文件中；如果是None（就像上面代碼），那麼值會保存在dot_data中。

無論哪種方法，你都能獲得規則文本。然後剩下的就是普通的文本解析的事情了。

在決策樹演算法對象的tree_屬性中，存儲了所有有關決策樹規則的信息（示例中的決策樹規則存儲在model_tree.tree_中）。最主要的幾個屬性：

• children_left：子級左側分類節點

• children_right：子級右側分類節點

• feature：子節點上用來做分裂的特徵

• threshold：子節點上對應特徵的分裂閥值

• values：子節點中包含正例和負例的樣本數量

上述屬性配合節點ID、節點層級便迭代能得到如下的規則信息：

1 [label="rfm_score <= 7.8375 gini = 0.1135 samples =
14581 value = [13700, 881]", fillcolor="#e58139ef"] ;

其中規則開始的1代表節點ID，rfm_score是變數名稱，rfm_score
<= 7.8375是分裂閥值，gini = 0.1135是在當前規則下的基尼指數，nsamples是當前節點下的總樣本量，nvalue為正例和負例的樣本數量。

來源：知乎

❷ python gbdt測試集誤差竟然逐漸上升是怎麼回事

是否是因為過擬合了？
隨著訓練集誤差的下降，測試集誤差一般應該是先下降後上升的。

❸ 如何給python載入科學計算庫

1.安裝

安裝Python2.7:hownloads/release/python-2712/根據電腦配置選擇合適版本下載安裝。

安裝過python之後，Python27Scripts有pip.exe，在Python27Scripts文件夾下運行cmd（點擊Shift+右鍵），可以用pip安裝其他包。

1. 安裝科學計算庫
pip installjupyter
pip installpandas
pip installnumpy
pip installmatplotlib
pip installseaborn
pip installscikit-learn
2. 用上述方式安裝scipy不成功，可以這樣：在ci.e/~gohlke/pythonlibs/下載合適的whl包，pip install <拖入下載到的scipy包>。安裝後import scipy若提示缺少numpy+MKL，可以pip uninstall numpy，再下載numpy+MKL的whl包，pip install *.whl。

檢測安裝是否成功，打開Python的shell，輸入：
import matplotlib
import numpy
import scipy等，若不報錯，就安裝成功。
比如生成一個y=x的直線：

import matplotlib.pyplot as plt
plt.plot([1,2,3])
plt.ylabel('some numbers')
plt.show()1234

上述是我採用的安裝方式，過程比較順利，除了pip，還有其他的方式哈：
1. 用easy_install安裝，但是這種方法卸載不方便，不推薦。
2. 用anaconda的conda命令，好像也很常用，因為conda會安裝或者更新一些依賴庫，但是pip未必。有興趣的可以試試。

2. 科學計算庫的使用

綜合：
1.遇到Numpy陌生函數，查詢用法
2.pandas教程及API
pandas讀取csv文件，提供了大量能使我們快速便捷地處理數據的函數和方法。
3.Matplotlib Tutorial(譯)
是python最著名的繪圖庫,它提供了一整套和matlab相似的命令API,十分適合互動式地進行制圖。

數據可視化：
1.Seaborn tutorial
Seaborn模塊自帶許多定製的主題和高級的介面，來控制matplotlib圖表的外觀。
機器演算法：
1.scikit-learn
scikit-learn的基本功能主要被分為六個部分，分類，回歸，聚類，數據降維，模型選擇，數據預處理，機器學習模型非常豐富，包括SVM，決策樹，GBDT，KNN等等，可以根據問題的類型選擇合適的模型，具體可以參考官方網站上的文檔。

❹ python3.5做分類時，混淆矩陣加在哪一步

preface：做著最近的任務，對數據處理，做些簡單的提特徵，用機器學習演算法跑下程序得出結果，看看哪些特徵的組合較好，這一系列流程必然要用到很多函數，故將自己常用函數記錄上。應該說這些函數基本上都會用到，像是數據預處理，處理完了後特徵提取、降維、訓練預測、通過混淆矩陣看分類效果，得出報告。

1.輸入

從數據集開始，提取特徵轉化為有標簽的數據集，轉為向量。拆分成訓練集和測試集，這里不多講，在上一篇博客中談到用StratifiedKFold()函數即可。在訓練集中有data和target開始。

2.處理

[python]view plain

• defmy_preprocessing(train_data):

• X_normalized=preprocessing.normalize(train_data,norm="l2",axis=0)#使用l2範式，對特徵列進行正則

• returnX_normalized

• defmy_feature_selection(data,target):

• fromsklearn.feature_selectionimportSelectKBest

• fromsklearn.feature_selectionimportchi2

• data_new=SelectKBest(chi2,k=50).fit_transform(data,target)

• returndata_new

• defmy_PCA(data):#datawithouttarget,justtraindata,withoutraintarget.

• pca_sklearn=decomposition.PCA()

• pca_sklearn.fit(data)

• main_var=pca_sklearn.explained_variance_

• printsum(main_var)*0.9

• importmatplotlib.pyplotasplt

• n=15

• plt.plot(main_var[:n])

• plt.show()

• defclf_train(data,target):

• fromsklearnimportsvm

• #fromsklearn.linear_modelimportLogisticRegression

• clf=svm.SVC(C=100,kernel="rbf",gamma=0.001)

• clf.fit(data,target)

• #clf_LR=LogisticRegression()

• #clf_LR.fit(x_train,y_train)

• #y_pred_LR=clf_LR.predict(x_test)

• returnclf

• defmy_confusion_matrix(y_true,y_pred):

• fromsklearn.metricsimportconfusion_matrix

• labels=list(set(y_true))

• conf_mat=confusion_matrix(y_true,y_pred,labels=labels)

• print"confusion_matrix(leftlabels:y_true,uplabels:y_pred):"

• print"labels ",

• foriinrange(len(labels)):

• printlabels[i]," ",

• print

• foriinrange(len(conf_mat)):

• printi," ",

• forjinrange(len(conf_mat[i])):

• printconf_mat[i][j],' ',

• print

• print

• defmy_classification_report(y_true,y_pred):

• fromsklearn.metricsimportclassification_report

• print"classification_report(left:labels):"

• printclassification_report(y_true,y_pred)



• my_preprocess()函數：

主要使用sklearn的preprocessing函數中的normalize()函數，默認參數為l2範式，對特徵列進行正則處理。即每一個樣例，處理標簽，每行的平方和為1.

my_feature_selection()函數：

使用sklearn的feature_selection函數中SelectKBest()函數和chi2()函數，若是用詞袋提取了很多維的稀疏特徵，有必要使用卡方選取前k個有效的特徵。

my_PCA()函數：

主要用來觀察前多少個特徵是主要特徵，並且畫圖。看看前多少個特徵佔據主要部分。

clf_train()函數：

可用多種機器學習演算法，如SVM, LR, RF, GBDT等等很多，其中像SVM需要調參數的，有專門調試參數的函數如StratifiedKFold()（見前幾篇博客）。以達到最優。

my_confusion_matrix()函數：

主要是針對預測出來的結果，和原來的結果對比，算出混淆矩陣，不必自己計算。其對每個類別的混淆矩陣都計算出來了，並且labels參數默認是排序了的。

my_classification_report()函數：

主要通過sklearn.metrics函數中的classification_report()函數，針對每個類別給出詳細的准確率、召回率和F-值這三個參數和宏平均值，用來評價演算法好壞。另外ROC曲線的話，需要是對二分類才可以。多類別似乎不行。

• 主要參考sklearn官網

❺ python數據挖掘是什麼

數據挖掘（data mining，簡稱DM），是指從大量的數據中，通過統計學、人工智慧、機器學習等方法，挖掘出未知的、且有價值的信
息和知識的過程。
python數據挖掘常用模塊
numpy模塊：用於矩陣運算、隨機數的生成等

pandas模塊：用於數據的讀取、清洗、整理、運算、可視化等

matplotlib模塊：專用於數據可視化，當然含有統計類的seaborn模塊

statsmodels模塊：用於構建統計模型，如線性回歸、嶺回歸、邏輯回歸、主成分分析等

scipy模塊：專用於統計中的各種假設檢驗，如卡方檢驗、相關系數檢驗、正態性檢驗、t檢驗、F檢驗等

sklearn模塊：專用於機器學習，包含了常規的數據挖掘演算法，如決策樹、森林樹、提升樹、貝葉斯、K近鄰、SVM、GBDT、Kmeans等
數據分析和挖掘推薦的入門方式是？小公司如何利用數據分析和挖掘?
關於數據分析與挖掘的入門方式是先實現代碼和Python語法的落地（前期也需要你了解一些統計學知識、數學知識等），這個過程需要
你多閱讀相關的數據和查閱社區、論壇。然後你在代碼落地的過程中一定會對演算法中的參數或結果產生疑問，此時再去查看統計學和數據
挖掘方面的理論知識。這樣就形成了問題為導向的學習方法，如果將入門順序搞反了，可能在硬著頭皮研究理論演算法的過程中就打退堂鼓
了。

對於小公司來說，你得清楚的知道自己的痛點是什麼，這些痛點是否能夠體現在數據上，公司內部的交易數據、營銷數據、倉儲數據等是
否比較齊全。在這些數據的基礎上搭建核心KPI作為每日或每周的經營健康度衡量，數據分析側重於歷史的描述，數據挖掘則側重於未來
的預測。

差異在於對數據的敏感度和對數據的個性化理解。換句話說，就是懂分析的人能夠從數據中看出破綻，解決問題，甚至用數據創造價值；
不懂分析的人，做不到這些，更多的是描述數據。
更多技術請關注python視頻教程。

❻ 怎麼用Python數學建模

數學建模的重點是數學，不是計算機或編程語言，重點是要有強大的數學功底，及對欲建模問題的深刻理解和分析，計算機只是一個輔助工具。當你在數學層面對要建模問題分析清楚了，然後用計算機編程語言去把它表達出來即可。
選python 做這事還是不錯的。python 是開源的，開源的東西生機勃勃，眾人拾柴火焰高，全世界的編程高手都在為 python 增磚添瓦，目前官方(pypi.org)顯示有10多萬個第3方庫，而且貌似每天以數百個新庫的速度在增加，如此龐大的第3方庫，幾乎涉及各行各業各領域，你想做點什麼事情，隨便找找一般總有適合你的基礎庫別人已經做好了，你直接拿來用事半功倍。python 的龐大生態庫，大概只有 java 可與之一拼了，其它沒有哪種語言有這么龐大的庫。python 在 tiobe 琅琊榜上穩步上升，目前已超越 C++排第3了。
你要做數學建模，以下這些基礎庫或許會用到：
numpy, pandas, scipy, matplotlib , sympy .....
更多的你自己去了解一下。

❼ python gradientboostingregressor可以做預測嗎

可以

最近項目中涉及基於Gradient Boosting Regression 演算法擬合時間序列曲線的內容，利用python機器學習包scikit-learn 中的GradientBoostingRegressor完成

因此就學習了下Gradient Boosting演算法，在這里分享下我的理解

Boosting 演算法簡介

Boosting演算法，我理解的就是兩個思想：

1）「三個臭皮匠頂個諸葛亮」，一堆弱分類器的組合就可以成為一個強分類器；

2）「知錯能改，善莫大焉」，不斷地在錯誤中學習，迭代來降低犯錯概率

當然，要理解好Boosting的思想，首先還是從弱學習演算法和強學習演算法來引入：

1）強學習演算法：存在一個多項式時間的學習演算法以識別一組概念，且識別的正確率很高；

2）弱學習演算法：識別一組概念的正確率僅比隨機猜測略好；

Kearns & Valiant證明了弱學習演算法與強學習演算法的等價問題，如果兩者等價，只需找到一個比隨機猜測略好的學習演算法，就可以將其提升為強學習演算法。

那麼是怎麼實現「知錯就改」的呢？

Boosting演算法，通過一系列的迭代來優化分類結果，每迭代一次引入一個弱分類器，來克服現在已經存在的弱分類器組合的shortcomings

在Adaboost演算法中，這個shortcomings的表徵就是權值高的樣本點

而在Gradient Boosting演算法中,這個shortcomings的表徵就是梯度

無論是Adaboost還是Gradient Boosting，都是通過這個shortcomings來告訴學習器怎麼去提升模型，也就是「Boosting」這個名字的由來吧

Adaboost演算法

Adaboost是由Freund 和 Schapire在1997年提出的，在整個訓練集上維護一個分布權值向量W,用賦予權重的訓練集通過弱分類演算法產生分類假設（基學習器）y(x),然後計算錯誤率,用得到的錯誤率去更新分布權值向量w,對錯誤分類的樣本分配更大的權值,正確分類的樣本賦予更小的權值。每次更新後用相同的弱分類演算法產生新的分類假設,這些分類假設的序列構成多分類器。對這些多分類器用加權的方法進行聯合,最後得到決策結果。

其結構如下圖所示：

可以發現，如果要用Gradient Boosting 演算法的話，在sklearn包里調用還是非常方便的，幾行代碼即可完成，大部分的工作應該是在特徵提取上。

感覺目前做數據挖掘的工作，特徵設計是最重要的，據說現在kaggle競賽基本是GBDT的天下，優劣其實還是特徵上，感覺做項目也是，不斷的在研究數據中培養對數據的敏感度。

❽ LightGBM 如何確定最佳迭代次數

LightGBM中實現了哪些梯度增強方法，它們有什麼區別?一般來說，哪些參數是重要的?哪些正則化參數需要調整?如何調整lightGBM參數在python?梯度提升的方法

使用LightGBM，你可以運行不同類型的漸變增強提升方法。你有:GBDT、DART和GOSS，這些可以通過「boosting」參數指定。

在下一節中，我將對這些方法進行解釋和比較。

梯度提升決策樹(GBDT)

該方法是本文首先提出的傳統梯度提升決策樹，也是XGBoost和pGBRT等優秀庫背後的演算法。

由於其精度高、效率高、穩定性好，目前已得到廣泛的應用。你可能知道gbdt是一個決策樹的集合模型但是它到底是什麼意思呢?

讓我來告訴你要點。

它基於三個重要原則:

弱學習者(決策樹)梯度優化提升技術所以在gbdt方法中，我們有很多決策樹(弱學習者)。這些樹是按順序構建的:

首先，樹學習如何適應目標變數第二棵樹學習如何適合殘差(差異)之間的預測，第一棵樹和地面真相第三棵樹學習如何匹配第二棵樹的殘差，以此類推。所有這些樹都是通過傳播整個系統的誤差梯度來訓練的。

gbdt的主要缺點是，在每個樹節點中找到最佳分割點非常耗時，而且會消耗內存。其他的提升方法試圖解決這個問題。

DART梯度提升

在這篇優秀的論文中(arxiv/1505.01866)，你可以學習所有關於DART梯度提升的東西，這是一種使用dropout(神經網路中的標准)的方法，來改進模型正則化和處理一些其他不太明顯的問題。

也就是說，gbdt存在過度專門化(over-specialization)的問題，這意味著在以後的迭代中添加的樹往往只會影響對少數實例的預測，而對其餘實例的貢獻則可以忽略不計。添加dropout會使樹在以後的迭代中更加難以專門化那些少數的示例，從而提高性能。

lgbm goss基於梯度的單邊采樣

事實上，將該方法命名為lightgbm的最重要原因就是使用了基於本文的Goss方法。Goss是較新的、較輕的gbdt實現(因此是「light」gbm)。

標準的gbdt是可靠的，但在大型數據集上速度不夠快。因此goss提出了一種基於梯度的采樣方法來避免搜索整個搜索空間。我們知道，對於每個數據實例，當梯度很小時，這意味著不用擔心數據是經過良好訓練的，而當梯度很大時，應該重新訓練。這里我們有兩個方面，數據實例有大的和小的漸變。因此，goss以一個大的梯度保存所有數據，並對一個小梯度的數據進行隨機抽樣(這就是為什麼它被稱為單邊抽樣)。這使得搜索空間更小，goss的收斂速度更快。

讓我們把這些差異放在一個表格中:

注意:如果你將增強設置為RF，那麼lightgbm演算法表現為隨機森林而不是增強樹! 根據文檔，要使用RF，必須使用baggingfraction和featurefraction小於1。

正則化

在這一節中，我將介紹lightgbm的一些重要的正則化參數。顯然，這些是您需要調優以防止過擬合的參數。

您應該知道，對於較小的數據集(<10000條記錄)，lightGBM可能不是最佳選擇。在這里，調優lightgbm參數可能沒有幫助。

此外，lightgbm使用葉向樹生長演算法，而xgboost使用深度樹生長演算法。葉向方法使樹的收斂速度更快，但過擬合的幾率增加。

注意:如果有人問您LightGBM和XGBoost之間的主要區別是什麼?你可以很容易地說，它們的區別在於它們是如何實現的。

根據lightGBM文檔，當面臨過擬合時，您可能需要做以下參數調優:

使用更小的max_bin使用更小的num_leaves使用mindatainleaf和minsumhessianin_leaf通過設置baggingfraction和baggingfreq使用bagging_freq通過設置feature_fraction使用特徵子采樣使用更大的訓練數據嘗試lambdal1、lambdal2和mingainto_split進行正則化嘗試max_depth以避免樹的深度增長在下面的部分中，我將更詳細地解釋這些參數。

lambda_l1

Lambdal1(和lambdal2)控制l1/l2，以及mingainto_split用於防止過擬合。我強烈建議您使用參數調優(在後面的小節中討論)來確定這些參數的最佳值。

num_leaves

numleaves無疑是控制模型復雜性的最重要參數之一。通過它，您可以設置每個弱學習者擁有的葉子的最大數量。較大的numleaves增加了訓練集的精確度，也增加了因過度擬合而受傷的幾率。根據文檔，一個簡單的方法是numleaves = 2^(maxdepth)但是，考慮到在lightgbm中葉狀樹比層次樹更深，你需要小心過度擬合!因此，必須同時使用maxdepth調優numleaves。

子采樣

通過子樣例(或bagging_fraction)，您可以指定每個樹構建迭代使用的行數百分比。這意味著將隨機選擇一些行來匹配每個學習者(樹)。這不僅提高了泛化能力，也提高了訓練速度。

我建議對基線模型使用更小的子樣本值，然後在完成其他實驗(不同的特徵選擇，不同的樹結構)時增加這個值。

feature_fraction

特徵分數或子特徵處理列采樣，LightGBM將在每次迭代(樹)上隨機選擇特徵子集。例如，如果將其設置為0.6,LightGBM將在訓練每棵樹之前選擇60%的特性。

這個功能有兩種用法:

可以用來加速訓練嗎可以用來處理過擬合嗎

max_depth

該參數控制每棵經過訓練的樹的最大深度，將對:

num_leaves參數的最佳值模型的性能訓練時間注意，如果您使用較大的max_depth值，那麼您的模型可能會對於訓練集過擬合。

max_bin

裝箱是一種用離散視圖(直方圖)表示數據的技術。Lightgbm在創建弱學習者時，使用基於直方圖的演算法來尋找最優分割點。因此，每個連續的數字特性(例如視頻的視圖數)應該被分割成離散的容器。

此外，在這個GitHub repo(huanzhang12/lightgbm-gpu)中，你可以找到一些全面的實驗，完全解釋了改變max_bin對CPU和GPU的影響。

如果你定義maxbin 255，這意味著我們可以有255個唯一的值每個特性。那麼，較小的maxbin會導致更快的速度，較大的值會提高准確性。

訓練參數

當你想用lightgbm訓練你的模型時，一些典型的問題可能會出現:

訓練是一個耗時的過程處理計算復雜度(CPU/GPU RAM約束)處理分類特徵擁有不平衡的數據集定製度量的需要需要對分類或回歸問題進行的調整在本節中，我們將嘗試詳細解釋這些要點。

num_iterations

Num_iterations指定增強迭代的次數(要構建的樹)。你建立的樹越多，你的模型就越精確，代價是:

較長的訓練時間過擬合的可能性更高從較少的樹開始構建基線，然後當您想從模型中擠出最後的%時增加基線。

建議使用更小的learningrate和更大的numiteration。此外，如果您想要更高的numiteration，那麼您應該使用earlystopping_rounds，以便在無法學習任何有用的內容時停止訓練。

earlystoppingrounds

如果驗證度量在最後一輪停止後沒有改進，此參數將停止訓練。這應該與一些迭代成對地進行定義。如果你把它設置得太大，你就增加了過擬合的變化(但你的模型可以更好)。

經驗法則是讓它佔num_iterations的10%。

lightgbm categorical_feature

使用lightgbm的優勢之一是它可以很好地處理分類特性。是的，這個演算法非常強大，但是你必須小心如何使用它的參數。lightgbm使用一種特殊的整數編碼方法(由Fisher提出)來處理分類特徵

實驗表明，該方法比常用的單熱編碼方法具有更好的性能。

它的默認值是「auto」，意思是:讓lightgbm決定哪個表示lightgbm將推斷哪些特性是絕對的。

它並不總是工作得很好，我強烈建議您簡單地用這段代碼手動設置分類特性

cat_col = dataset_name.select_dtypes(『object』).columns.tolist()

但是在幕後發生了什麼，lightgbm是如何處理分類特徵的呢?

根據lightgbm的文檔，我們知道樹學習器不能很好地使用一種熱編碼方法，因為它們在樹中深度生長。在提出的替代方法中，樹形學習器被最優構造。例如，一個特徵有k個不同的類別，有2^(k-1) -1個可能的劃分，通過fisher方法，可以改進到k * log(k)，通過找到分類特徵中值排序直方圖的最佳分割方式。

isunbalance vs scalepos_weight

其中一個問題，你可能面臨的二分類問題是如何處理不平衡的數據集。顯然，您需要平衡正/負樣本，但如何在lightgbm中做到這一點呢?

lightgbm中有兩個參數允許你處理這個問題，那就是isunbalance和scalepos_weight，但是它們之間有什麼區別呢?

當您設置Is_unbalace: True時，演算法將嘗試自動平衡佔主導地位的標簽的權重(使用列集中的pos/neg分數)

如果您想改變scaleposweight(默認情況下是1，這意味著假設正負標簽都是相等的)，在不平衡數據集的情況下，您可以使用以下公式來正確地設置它

sample_pos_weight = number of negative samples / number of positive samples

lgbm函數宏指令(feaval)

有時你想定義一個自定義評估函數來測量你的模型的性能，你需要創建一個「feval」函數。

Feval函數應該接受兩個參數:

preds 、train_data

並返回

evalname、evalresult、ishigherbetter

讓我們一步一步地創建一個自定義度量函數。

定義一個單獨的python函數

def feval_func(preds, train_data): # Define a formula that evaluates the results return ('feval_func_name', eval_result, False)

使用這個函數作為參數:

print('Start training...') lgb_train = lgb.train(..., metric=None, feval=feval_func)

注意:要使用feval函數代替度量，您應該設置度量參數 metric 「None」。

分類參數與回歸參數

我之前提到的大多數事情對於分類和回歸都是正確的，但是有些事情需要調整。

具體你應該:

lightgbm最重要的參數

我們已經在前面的部分中回顧並了解了有關lightgbm參數的知識，但是如果不提及Laurae令人難以置信的基準測試，那麼關於增強樹的文章將是不完整的。

您可以了解用於lightGBM和XGBoost的許多問題的最佳默認參數。

你可以查看這里，但一些最重要的結論是:

注意：絕對不要理會任何參數值的默認值，並根據您的問題進行調整。 也就是說，這些參數是超參數調整演算法的一個很好的起點。

Python中的Lightgbm參數調整示例

最後，在解釋完所有重要參數之後，該進行一些實驗了！

我將使用最受歡迎的Kaggle競賽之一：Santander Customer Transaction Prediction. 交易預測

我將使用本文介紹如何在任何腳本中的Python中運行超參數調整。

在開始之前，一個重要的問題！ 我們應該調整哪些參數？

請注意您要解決的問題，例如，Santander 數據集高度不平衡，在調整時應考慮到這一點！

一些參數是相互依賴的，必須一起調整。 例如，mindatainleaf取決於訓練樣本和numleaves的數量。

注意：為超參數創建兩個字典是一個好主意，一個字典包含您不想調整的參數和值，另一個字典包含您想要調整的參數和值范圍。

SEARCH_PARAMS = {'learning_rate': 0.4, 'max_depth': 15, 'num_leaves': 20, 'feature_fraction': 0.8, 'subsample': 0.2} FIXED_PARAMS={'objective': 'binary', 'metric': 'auc', 'is_unbalance':True, 'boosting':'gbdt', 'num_boost_round':300, 'early_stopping_rounds':30}

❾ python sklearn 怎麼根據gbdt apply函數 和原來特徵加起來

跟版本沒關系。函數需要的傳參類型不一致。明顯已經說需要 字元串 和數字類型的參數了。而不是 一個字元串 和數字類型的 zip包

❿ Python 在編程語言中是什麼地位為什麼很多大學不教 Python

作者看著網上各種數據分析的知識泛濫， 但是沒有什麼體系，初學者不知道學哪些， 不知道學多少， 不知道學多深， 單純一個python語言， 數據分析會用到那種程度， 不可能說像開發那樣去學， numpy如果不是做演算法工程師用到的知識並不多， pandas知識雜亂無章， 哪些才是最常用的功能等等， 作者不忍眾生皆苦， 決定寫一套python數據分析的全套教程， 目前已完成一部分課件的製作。需要說明的是， 作為一名數據分析師， 你應該先會一點Excel和SQL知識，相關的內容， 網上很多。但是， 即便你一點Excel和SQL都不會也不會影響這部分的學習 ！目前作者整理的大綱如下：
第一章 python編程基礎
1.1 python語言概述 1.2 數據科學神器--Anaconda介紹與安裝 1.3 標准輸入輸出 1.4 變數定義與賦值 1.5 數據類型 1.6 流程式控制制語句 1.7 函數
1.8 面向對象編程 第二章 python數據清洗之numpy 2.1 核心ndarray對象的創建 2.2 ndarray對象常用的屬性和方法 2.3 ndarray對象的索引和切片 2.4 ndarray對象的分割與合並 2.5 ndarray對象的廣播(Broadcast) 2.6 numpy中的算術運算函數 2.7 numpy中的統計函數 2.8 numpy中的排序 搜索 計數 去重函數 2.9 numpy中的字元串函數 2.10 numpy中可能會用到的線性代數模塊（後期機器學習會用到一點）
第三章 數據清洗神器pandas
3.1 pandas核心對象之Series對象的創建 常用屬性和方法 3.2 pandas核心對象之DataFrame對象的創建 常用屬性和方法 3.3 DataFrame對象的列操作和行操作 3.4 DataFrame對象的索引和切片 3.5 DataFrame對象的布爾索引 3.6 數據的讀入與導出 3.7 groupby分組運算 3.8 數據合並與數據透視
第四章 數據可視化matplotlib seaborn pyecharts
4.1 包括常用圖形的繪制，略
第五章 實戰案列
5.1 拉勾網數據分析相關職位分析 5.2 boss直聘數據分析相關職位分析 5.3 珍愛網女性用戶數據分析
第六章 機器學習
機器學習部分， 簡單的演算法會講手寫， 難的就用scikit-learn實現， 可能有小夥伴說， 這是調包俠乾的， 小哥哥！小姐姐！哪有那麼多公司， 那麼多人自己干寫演算法的， 有幾個人敢說他寫的演算法比scikit-learn寫得好？ 再說了， 你是數據分析師， 這些是你的工具， 解決問題的！不是一天到晚拉格朗日對偶性！先來個機器學習介紹， 然後如下：
6.1 K近鄰演算法 6.2 Kmeans演算法 6.3 決策樹 階段案列：決策樹案列(保險行業) 6.4 線性回歸 嶺回歸 Lasso回歸 6.5 邏輯回歸 6.6 樸素貝葉斯 階段案列：推薦系統(電商玩具) 6.7 隨機森林 6.8 Adaboost 6.9 梯度提升樹GBDT 6.10 極端梯度提升樹Xgboost 6.11 支持向量機SVM 6.12 神經網路 階段案例：Xgboost案例
------------------------------本節內容-----------------------------------------
python語言概述
在說python之前， 我們還是先來看看計算機軟硬體的發展歷史。
1 計算機硬體的發展歷史
第一代計算機-電子管計算機（1946-1957）
無論如何，一項技術的突破必然伴隨著其他行業的突破，簡而言之，電子計算機的出現，前提必須有電子技術的進步，否則一切都是空談！下面是我列舉出計算機硬體的發展過程中， 一些比較重要的事件。
1906年， 美國的Lee De Forest 發明了電子管。在這之前造出數字電子計算機是不可能的。這為電子計算機的發 展奠定了基礎。
1924年2月， 一個具有劃時代意義的公司成立，IBM。
1935年， IBM推出IBM 601機。 這是一台能在一秒鍾算出乘法的穿孔卡片計算機。這台機器無論在自然科學還是在商業意義上都具有重要的地位。大約造了1500台。
1937年， 英國劍橋大學的Alan M. Turing (1912-1954)出版了他的論文 ，並提出了被後人稱之為"圖靈機"的數學模型。
1937年， 美國貝爾試驗室的George Stibitz展示了用繼電器表示二進制的裝置。盡管僅僅是個展示品，但卻是世界上第一台二進制電子計算機。
1941年， Atanasoff和學生Berry完成了能解線性代數方程的計算機，取名叫"ABC"（Atanasoff-Berry Computer），用電容作存儲器，用穿孔卡片作輔助存儲器，那些孔實際上是"燒"上的。 時鍾頻率是60HZ，完成一次加法運算用時一秒。這就是ABC計算機。
1946年， 美國賓夕法尼亞大學，第一台通用電子計算機ENIAC (Electronic Numerical Integrator 和 Computer)誕生， 總工程師埃克特在當時年僅25歲。
這時的計算機的基本線路是採用電子管結構，程序從人工手編的 機器指令程序（0 1），過渡到符號語言（匯編），電子管計算機是計算工具革命性發展的開始，它所採用的進位制與程序存貯等基本技術思想，奠定了現代電子計算機技術基礎。以馮·諾依曼為代表。
第二代計算機——晶體管計算機（時間1957~1964）
電子管時代的計算機盡管已經步入了現代計算機的范疇，但其體積之大、能耗之高、故障之多、價格之貴大大制約了它的普及應用。直到晶體管被發明出來，電子計算機才找到了騰飛的起點，一發而不可收……
20世紀50年代中期，晶體管的出現使計算機生產技術得到了根本性的發展，由晶體管代替電子管作為計算機的基礎器件，用 磁芯或磁鼓作存儲器，在整體性能上，比第一代計算機有了很大的提高。
第三代計算機——中小規模集成電路計算機（時間1964~1971）
20世紀60年代中期， 計算機發展歷程隨著半導體工藝的發展，成功製造了集成電路。中小規模集成電路成為計算機的主要部件，主存儲器也漸漸過渡到 半導體存儲器，使計算機的體積更小，大大降低了計算機計算時的功耗，由於減少了 焊點和 接插件，進一步提高了計算機的可靠性。
第四代計算機——大規模和超大規模集成電路計算機（時間1971~至今）
隨著大規模集成電路的成功製作並用於計算機硬體生產過程，計算機的體積進一步縮小，性能進一步提高。集成更高的大容量半導體存儲器作為內存儲器，發展了並行技術和多機系統，出現了 精簡指令集計算機（RISC），軟體系統工程化、理論化，程序設計自動化。微型計算機在社會上的應用范圍進一步擴大，幾乎所有領域都能看到計算機的「身影」。
第五代計算機——泛指具有人工智慧的計算機（至今~未來）
目前還沒有明確地定義
2 簡述計算機軟體的發展歷史
編程語言的發展
計算機軟體系統的發展，也伴隨著編程語言的發展。計算機程序設計語言的發展，經歷了從機器語言、匯編語言到高級語言的歷程。
機器語言：簡單點說，機器本身也只認識0和1，電路無非就只有通和斷兩種狀態，對應的二進制就是二進制的1和1。
匯編語言：匯編語言只是把一些特殊的二進制用特殊的符號表示，例如，機器要傳送一個數據，假設「傳送」這個指令對應的機器碼是000101，則人們把000101用一個特殊符號，比如mov來表示，當人們要用這個指令時用mov就行，但是mov的本質還是000101，沒有脫離硬體的范圍，有可能這個指令不能在其他機器上用。
高級語言：高級語言完全脫離了硬體范疇，所有的語法更貼近人類的自然語言，人們只需要清楚高級語言的語法，寫出程序就行了，剩下的交給編譯器或者解釋器去編譯或者解釋成機器語言就行了，看，這樣就完全脫離了硬體的范疇，大大提高了程序的開發效率。接下來我們就來看看高級語言的發展，高級語言非常多，我們主要看看比較經典的幾個。
高級語言的發展
B語言與Unix
20世紀60年代，貝爾實驗室的研究員Ken Thompson（肯·湯普森）發明了B語言，並使用B編了個游戲 - Space Travel，他想玩自己這個游戲，所以他背著老闆找到了台空閑的機器 - PDP-7，但是這台機器沒有操作系統，於是Thompson著手為PDP-7開發操作系統，後來這個OS被命名為 - UNIX。
C語言
1971年，Ken Thompson（肯·湯普森）的同事D.M.Ritchie（DM里奇），也很想玩Space Travel，所以加入了Ken Thompson，合作開發UNIX，他的主要工作是改進Thompson的B語言。最終，在1972年這個新語言被稱為C，取BCPL的第二個字母，也是B的下一個字母。
C語言和Unix
1973年，C主體完成。Ken Thompson和D.M.Ritchie迫不及待的開始用C語言完全重寫了UNIX。此時編程的樂趣已經使他們完全忘記了那個「Space Travel」，一門心思的投入到了UNIX和C語言的開發中。自此，C語言和UNIX相輔相成的發展至今。
類C語言起源、歷史
C++（C plus plus Programming Language） - 1983
還是貝爾實驗室的人，Bjarne Stroustrup（本賈尼·斯特勞斯特盧普） 在C語言的基礎上推出了C++，它擴充和完善了C語言，特別是在面向對象編程方面。一定程度上克服了C語言編寫大型程序時的不足。
Python （Python Programming Language）--1991
1989年聖誕節期間，Guido van Rossum 在阿姆斯特丹，Guido van Rossum為了打發聖誕節的無趣，決心開發一個新的腳本解釋程序，做為ABC語言的一種繼承。之所以選中Python（大蟒蛇的意思）作為該編程語言的名字，是因為他是一個叫Monty Python的喜劇團體的愛好者。第一個Python的版本發布於1991年。
Java（Java Programming Language） - 1995
Sun公司的Patrick Naughton的工作小組研發了Java語言，主要成員是James Gosling（詹姆斯·高斯林）
C（C Sharp Programming Language） - 2000
Microsoft公司的Anders Hejlsberg（安德斯·海爾斯伯格）發明了C，他也是Delphi語言之父。
當然現在還有一些新語言，比如2009年Google的go語言，以及麻省理工的julia等。
3 為什麼是Python
Python有哪些優點
1 語法簡單 漂亮：我們可以說Python是簡約的語言，非常易於讀寫。在遇到問題時，我們可以把更多的注意力放在問題本身上，而不用花費太多精力在程序語言、語法上。
2 豐富而免費的庫：Python社區創造了各種各樣的Python庫。在他們的幫助下，你可以管理文檔，執行單元測試、資料庫、web瀏覽器、電子郵件、密碼學、圖形用戶界面和更多的東西。所有東西包括在標准庫，然而，除了它，還有很多其他的庫。
3 開源：Python是免費開源的。這意味著我們不用花錢，就可以共享、復制和交換它，這也幫助Python形成了豐富的社區資源，使其更加完善，技術發展更快。
4 Python既支持面向過程，也支持面向對象編程。在面向過程編程中，程序員復用代碼，在面向對象編程中，使用基於數據和函數的對象。盡管面向對象的程序語言通常十分復雜，Python卻設法保持簡潔。
5 Python兼容眾多平台，所以開發者不會遇到使用其他語言時常會遇到的困擾。
Python有哪些作用
Python是什麼都能做，但是我們學的是數據分析，我們看看在數據分析領域Python能做什麼。
數據採集：以Scrapy 為代表的各類方式的爬蟲
數據鏈接：Python有大量各類資料庫的第三方包，方便快速的實現增刪改查
數據清洗：Numpy、Pandas，結構化和非結構化的數據清洗及數據規整化的利器
數據分析：Scikit-Learn、Scipy，統計分析，科學計算、建模等
數據可視化：Matplotlib、Seaborn等等大量各類可視化的庫
所以說總結， 為什麼數據科學選的是python， 最重要就是兩個原因：
1 語法簡單漂亮
2 大量豐富免費的第三方庫