pythontarget

① 如何用python在10分鍾內建立一個預測模型

預測模型的分解過程
我總是集中於投入有質量的時間在建模的初始階段，比如，假設生成、頭腦風暴、討論或理解可能的結果范圍。所有這些活動都有助於我解決問題，並最終讓我設計出更強大的商業解決方案。為什麼你要在前面花費這段時間，這有充分的理由：
你有足夠的時間投入並且你是無經驗的（這是有影響的）
你不帶有其它數據觀點或想法的偏見（我總是建議，在深入研究數據之前做假設生成）
在後面的階段，你會急於完成該項目而沒有能力投入有質量的時間了。
這個階段需要投入高質量時間，因此我沒有提及時間表，不過我建議你把它作為標準的做法。這有助於你建立建立更好地預測模型，在後面的階段的只需較少的迭代工作。讓我們來看看建立第一個模型的剩餘階段的時間表：
數據描述性分析——50%的時間
數據預處理（缺失值和異常值修復）——40%的時間
數據建模——4%的時間
性能預測——6%的時間
讓我們一步一步完成每個過程（每一步投入預測的時間）：
階段1：描述性分析/數據探索
在我剛開始成為數據科學家的時候，數據探索占據了我大量的時間。不過，隨著時間的推移，我已經把大量的數據操作自動化了。由於數據准備占據建立第一個模型工作量的50%，自動化的好處是顯而易見的。
這是我們的第一個基準模型，我們去掉任何特徵設計。因此，描述分析所需的時間僅限於了解缺失值和直接可見的大的特徵。在我的方法體系中，你將需要2分鍾來完成這一步（假設，100000個觀測數據集）。
我的第一個模型執行的操作：
確定ID，輸入特徵和目標特徵
確定分類和數值特徵
識別缺失值所在列
階段2：數據預處理（缺失值處理）
有許多方法可以解決這個問題。對於我們的第一個模型，我們將專注於智能和快速技術來建立第一個有效模型。
為缺失值創建假標志：有用，有時缺失值本身就攜帶了大量的信息。
用均值、中位數或其它簡單方法填補缺失值：均值和中位數填補都表現良好，大多數人喜歡用均值填補但是在有偏分布的情況下我建議使用中位數。其它智能的方法與均值和中位數填補類似，使用其它相關特徵填補或建立模型。比如，在Titanic生存挑戰中，你可以使用乘客名字的稱呼，比如：「Mr.」, 「Miss.」,」Mrs.」,」Master」，來填補年齡的缺失值，這對模型性能有很好的影響。
填補缺失的分類變數：創建一個新的等級來填補分類變數，讓所有的缺失值編碼為一個單一值比如，「New_Cat」，或者，你可以看看頻率組合，使用高頻率的分類變數來填補缺失值。
由於數據處理方法如此簡單，你可以只需要3到4分鍾來處理數據。
階段3：數據建模
根據不同的業務問題，我推薦使用GBM或RandomForest技術的任意一種。這兩個技術可以極其有效地創建基準解決方案。我已經看到數據科學家通常把這兩個方法作為他們的第一個模型同時也作為最後一個模型。這最多用去4到5分鍾。
階段4：性能預測
有各種各樣的方法可以驗證你的模型性能，我建議你將訓練數據集劃分為訓練集和驗證集（理想的比例是70：30）並且在70%的訓練數據集上建模。現在，使用30%的驗證數據集進行交叉驗證並使用評價指標進行性能評估。最後需要1到2分鍾執行和記錄結果。
本文的目的不是贏得比賽，而是建立我們自己的基準。讓我們用python代碼來執行上面的步驟，建立你的第一個有較高影響的模型。
讓我們開始付諸行動
首先我假設你已經做了所有的假設生成並且你擅長使用python的基本數據科學操作。我用一個數據科學挑戰的例子來說明。讓我們看一下結構：
步驟1：導入所需的庫，讀取測試和訓練數據集。
#導入pandas、numpy包，導入LabelEncoder、random、RandomForestClassifier、GradientBoostingClassifier函數
import pandas as pd
import numpy as np
fromsklearn.preprocessing import LabelEncoder
import random
fromsklearn.ensemble import RandomForestClassifier
from sklearn.ensembleimport GradientBoostingClassifier
#讀取訓練、測試數據集
train=pd.read_csv('C:/Users/AnalyticsVidhya/Desktop/challenge/Train.csv')
test=pd.read_csv('C:/Users/AnalyticsVidhya/Desktop/challenge/Test.csv')
#創建訓練、測試數據集標志
train='Train'
test='Test'
fullData =pd.concat(,axis=0) #聯合訓練、測試數據集
步驟2：該框架的第二步並不需要用到python，繼續下一步。
步驟3：查看數據集的列名或概要
fullData.columns # 顯示所有的列名稱
fullData.head(10) #顯示數據框的前10條記錄
fullData.describe() #你可以使用describe()函數查看數值域的概要
步驟4：確定a)ID變數 b)目標變數 c)分類變數 d)數值變數 e)其他變數。
ID_col =
target_col =
cat_cols =
num_cols= list(set(list(fullData.columns))-set(cat_cols)-set(ID_col)-set(target_col)-set(data_col))
other_col= #為訓練、測試數據集設置標識符
步驟5：識別缺失值變數並創建標志
fullData.isnull().any()#返回True或False，True意味著有缺失值而False相反
num_cat_cols = num_cols+cat_cols # 組合數值變數和分類變數
#為有缺失值的變數創建一個新的變數
# 對缺失值標志為1，否則為0
for var in num_cat_cols:
if fullData.isnull().any()=True:
fullData=fullData.isnull()*1
步驟6：填補缺失值
#用均值填補數值缺失值
fullData = fullData.fillna(fullData.mean(),inplace=True)
#用-9999填補分類變數缺失值
fullData = fullData.fillna(value = -9999)
步驟7：創建分類變數的標簽編碼器，將數據集分割成訓練和測試集，進一步，將訓練數據集分割成訓練集和測試集。
#創建分類特徵的標簽編碼器
for var in cat_cols:
number = LabelEncoder()
fullData = number.fit_transform(fullData.astype('str'))
#目標變數也是分類變數，所以也用標簽編碼器轉換
fullData = number.fit_transform(fullData.astype('str'))
train=fullData='Train']
test=fullData='Test']
train = np.random.uniform(0, 1, len(train)) <= .75
Train, Validate = train=True], train=False]
步驟8：將填補和虛假（缺失值標志）變數傳遞到模型中，我使用隨機森林來預測類。
features=list(set(list(fullData.columns))-set(ID_col)-set(target_col)-set(other_col))
x_train = Train.values
y_train = Train.values
x_validate = Validate.values
y_validate = Validate.values
x_test=test.values
random.seed(100)
rf = RandomForestClassifier(n_estimators=1000)
rf.fit(x_train, y_train)
步驟9：檢查性能做出預測
status = rf.predict_proba(x_validate)
fpr, tpr, _ = roc_curve(y_validate, status)
roc_auc = auc(fpr, tpr)
print roc_auc
final_status = rf.predict_proba(x_test)
test=final_status
test.to_csv('C:/Users/Analytics Vidhya/Desktop/model_output.csv',columns=)
現在可以提交了！

② 怎麼用python做自動化測試

1新建一台Jenkins伺服器，安裝並配置好Jenkins2配置一個自動化測試腳本的代碼庫，可以使用Git或者SVN等版本控制工具。然後在Jenkins伺服器上配置一個Job，負責自動的同步最新代碼到Jenkins伺服器上。3配置要跑自動化測試的虛擬機VM，推薦干凈環境下安裝需要跑自動化測試的依賴軟體工具或者配置以及自動化測試工具（不提前安裝配置也行，可以在跑自動化之前用另外的腳本自動安裝配置），配置好之後關機並打一個snapshot鏡像快照，並命名為prebuild或其它。4新建一個JenkinsJob，用來跑自動化。配置需要連接並使用的自動化測試虛擬機，配置要構建的自動化測試框架xml腳本文件（後面步驟有說明）和target，以及要歸檔的測試報告，郵件發送等等。5接下來的重點就是自動化測試框架的xml腳本文件了，首先裡面定義一個target，負責獲取自動化測試對象的安裝包。6接著定義一個target（可選），負責從版本庫上獲取自動化測試腳本同步到Jenkins伺服器上（也可以直接使用JenkinsJob本身的插件配置來獲取代碼）。7定義一個target，負責連接到虛擬機伺服器，並恢復到虛擬機的原始狀態例如prebuild，然後開機8定義一個target，負責拷貝項目產品安裝包和自動化測試源代碼到目標虛擬機上。9定義一個target，負責連接到目標測試虛擬機，並打開自動化測試工具，然後運行自動化測試腳本10定義一個target，負責處理自動化測試報告文件和日誌文件並把它們從自動化測試虛擬機拷貝到Jenkins伺服器對應的Job工作空間下。11最後定義一個主target，按照上面的target流程依次調用。這個主target就是Jenkins伺服器上的自動化測試Job中配置的需要構建的Target。

③ Python基本語法與變數

<a href="http://www.hqqt.com/webnews/16012053908371.html" title="Python的多行語句" target="_blank">Python的多行語句

如語句過長，導致編輯器的窗口寬度不能完全完全顯示時。就可以使用“”符合將一行語句分為多行顯示。

Python引導

在Python語言中，引號主要用於表示字元串。可以使用單引號(')、雙引號(”)、三引號(’’’)，引號必須成對使用。單引號和雙引號用於程序中的字元串表示;三引號允許一個字元串可以跨多行、字元串中可以包含換行符、製表符以及其他特殊字元，三引號也用於程序中的注釋。

Python標識符

標識符用於Python語言的變數、關鍵字、函數、對象等數據的命名。標識符的命名需要遵循下面的規則。

① 可以由字母(大寫A—Z或小寫a—z)、數字(0—9)和_(下劃線)組合而成，但不能由數字開頭;

② 不能包含除_以外的任何特殊字元，如：%、#、&、逗號、空格等;

③ 不能包含空白字元(換行符、空格和製表符稱為空白字元);

④ 標識符不能是Python語言的關鍵字和保留字;

⑤ 標識符區分大小寫，num1和Num2是兩個不同的標識符。

⑥ 標識符的命名要有意義，做到見名知意。

Python關鍵字

Python預先定義了一部分有特別意義的標識符，用於語言自身使用。這部分標識符稱為關鍵字或保留字，不能用於其它用途，否則會引起語法錯誤，隨著Python語言的發展，其預留的關鍵字也會有所變化。表1列出了Python預留的關鍵字。

變數

用標識符命名的存儲單元的地址稱為變數，變數是用來存儲數據的，通過標識符可以獲取變數的值，也可以對變數進行賦值。對變數賦值的意思是將值賦給變數，賦值完成後，變數所指向的存儲單元存儲了被賦的值，在Pyhton語言中賦值操作符為“=、+=、-=、*=、/=、%=、**=、//=”。

當程序使用變數存儲數據時，必須要先聲明變數，然後才能使用。

可以在變數聲明時給變數賦值，也可以不賦值。聲明變數時，不需要聲明數據類型，Python會自動選擇數據類型進行匹配。

關於Python基本語法與變數，青藤小編就和您分享到這里了。如果您對python編程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於python編程的技巧及素材等內容，可以點擊本站的其他文章進行學習。

以上是小編為大家分享的關於Python基本語法與變數的相關內容，更多信息可以關注環球青藤分享更多干貨