python做回歸
① python做邏輯回歸 怎麼把導入的數據分成x,y
簡介
本例子是通過對一組邏輯回歸映射進行輸出，使得網路的權重和偏置達到最理想狀態，最後再進行預測。其中，使用GD演算法對參數進行更新，損耗函數採取交叉商來表示，一共訓練10000次。
2.python代碼
#!/usr/bin/python
import numpy
import theano
import theano.tensor as T
rng=numpy.random
N=400
feats=784
# D[0]:generate rand numbers of size N,element between (0,1)
# D[1]:generate rand int number of size N,0 or 1
D=(rng.randn(N,feats),rng.randint(size=N,low=0,high=2))
training_steps=10000
# declare symbolic variables
x=T.matrix('x')
y=T.vector('y')
w=theano.shared(rng.randn(feats),name='w') # w is shared for every input
b=theano.shared(0.,name='b') # b is shared too.
print('Initial model:')
print(w.get_value())
print(b.get_value())
# construct theano expressions,symbolic
p_1=1/(1+T.exp(-T.dot(x,w)-b)) # sigmoid function,probability of target being 1
prediction=p_1>0.5
xent=-y*T.log(p_1)-(1-y)*T.log(1-p_1) # cross entropy
cost=xent.mean()+0.01*(w**2).sum() # cost function to update parameters
gw,gb=T.grad(cost,[w,b]) # stochastic gradient descending algorithm
#compile
train=theano.function(inputs=[x,y],outputs=[prediction,xent],updates=((w,w-0.1*gw),(b,b-0.1*gb)))
predict=theano.function(inputs=[x],outputs=prediction)
# train
for i in range(training_steps):
pred,err=train(D[0],D[1])
print('Final model:')
print(w.get_value())
print(b.get_value())
print('target values for D:')
print(D[1])
print('prediction on D:')
print(predict(D[0]))
print('newly generated data for test:')
test_input=rng.randn(30,feats)
print('result:')
print(predict(test_input))
3.程序解讀
如上面所示，首先導入所需的庫，theano是一個用於科學計算的庫。然後這里我們隨機產生一個輸入矩陣，大小為400*784的隨機數，隨機產生一個輸出向量大小為400，輸出向量為二值的。因此，稱為邏輯回歸。
然後初始化權重和偏置，它們均為共享變數(shared)，其中權重初始化為較小的數，偏置初始化為0，並且列印它們。
這里我們只構建一層網路結構，使用的激活函數為logistic sigmoid function，對輸入量乘以權重並考慮偏置以後就可以算出輸入的激活值，該值在(0,1)之間，以0.5為界限進行二值化，然後算出交叉商和損耗函數，其中交叉商是代表了我們的激活值與實際理論值的偏離程度。接著我們使用cost分別對w,b進行求解偏導，以上均為符號表達式運算。
接著我們使用theano.function進行編譯優化，提高計算效率。得到train函數和predict函數，分別進行訓練和預測。
接著，我們對數據進行10000次的訓練，每次訓練都會按照GD演算法進行更新參數，最後我們得到了想要的模型，產生一組新的輸入，即可進行預測。
② 使用Python的線性回歸問題，怎麼解決
本文中，我們將進行大量的編程——但在這之前，我們先介紹一下我們今天要解決的實例問題。
1) 預測房子價格
閃電俠是一部由劇作家/製片人Greg Berlanti、Andrew Kreisberg和Geoff Johns創作，由CW電視台播放的美國電視連續劇。它基於DC漫畫角色閃電俠（Barry Allen），一個具有超人速度移動能力的裝扮奇特的打擊犯罪的超級英雄，這個角色是由Robert Kanigher、John Broome和Carmine Infantino創作。它是綠箭俠的衍生作品，存在於同一世界。該劇集的試播篇由Berlanti、Kreisberg和Johns寫作，David Nutter執導。該劇集於2014年10月7日在北美首映，成為CW電視台收視率最高的電視節目。
綠箭俠是一部由劇作家/製片人 Greg Berlanti、Marc Guggenheim和Andrew Kreisberg創作的電視連續劇。它基於DC漫畫角色綠箭俠，一個由Mort Weisinger和George Papp創作的裝扮奇特的犯罪打擊戰士。它於2012年10月10日在北美首映，與2012年末開始全球播出。主要拍攝於Vancouver、British Columbia、Canada，該系列講述了億萬花花公子Oliver Queen，由Stephen Amell扮演，被困在敵人的島嶼上五年之後，回到家鄉打擊犯罪和腐敗，成為一名武器是弓箭的神秘義務警員。不像漫畫書中，Queen最初沒有使用化名」綠箭俠「。
由於這兩個節目並列為我最喜愛的電視節目頭銜，我一直想知道哪個節目更受其他人歡迎——誰會最終贏得這場收視率之戰。 所以讓我們寫一個程序來預測哪個電視節目會有更多觀眾。 我們需要一個數據集，給出每一集的觀眾。幸運地，我從維基網路上得到了這個數據，並整理成一個.csv文件。它如下所示。
閃電俠
閃電俠美國觀眾數
綠箭俠
綠箭俠美國觀眾數
1 4.83 1 2.84
2 4.27 2 2.32
3 3.59 3 2.55
4 3.53 4 2.49
5 3.46 5 2.73
6 3.73 6 2.6
7 3.47 7 2.64
8 4.34 8 3.92
9 4.66 9 3.06
觀眾數以百萬為單位。
解決問題的步驟：
首先我們需要把數據轉換為X_parameters和Y_parameters，不過這里我們有兩個X_parameters和Y_parameters。因此，把他們命名為flash_x_parameter、flash_y_parameter、arrow_x_parameter、arrow_y_parameter吧。然後我們需要把數據擬合為兩個不同的線性回歸模型——先是閃電俠，然後是綠箭俠。 接著我們需要預測兩個電視節目下一集的觀眾數量。 然後我們可以比較結果，推測哪個節目會有更多觀眾。
步驟1
導入我們的程序包：
Python
1
2
3
4
5
6
7
# Required Packages
import csv
import sys
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn import datasets, linear_model
步驟2
寫一個函數，把我們的數據集作為輸入，返回flash_x_parameter、flash_y_parameter、arrow_x_parameter、arrow_y_parameter values。
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
# Function to get data
def get_data(file_name):
data = pd.read_csv(file_name)
flash_x_parameter = []
flash_y_parameter = []
arrow_x_parameter = []
arrow_y_parameter = []
for x1,y1,x2,y2 in zip(data['flash_episode_number'],data['flash_us_viewers'],data['arrow_episode_number'],data['arrow_us_viewers']):
flash_x_parameter.append([float(x1)])
flash_y_parameter.append(float(y1))
arrow_x_parameter.append([float(x2)])
arrow_y_parameter.append(float(y2))
return flash_x_parameter,flash_y_parameter,arrow_x_parameter,arrow_y_parameter
現在我們有了我們的參數，來寫一個函數，用上面這些參數作為輸入，給出一個輸出，預測哪個節目會有更多觀眾。
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# Function to know which Tv show will have more viewers
def more_viewers(x1,y1,x2,y2):
regr1 = linear_model.LinearRegression()
regr1.fit(x1, y1)
predicted_value1 = regr1.predict(9)
print predicted_value1
regr2 = linear_model.LinearRegression()
regr2.fit(x2, y2)
predicted_value2 = regr2.predict(9)
#print predicted_value1
#print predicted_value2
if predicted_value1 > predicted_value2:
print "The Flash Tv Show will have more viewers for next week"
else:
print "Arrow Tv Show will have more viewers for next week"
把所有東西寫在一個文件中。打開你的編輯器，把它命名為prediction.py，復制下面的代碼到prediction.py中。
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
# Required Packages
import csv
import sys
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from sklearn import datasets, linear_model
# Function to get data
def get_data(file_name):
data = pd.read_csv(file_name)
flash_x_parameter = []
flash_y_parameter = []
arrow_x_parameter = []
arrow_y_parameter = []
for x1,y1,x2,y2 in zip(data['flash_episode_number'],data['flash_us_viewers'],data['arrow_episode_number'],data['arrow_us_viewers']):
flash_x_parameter.append([float(x1)])
flash_y_parameter.append(float(y1))
arrow_x_parameter.append([float(x2)])
arrow_y_parameter.append(float(y2))
return flash_x_parameter,flash_y_parameter,arrow_x_parameter,arrow_y_parameter
# Function to know which Tv show will have more viewers
def more_viewers(x1,y1,x2,y2):
regr1 = linear_model.LinearRegression()
regr1.fit(x1, y1)
predicted_value1 = regr1.predict(9)
print predicted_value1
regr2 = linear_model.LinearRegression()
regr2.fit(x2, y2)
predicted_value2 = regr2.predict(9)
#print predicted_value1
#print predicted_value2
if predicted_value1 > predicted_value2:
print "The Flash Tv Show will have more viewers for next week"
else:
print "Arrow Tv Show will have more viewers for next week"
x1,y1,x2,y2 = get_data('input_data.csv')
#print x1,y1,x2,y2
more_viewers(x1,y1,x2,y2)
可能你能猜出哪個節目會有更多觀眾——但運行一下這個程序看看你猜的對不對。
3) 替換數據集中的缺失值
有時候，我們會遇到需要分析包含有缺失值的數據的情況。有些人會把這些缺失值捨去，接著分析；有些人會用最大值、最小值或平均值替換他們。平均值是三者中最好的，但可以用線性回歸來有效地替換那些缺失值。
這種方法差不多像這樣進行。
首先我們找到我們要替換那一列里的缺失值，並找出缺失值依賴於其他列的哪些數據。把缺失值那一列作為Y_parameters，把缺失值更依賴的那些列作為X_parameters，並把這些數據擬合為線性回歸模型。現在就可以用缺失值更依賴的那些列預測缺失的那一列。
一旦這個過程完成了，我們就得到了沒有任何缺失值的數據，供我們自由地分析數據。
為了練習，我會把這個問題留給你，所以請從網上獲取一些缺失值數據，解決這個問題。一旦你完成了請留下你的評論。我很想看看你的結果。
個人小筆記：
我想分享我個人的數據挖掘經歷。記得在我的數據挖掘引論課程上，教師開始很慢，解釋了一些數據挖掘可以應用的領域以及一些基本概念。然後突然地，難度迅速上升。這令我的一些同學感到非常沮喪，被這個課程嚇到，終於扼殺了他們對數據挖掘的興趣。所以我想避免在我的博客文章中這樣做。我想讓事情更輕松隨意。因此我嘗試用有趣的例子，來使讀者更舒服地學習，而不是感到無聊或被嚇到。
謝謝讀到這里——請在評論框里留下你的問題或建議，我很樂意回復你。
③ 求python支持向量機多元回歸預測代碼
這是一段用 Python 來實現 SVM 多元回歸預測的代碼示例：
# 導入相關核胡庫
from sklearn import datasets
from sklearn.svm import SVR
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
# 載入數據集
X, y = datasets.load_boston(return_X_y=True)
# 將數據集拆分為訓練集和測試改塌攔集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
# 創建SVM多元回歸模型
reg = SVR(C=1.0, epsilon=0.2)
# 訓練模型
reg.fit(X_train, y_train)
# 預測結果
y_pred = reg.predict(X_test)
# 計算均方誤差
mse = mean_squared_error(y_test, y_pred)
print("Mean Squared Error:", mse)
在這段代碼中，首先導入了相關的庫，包括 SVR 函數衫仔、train_test_split 函數和 mean_squared_error 函數。然後，使用 load_boston 函數載入數據集，並將數據集分為訓練集和測試集。接著，使用 SVR 函數創建了一個 SVM 多元回歸模型，並使用 fit 函數對模型進行訓練。最後，使用 predict 函數進行預測，並使用 mean_squared_error 函數計算均方誤差。
需要注意的是，這僅僅是一個示例代碼，在實際應用中，可能需要根據項目的需求進行更改，例如使用不同的超參數
④ 如何用python作空間自回歸模型
基本形式
線性模型(linear model)就是試圖通過屬性的線性組合來進行預測的函數，基本形式如下：
f(x)=wTx+b
許多非線性模型可在線性模型的基礎上通過引入層結構或者高維映射（比如核方法）來解決。線性模型有很好的解釋性。
線性回歸
線性回歸要求均方誤差最小:
(w∗,b∗)=argmin∑i=1m(f(xi)−yi)2
均方誤差有很好的幾何意義，它對應了常用的歐式距離(Euclidean distance)。基於均方誤差最小化來進行模型求解稱為最小二乘法(least square method)，線性回歸中，最小二乘發就是試圖找到一條直線，使得所有樣本到直線的歐式距離之和最小。
我們把上式寫成矩陣的形式：
w∗=argmin(y−Xw)T(y−Xw)
這里我們把b融合到w中，X中最後再加一列1。為了求最小值，我們對w求導並令其為0：
2XT(Xw−y)=0
當XTX為滿秩矩陣(full-rank matrix)時是可逆的。此時：
w=(XTX)−1XTy
令xi=(xi,1)，可以得到線性回歸模型：
f(xi)=xTi(XTX)−1XTy
⑤ python多元線性回歸怎麼計算
1、什麼是多元線性回歸模型？
當y值的影響因素不唯一時,採用多元線性回歸模型。
y =y=β0+β1x1+β2x2+...+βnxn
例如商品的銷售額可能不電視廣告投入,收音機廣告投入,報紙廣告投入有關系,可以有 sales =β0+β1*TV+β2* radio+β3*newspaper.
2、使用pandas來讀取數據
pandas 是一個用於數據探索、數據分析和數據處理的python庫
[python]view plain
importpandasaspd
<prename="code"class="python">#
data=pd.read_csv('/home/lulei/Advertising.csv')
#displaythefirst5rows
data.head()
- 這里的Advertising.csv是來自Advertising.csv。大家可以自己下載。
- TV Radio Newspaper Sales
- 0 230.1 37.8 69.2 22.1
- 1 44.5 39.3 45.1 10.4
- 2 17.2 45.9 69.3 9.3
- 3 151.5 41.3 58.5 18.5
- 4 180.8 10.8 58.4 12.9
Series類似於一維數組，它有一組數據以及一組與之相關的數據標簽(即索引)組成。
DataFrame是一個表格型的數據結構，它含有一組有序的列，每列可以是不同的值類型。DataFrame既有行索引也有列索引，它可以被看做由Series組成的字典。
#displaythelast5rows
data.tail()
- 只顯示結果的末尾5行
- TV Radio Newspaper Sales
- 195 38.2 3.7 13.8 7.6
- 196 94.2 4.9 8.1 9.7
- 197 177.0 9.3 6.4 12.8
- 198 283.6 42.0 66.2 25.5
- 199 232.1 8.6 8.7 13.4
#checktheshapeoftheDataFrame(rows,colums)
data.shape
- 查看DataFrame的形狀,注意第一列的叫索引，和資料庫某個表中的第一列類似。
TV：對於一個給定市場中單一產品，用於電視上的廣告費用（以千為單位）
Radio：在廣播媒體上投資的廣告費用
Newspaper：用於報紙媒體的廣告費用
Sales：對應產品的銷量
importseabornassns
importmatplotlib.pyplotasplt
#ots
sns.pairplot(data,x_vars=['TV','Radio','Newspaper'],y_vars='Sales',size=7,aspect=0.8)
plt.show()#注意必須加上這一句，否則無法顯示。
這里選擇TV、Radio、Newspaper作為特徵，Sales作為觀測值
返回的結果：
- seaborn的pairplot函數繪制X的每一維度和對應Y的散點圖。通過設置size和aspect參數來調節顯示的大小和比例。可以從圖中看出，TV特徵和銷量是有比較強的線性關系的，而Radio和Sales線性關系弱一些，Newspaper和Sales線性關系更弱。通過加入一個參數kind='reg'，seaborn可以添加一條最佳擬合直線和95%的置信帶。
sns.pairplot(data,x_vars=['TV','Radio','Newspaper'],y_vars='Sales',size=7,aspect=0.8,kind='reg')
plt.show()
- 結果顯示如下：
#
feature_cols=['TV','Radio','Newspaper']
#
X=data[feature_cols]
#
#X=data[['TV','Radio','Newspaper']]#只需修改這里即可<prename="code"class="python"style="font-size:15px;line-height:35px;">X=data[['TV','Radio']]#去掉newspaper其他的代碼不變
- # print the first 5 rowsprint X.head()# check the type and shape of Xprint type(X)print X.shape
- 2.81843904823
- [ 0.04588771 0.18721008]
- RMSE by hand: 1.28208957507
- 然後再次使用ROC曲線來觀測曲線的整體情況。我們在將Newspaper這個特徵移除之後，得到RMSE變小了，說明Newspaper特徵可能不適合作為預測銷量的特徵，於是，我們得到了新的模型。我們還可以通過不同的特徵組合得到新的模型，看看最終的誤差是如何的。
- 之前我提到了這種錯誤：
- ImportError Traceback (most recent call last)<ipython-input-182-3eee51fcba5a> in <mole>() 1 ###構造訓練集和測試集----> 2 from sklearn.cross_validation import train_test_split 3 #import sklearn.cross_validation 4 X_train,X_test, y_train, y_test = train_test_split(X, y, random_state=1) 5 # default split is 75% for training and 25% for testingImportError: cannot import name train_test_split
- 這里我給出我自己寫的函數：
importrandom
<spanstyle="font-family:microsoftyahei;">######自己寫一個隨機分配數的函數，分成兩份，並將數值一次存儲在對應的list中##########
deftrain_test_split(ylabel,random_state=1):
importrandom
index=random.sample(range(len(ylabel)),50*random_state)
list_train=[]
list_test=[]
i=0
forsinrange(len(ylabel)):
ifiinindex:
list_test.append(i)
else:
list_train.append(i)
i+=1
returnlist_train,list_test
###############對特徵進行分割#############################
feature_cols=['TV','Radio','Newspaper']
X1=data[feature_cols]
[html]view plain
上面代碼的運行結果：
上面顯示的結果類似一個電子表格，這個結構稱為Pandas的數據幀(data frame)，類型全稱：pandas.core.frame.DataFrame.
pandas的兩個主要數據結構：Series和DataFrame：
[python]view plain
[html]view plain
(200,4)
3、分析數據
特徵：
響應：
在這個案例中，我們通過不同的廣告投入，預測產品銷量。因為響應變數是一個連續的值，所以這個問題是一個回歸問題。數據集一共有200個觀測值，每一組觀測對應一個市場的情況。
注意：這里推薦使用的是seaborn包。網上說這個包的數據可視化效果比較好看。其實seaborn也應該屬於matplotlib的內部包。只是需要再次的單獨安裝。
[python]view plain
[html]view plain
[html]view plain
[python]view plain
直到這里整個的一次多元線性回歸的預測就結束了。
6、改進特徵的選擇
在之前展示的數據中，我們看到Newspaper和銷量之間的線性關系竟是負關系（不用驚訝，這是隨機特徵抽樣的結果。換一批抽樣的數據就可能為正了），現在我們移除這個特徵，看看線性回歸預測的結果的RMSE如何？
依然使用我上面的代碼，但只需修改下面代碼中的一句即可：
[python]view plain
最後的到的系數與測度如下：
LinearRegression(_X=True, fit_intercept=True, normalize=False)
備註：
註：上面的結果是由train_test_spilit()得到的，但是我不知道為什麼我的版本的sklearn包中居然報錯：
處理方法：1、我後來重新安裝sklearn包。再一次調用時就沒有錯誤了。
2、自己寫函數來認為的隨機構造訓練集和測試集。(這個代碼我會在最後附上。)
[python]view plain
[python]view plain