多元線性回歸演算法

Ⅰ 線性回歸演算法原理（越詳細越好）

線性回歸是利用數理統計中的回歸分析，來確定兩種或兩種以上變數間相互依賴的定量關系的一種統計分析方法之一，運用十分廣泛。

分析按照自變數和因變數之間的關系類型，可分為線性回歸分析和非線性回歸分析。

如果在回歸分析中，只包括一個自變數和一個因變數，且二者的關系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩個以上的自變數，且因變數和自變數之間是線性關系，則稱為多元線性回歸分析。

我們以一簡單數據組來說明什麼是線性回歸。假設有一組數據型態為y=y(x)，其中

x={0,1,2,3,4,5},y={0,20,60,68,77,110}

如果我們要以一個最簡單的方程式來近似這組數據，則非一階的線性方程式莫屬。先將這組數據繪圖如下

圖中的斜線是我們隨意假設一階線性方程式y=20x，用以代表這些數據的一個方程式。以下將上述繪圖的MATLAB指令列出，並計算這個線性方程式的y值與原數據y值間誤差平方的總合。

>>x=[012345];

>>y=[020606877110];

>>y1=20*x;%一階線性方程式的y1值

>>sum_sq=sum(y-y1).^2);%誤差平方總合為573

>>axis([-1,6,-20,120])

>>plot(x,y1,x,y,'o'),title('Linearestimate'),grid

如此任意的假設一個線性方程式並無根據，如果換成其它人來設定就可能採用不同的線性方程式；所以我們須要有比較精確方式決定理想的線性方程式。我們可以要求誤差平方的總合為最小，做為決定理想的線性方程式的准則，這樣的方法就稱為最小平方誤差(leastsquareserror)或是線性回歸。MATLAB的polyfit函數提供了從一階到高階多項式的回歸法，其語法為polyfit(x,y,n)，其中x,y為輸入數據組n為多項式的階數，n=1就是一階的線性回歸法。polyfit函數所建立的多項式可以寫成

從polyfit函數得到的輸出值就是上述的各項系數，以一階線性回歸為例n=1，所以只有二個輸出值。如果指令為coef=polyfit(x,y,n)，則coef(1)=,coef(2)=,...,coef(n+1)=。注意上式對n階的多項式會有n+1項的系數。我們來看以下的線性回歸的示範：

>>x=[012345];

>>y=[020606877110];

>>coef=polyfit(x,y,1);%coef代表線性回歸的二個輸出值

>>a0=coef(1);a1=coef(2);

>>ybest=a0*x+a1;%由線性回歸產生的一階方程式

>>sum_sq=sum(y-ybest).^2);%誤差平方總合為356.82

>>axis([-1,6,-20,120])

>>plot(x,ybest,x,y,'o'),title('Linearregressionestimate'),grid

[編輯本段]線性回歸擬合方程

一般來說，線性回歸都可以通過最小二乘法求出其方程，可以計算出對於y=bx+a的直線，其經驗擬合方程如下：

Ⅱ 線性回歸方程公式

簡單線性回歸方程，可以表示為下圖：

線性回歸方程是利用數理統計中的回歸分析，來確定兩種或兩種以上變數間相互依賴的定量關系的一種統計分析方法之一。線性回歸也是回歸分析中第一種經過嚴格研究並在實際應用中廣泛使用的類型。按自變數個數可分為一元線性回歸分析方程和多元線性回歸分析方程。

分析按照自變數和因變數之間的關系類型，可分為線性回歸分析和非線性回歸分析。如果在回歸分析中，只包括一個自變數和一個因變數，且二者的關系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。

如果回歸分析中包括兩個或兩個以上的自變數，且因變數和自變數之間是線性關系，則稱為多元線性回歸分析。

Ⅲ 多元線性回歸,主成分回歸和偏最小二乘回歸的聯系與區別

做多元線性回歸分析的時候，有可能存在多重共線性的情況，為了消除多重共線性對回歸模型的影響，通常可以採用主成分回歸和偏最小二乘法來提高估計量的穩定性。主成分回歸是對數據做一個正交旋轉變換，變換後的變數都是正交的。（有時候為了去除量綱的影響，會先做中心化處理）。偏最小二乘回歸相當於包含了主成分分析、典型相關分析的思想，分別從自變數與因變數中提取成分T,U（偏最小二乘因子），保證T,U能盡可能多的提取所在變數組的變異信息，同時還得保證兩者之間的相關性最大。偏最小二乘回歸較主成分回歸的優點在於，偏最小二乘回歸可以較好的解決樣本個數少於變數個數的問題，並且除了考慮自變數矩陣外，還考慮了響應矩陣。

Ⅳ matlab多元線性回歸

y=[320 320 160 710 320 320 320 160 710 320];
x1=[2.3 1.7 1.3 1.7 1.7 1.6 1 1.7 1.7 1.7];
x2=[2.3 1.7 1.7 1.6 1.7 1.7 1 1.7 1.7 1.7];
x3=[2.3 1.7 1.3 1.7 1.7 1.7 2 1.7 1.7 1.7];
x4=[2.3 1.7 1.7 1.7 1.7 1.7 1 1.7 1.8 2.7];
x5=[2.3 1.7 1.7 1.3 1.7 1.4 1 1.7 1.7 1.7];
x6=[2.3 1.7 1.7 1.7 1.5 1.7 1 1.7 1.7 1.7];
x7=[2.3 1.7 1.7 1.7 1.7 1.4 1 1.7 1.7 1.7];
x8=[2.3 1.7 1.7 1.7 1.7 1.7 1 1.7 1.7 1.7];
x9=[2.3 1.7 1.7 1.4 1.7 1.7 1 1.7 1.7 1.7];
x10=[2.3 1.7 1.7 1.7 1.5 1.7 1 1.7 1.7 1.7];
Y=y';
X=[ones(length(y),1),x1',x2',x3',x4',x5',x6',x7',x8',x9',x10'];
[b,bint,r,rint,stats]=regress(Y,X)

Ⅳ 多元線性回歸標准誤差多少算正常

回歸標准誤差小於0.5算正常

回歸分析就是利用樣本（已知數據），產生擬合方程，從而（對未知數據）進行預測

回歸演算法(模型):用平均值，期望，方差，標准差進行預測估計

回歸分析中，又依據描述自變數與因變數之間因果關系的函數表達式是線性的還是非線性的，分為線性回歸分析和非線性回歸分析。

通過指數來進行判斷即可，線性就是每個變數的指數都是1(一次方)，為直線形態，而非線性就是至少有一個變數的指數不是1(二次方或多次方)，為曲線形態。

一元線性回歸：

若X與Y之間存在著較強的相關關系，則我們有Y≈α+βX

若α與β的值已知，則給出相應的X值，我們可以根據Y≈α+βX得到相應的Y的預測值

Ⅵ 多元線性回歸為什麼不用最小化殘差四次方，而是用最小化殘差平方和

個人理解，因為平方和開根號，對應空間距離的概念。也就是說最小化殘差平方和，相當於最小化回歸曲線與各點的距離，有更好的直觀意義。當然如果最小化殘差四次方我認為也是可以的，雖然回歸結果不同，但也是一種近似解。另外，從計算復雜度來講，最小化平方比最小化四次方簡單，所以沒必要最小化四次方。當然奇數次方肯定不行，至少也得是絕對值，但這樣又不如直接計算二次方簡單。所以，從計算簡單上來講，最簡單能達到目的的演算法，也就是二次方之和了

Ⅶ 多元線性回歸的舉例

多元線性回歸的基本原理和基本計算過程與一元線性回歸相同，但由於自變數個數多，計算相當麻煩，一般在實際中應用時都要藉助統計軟體。這里只介紹多元線性回歸的一些基本問題。
但由於各個自變數的單位可能不一樣，比如說一個消費水平的關系式中，工資水平、受教育程度、職業、地區、家庭負擔等等因素都會影響到消費水平，而這些影響因素（自變數）的單位顯然是不同的，因此自變數前系數的大小並不能說明該因素的重要程度，更簡單地來說，同樣工資收入，如果用元為單位就比用百元為單位所得的回歸系數要小，但是工資水平對消費的影響程度並沒有變，所以得想辦法將各個自變數化到統一的單位上來。前面學到的標准分就有這個功能，具體到這里來說，就是將所有變數包括因變數都先轉化為標准分，再進行線性回歸，此時得到的回歸系數就能反映對應自變數的重要程度。這時的回歸方程稱為標准回歸方程，回歸系數稱為標准回歸系數，表示如下：
Zy= β1Z*1 + β2Z*2 + … + βkZ*k 1、普通最小二乘法(Ordinary Least Square, OLS)
普通最小二乘法通過最小化誤差的平方和尋找最佳函數。

通過矩陣運算求解系數矩陣
2、廣義最小二乘法(Generalized Least Square)
廣義最小二乘法是普通最小二乘法的拓展，它允許在誤差項存在異方差或自相關，或二者皆有時獲得有效的系數估計值。

其中，Ω是殘差項的協方差矩陣 SPSS（Statistical Package for the Social Science）－－社會科學統計軟體包是世界著名的統計分析軟體之一。20世紀60年代末，美國斯坦福大學的三位研究生研製開發了最早的統計分析軟體SPSS，同時成立了SPSS公司，並於1975年在芝加哥組建了SPSS總部。20世紀80年代以前，SPSS統計軟體主要應用於企事業單位。1984年SPSS總部首先推出了世界第一個統計分析軟體微機版本SPSS/PC+，開創了SPSS微機系列產品的開發方向，從而確立了個人用戶市場第一的地位。同時SPSS公司推行本土化策略，目前已推出9個語種版本。SPSS/PC+的推出，極大地擴充了它的應用范圍，使其能很快地應用於自然科學、技術科學、社會科學的各個領域，世界上許多有影響的報刊雜志紛紛就SPSS的自動統計繪圖、數據的深入分析、使用方便、功能齊全等方面給予了高度的評價與稱贊。目前已經在國內逐漸流行起來。它使用Windows的窗口方式展示各種管理和分析數據方法的功能，使用對話框展示出各種功能選擇項，只要掌握一定的Windows操作技能，粗通統計分析原理，就可以使用該軟體為特定的科研工作服務。
SPSS for Windows是一個組合式軟體包，它集數據整理、分析功能於一身。用戶可以根據實際需要和計算機的功能選擇模塊，以降低對系統硬碟容量的要求，有利於該軟體的推廣應用。SPSS的基本功能包括數據管理、統計分析、圖表分析、輸出管理等等。SPSS統計分析過程包括描述性統計、均值比較、一般線性模型、相關分析、回歸分析、對數線性模型、聚類分析、數據簡化、生存分析、時間序列分析、多重響應等幾大類，每類中又分好幾個統計過程，比如回歸分析中又分線性回歸分析、曲線估計、Logistic回歸、Probit回歸、加權估計、兩階段最小二乘法、非線性回歸等多個統計過程，而且每個過程中又允許用戶選擇不同的方法及參數。SPSS也有專門的繪圖系統，可以根據數據繪制各種圖形。
SPSS for Windows的分析結果清晰、直觀、易學易用，而且可以直接讀取EXCEL及DBF數據文件，現已推廣到多種各種操作系統的計算機上，它和SAS、BMDP並稱為國際上最有影響的三大統計軟體。和國際上幾種統計分析軟體比較，它的優越性更加突出。在眾多用戶對國際常用統計軟體SAS、BMDP、GLIM、GENSTAT、EPILOG、MiniTab的總體印象分的統計中，其諸項功能均獲得最高分 。在國際學術界有條不成文的規定，即在國際學術交流中，凡是用SPSS軟體完成的計算和統計分析，可以不必說明演算法，由此可見其影響之大和信譽之高。最新的14.0版採用DAA（Distributed AnalysisArchitechture，分布式分析系統），全面適應互聯網，支持動態收集、分析數據和HTML格式報告，依靠於諸多競爭對手。但是它很難與一般辦公軟體如Office或是WPS2000直接兼容，在撰寫調查報告時往往要用電子表格軟體及專業制圖軟體來重新繪制相關圖表，已經遭到諸多統計學人士的批評；而且SPSS作為三大綜合性統計軟體之一，其統計分析功能與另外兩個軟體即SAS和BMDP相比仍有一定欠缺。
雖然如此，SPSS for Windows由於其操作簡單，已經在我國的社會科學、自然科學的各個領域發揮了巨大作用。該軟體還可以應用於經濟學、生物學、心理學、醫療衛生、體育、農業、林業、商業、金融等各個領域。
Matlab、spss、SAS等軟體都是進行多元線性回歸的常用軟體。

Ⅷ 請教多元線性回歸C++演算法或程序

多元線性回歸C++程序：
Dim a() As String, b() As String
Private Sub Command1_Click()
Dim temp1 As String
Dim i As Integer, k As Integer
temp1 = Text1.Text
a = Split(temp1, ",")
lenolds = Len("->")
For i = 0 To UBound(a)
s = a(i)
j = InStr(s, "->")
Do While j > 0
ReDim Preserve b(i, k)
b(i, k) = Val(Left(s, j + lenolds))
s = Left(s, j - 1) + "->" + Mid(s, j + lenolds + 1)
k = k + 1
j = InStr(s, "->")
Loop
ReDim Preserve b(i, k)
b(i, k) = s
Next i
For i = 0 To UBound(a)
For j = 0 To k
Text2.Text = Text2.Text + b(i, j)
Next j
Next i
End Sub

Ⅸ matlab，有哪些是線性回歸演算法！

2015a版的matlab有如下的線形回歸演算法。
方法名 函數名 說明
1.多元線性回歸 fitlm 具有多個預測變數的線性回歸
2.逐步回歸 stepwise 互動式逐步回歸
3多目標的多元線性回歸 mvregress 使用多變數輸出的線性回歸
4有正則化的多元線性回歸 lasso 使用彈性網正則化的多元線性回歸
5有正則化的多元線性回歸 ridge Ridge回歸