回歸演算法分析

㈠ 常見的回歸分析方法有哪些

1/6分步閱讀
1.線性回歸方法：通常因變數和一個（或者多個）自變數之間擬合出來是一條直線（回歸線），通常可以用一個普遍的公式來表示：Y（因變數）=a*X（自變數）+b+c，其中b表示截距，a表示直線的斜率，c是誤差項。如下圖所示。

2/6
2.邏輯回歸方法：通常是用來計算「一個事件成功或者失敗」的概率，此時的因變數一般是屬於二元型的（1 或0，真或假，有或無等）變數。以樣本極大似然估計值來選取參數，而不採用最小化平方和誤差來選擇參數，所以通常要用log等對數函數去擬合。如下圖。

3/6
3.多項式回歸方法：通常指自變數的指數存在超過1的項，這時候最佳擬合的結果不再是一條直線而是一條曲線。比如：拋物線擬合函數Y=a+b*X^2，如下圖所示。

4/6
4.嶺回歸方法：通常用於自變數數據具有高度相關性的擬合中，這種回歸方法可以在原來的偏差基礎上再增加一個偏差度來減小總體的標准偏差。如下圖是其收縮參數的最小誤差公式。

5/6
5.套索回歸方法：通常也是用來二次修正回歸系數的大小，能夠減小參量變化程度以提高線性回歸模型的精度。如下圖是其懲罰函數，注意這里的懲罰函數用的是絕對值，而不是絕對值的平方。

6/6
6.ElasticNet回歸方法：是Lasso和Ridge回歸方法的融合體，使用L1來訓練，使用L2優先作為正則化矩陣。當相關的特徵有很多個時，ElasticNet不同於Lasso，會選擇兩個。如下圖是其常用的理論公式。

㈡ spss簡單線性回歸分析 需要多少組數據

沒有具體數據要求，一般來說，數據越多越好。

通過線性回歸演算法，我們可能會得到很多的線性回歸模型，但是不同的模型對於數據的擬合或者是描述能力是不一樣的。我們的目的最終是需要找到一個能夠最精確地描述數據之間關系的線性回歸模型。這是就需要用到代價函數。

代價函數就是用來描述線性回歸模型與正式數據之前的差異。如果完全沒有差異，則說明此線性回歸模型完全描述數據之前的關系。

一條趨勢線代表著時間序列數據的長期走勢。它告訴我們一組特定數據（如GDP、石油價格和股票價格）是否在一段時期內增長或下降。雖然我們可以用肉眼觀察數據點在坐標系的位置大體畫出趨勢線，更恰當的方法是利用線性回歸計算出趨勢線的位置和斜率。

㈢ 線性回歸演算法原理（越詳細越好）

線性回歸是利用數理統計中的回歸分析，來確定兩種或兩種以上變數間相互依賴的定量關系的一種統計分析方法之一，運用十分廣泛。

分析按照自變數和因變數之間的關系類型，可分為線性回歸分析和非線性回歸分析。

如果在回歸分析中，只包括一個自變數和一個因變數，且二者的關系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩個以上的自變數，且因變數和自變數之間是線性關系，則稱為多元線性回歸分析。

我們以一簡單數據組來說明什麼是線性回歸。假設有一組數據型態為y=y(x)，其中

x={0,1,2,3,4,5},y={0,20,60,68,77,110}

如果我們要以一個最簡單的方程式來近似這組數據，則非一階的線性方程式莫屬。先將這組數據繪圖如下

圖中的斜線是我們隨意假設一階線性方程式y=20x，用以代表這些數據的一個方程式。以下將上述繪圖的MATLAB指令列出，並計算這個線性方程式的y值與原數據y值間誤差平方的總合。

>>x=[012345];

>>y=[020606877110];

>>y1=20*x;%一階線性方程式的y1值

>>sum_sq=sum(y-y1).^2);%誤差平方總合為573

>>axis([-1,6,-20,120])

>>plot(x,y1,x,y,'o'),title('Linearestimate'),grid

如此任意的假設一個線性方程式並無根據，如果換成其它人來設定就可能採用不同的線性方程式；所以我們須要有比較精確方式決定理想的線性方程式。我們可以要求誤差平方的總合為最小，做為決定理想的線性方程式的准則，這樣的方法就稱為最小平方誤差(leastsquareserror)或是線性回歸。MATLAB的polyfit函數提供了從一階到高階多項式的回歸法，其語法為polyfit(x,y,n)，其中x,y為輸入數據組n為多項式的階數，n=1就是一階的線性回歸法。polyfit函數所建立的多項式可以寫成

從polyfit函數得到的輸出值就是上述的各項系數，以一階線性回歸為例n=1，所以只有二個輸出值。如果指令為coef=polyfit(x,y,n)，則coef(1)=,coef(2)=,...,coef(n+1)=。注意上式對n階的多項式會有n+1項的系數。我們來看以下的線性回歸的示範：

>>x=[012345];

>>y=[020606877110];

>>coef=polyfit(x,y,1);%coef代表線性回歸的二個輸出值

>>a0=coef(1);a1=coef(2);

>>ybest=a0*x+a1;%由線性回歸產生的一階方程式

>>sum_sq=sum(y-ybest).^2);%誤差平方總合為356.82

>>axis([-1,6,-20,120])

>>plot(x,ybest,x,y,'o'),title('Linearregressionestimate'),grid

[編輯本段]線性回歸擬合方程

一般來說，線性回歸都可以通過最小二乘法求出其方程，可以計算出對於y=bx+a的直線，其經驗擬合方程如下：

㈣ 最小二乘法、回歸分析法、灰色預測法、決策論、神經網路等5個演算法的使用范圍及優缺點是什麼

最小二乘法：通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。優點：實現簡單，計算簡單。缺點：不能擬合非線性數據.
回歸分析法：指的是確定兩種或兩種以上變數間相互依賴的定量關系的一種統計分析方法。在大數據分析中，回歸分析是一種預測性的建模技術，它研究的是因變數（目標）和自變數（預測器）之間的關系。這種技術通常用於預測分析，時間序列模型以及發現變數之間的因果關系。優點：在分析多因素模型時，更加簡單和方便，不僅可以預測並求出函數，還可以自己對結果進行殘差的檢驗，檢驗模型的精度。缺點：回歸方程式只是一種推測，這影響了因子的多樣性和某些因子的不可測性，使得回歸分析在某些情況下受到限制。
灰色預測法：
色預測法是一種對含有不確定因素的系統進行預測的方法 。它通過鑒別系統因素之間發展趨勢的相異程度，即進行關聯分析，並對原始數據進行生成處理來尋找系統變動的規律，生成有較強規律性的數據序列，然後建立相應的微分方程模型，從而預測事物未來發展趨勢的狀況。它用等時間距離觀測到的反應預測對象特徵的一系列數量值構造灰色預測模型，預測未來某一時刻的特徵量，或者達到某一特徵量的時間。優點：對於不確定因素的復雜系統預測效果較好，且所需樣本數據較小。缺點：基於指數率的預測沒有考慮系統的隨機性，中長期預測精度較差。
決策樹：在已知各種情況發生概率的基礎上，通過構成決策樹來求取凈現值的期望值大於等於零的概率，評價項目風險，判斷其可行性的決策分析方法，是直觀運用概率分析的一種圖解法。由於這種決策分支畫成圖形很像一棵樹的枝幹，故稱決策樹。在機器學習中，決策樹是一個預測模型，他代表的是對象屬性與對象值之間的一種映射關系。優點：能夠處理不相關的特徵；在相對短的時間內能夠對大型數據源做出可行且效果良好的分析；計算簡單，易於理解，可解釋性強；比較適合處理有缺失屬性的樣本。缺點：忽略了數據之間的相關性；容易發生過擬合（隨機森林可以很大程度上減少過擬合）；在決策樹當中,對於各類別樣本數量不一致的數據，信息增益的結果偏向於那些具有更多數值的特徵。
神經網路：優點：分類的准確度高；並行分布處理能力強,分布存儲及學習能力強，對雜訊神經有較強的魯棒性和容錯能力，能充分逼近復雜的非線性關系；具備聯想記憶的功能。缺點：神經網路需要大量的參數，如網路拓撲結構、權值和閾值的初始值；不能觀察之間的學習過程，輸出結果難以解釋，會影響到結果的可信度和可接受程度；學習時間過長,甚至可能達不到學習的目的。

㈤ 回歸分析的基本步驟是什麼

回歸分析：

1、確定變數：明確預測的具體目標，也就確定了因變數。如預測具體目標是下一年度的銷售量，那麼銷售量Y就是因變數。通過市場調查和查閱資料，尋找與預測目標的相關影響因素，即自變數，並從中選出主要的影響因素。

2、建立預測模型：依據自變數和因變數的歷史統計資料進行計算，在此基礎上建立回歸分析方程，即回歸分析預測模型。

3、進行相關分析：回歸分析是對具有因果關系的影響因素（自變數）和預測對象（因變數）所進行的數理統計分析處理。只有當自變數與因變數確實存在某種關系時，建立的回歸方程才有意義。

因此，作為自變數的因素與作為因變數的預測對象是否有關，相關程度如何，以及判斷這種相關程度的把握性多大，就成為進行回歸分析必須要解決的問題。進行相關分析，一般要求出相關關系，以相關系數的大小來判斷自變數和因變數的相關的程度。

4、計算預測誤差：回歸預測模型是否可用於實際預測，取決於對回歸預測模型的檢驗和對預測誤差的計算。回歸方程只有通過各種檢驗，且預測誤差較小，才能將回歸方程作為預測模型進行預測。

5、確定預測值：利用回歸預測模型計算預測值，並對預測值進行綜合分析，確定最後的預測值。

Logistic Regression邏輯回歸

邏輯回歸是用來計算「事件=Success」和「事件=Failure」的概率。當因變數的類型屬於二元（1 / 0，真/假，是/否）變數時，應該使用邏輯回歸。這里，Y的值為0或1，它可以用下方程表示。

odds= p/ (1-p) = probability of event occurrence / probability of not event occurrence

ln(odds) = ln(p/(1-p))

logit(p) = ln(p/(1-p)) =b0+b1X1+b2X2+b3X3....+bkXk

在這里使用的是的二項分布（因變數），需要選擇一個對於這個分布最佳的連結函數。它就是Logit函數。在上述方程中，通過觀測樣本的極大似然估計值來選擇參數，而不是最小化平方和誤差（如在普通回歸使用的）。

以上內容參考：網路-回歸分析

㈥ 邏輯回歸演算法原理是什麼

邏輯回歸就是這樣的一個過程：面對一個回歸或者分類問題，建立代價函數，然後通過優化方法迭代求解出最優的模型參數，測試驗證我們這個求解的模型的好壞。

Logistic回歸雖然名字里帶「回歸」，但是它實際上是一種分類方法，主要用於兩分類問題（即輸出只有兩種，分別代表兩個類別）回歸模型中，y是一個定性變數，比如y=0或1，logistic方法主要應用於研究某些事件發生的概率。

(6)回歸演算法分析擴展閱讀：

Logistic回歸與多重線性回歸實際上有很多相同之處，最大的區別就在於它們的因變數不同，其他的基本都差不多。正是因為如此，這兩種回歸可以歸於同一個家族，即廣義線性模型。這一家族中的模型形式基本上都差不多，不同的就是因變數不同。這一家族中的模型形式基本上都差不多，不同的就是因變數不同。

㈦ 回歸分析法計算公式是什麼

相關計算公式為：a=[∑Xi2∑Yi-∑Xi∑XiYi]/[n∑Xi2-(∑Xi)2]，b=[n∑XiYi-∑Xi∑Yi]/[n∑Xi2-(∑Xi)2]。

回歸直線法是根據若干期業務量和資金佔用的歷史資料，運用最小平方法原理計算不變資金和單位產銷量所需變動資金的一種資金習性分析方法。

回歸分析法主要解決的問題：

1、確定變數之間是否存在相關關系，若存在，則找出數學表達式。

2、根據一個或幾個變數的值，預測或控制另一個或幾個變數的值，且要估計這種控制或預測可以達到何種精確度。

㈧ 回歸分析法，誰能告訴我詳細演算法

這是一個一元線性回歸模型，就是要確定a和回歸系數b。需要多組成對的數據（X,Y），組數就是N。然後，代入公式就行了。還要計算決定系數，評估回歸分析的質量。

㈨ k近鄰演算法如何做回歸分析

有兩類不同的樣本數據，分別用藍色的小正方形和紅色的小三角形表示，而圖正中間的那個綠色的圓所標示的數據則是待分類的數據。也就是說，現在， 我們不知道中間那個綠色的數據是從屬於哪一類（藍色小正方形or紅色小三角形），下面，我們就要解決這個問題：給這個綠色的圓分類。我們常說，物以類聚，人以群分，判別一個人是一個什麼樣品質特徵的人，常常可以從他/她身邊的朋友入手，所謂觀其友，而識其人。我們不是要判別上圖中那個綠色的圓是屬於哪一類數據么，好說，從它的鄰居下手。但一次性看多少個鄰居呢？從上圖中，你還能看到：
如果K=3，綠色圓點的最近的3個鄰居是2個紅色小三角形和1個藍色小正方形，少數從屬於多數，基於統計的方法，判定綠色的這個待分類點屬於紅色的三角形一類。 如果K=5，綠色圓點的最近的5個鄰居是2個紅色三角形和3個藍色的正方形，還是少數從屬於多數，基於統計的方法，判定綠色的這個待分類點屬於藍色的正方形一類。 於此我們看到，當無法判定當前待分類點是從屬於已知分類中的哪一類時，我們可以依據統計學的理論看它所處的位置特徵，衡量它周圍鄰居的權重，而把它歸為(或分配)到權重更大的那一類。這就是K近鄰演算法的核心思想。
KNN演算法中，所選擇的鄰居都是已經正確分類的對象。該方法在定類決策上只依據最鄰近的一個或者幾個樣本的類別來決定待分樣本所屬的類別。
KNN 演算法本身簡單有效，它是一種 lazy-learning 演算法，分類器不需要使用訓練集進行訓練，訓練時間復雜度為0。KNN 分類的計算復雜度和訓練集中的文檔數目成正比，也就是說，如果訓練集中文檔總數為 n，那麼 KNN 的分類時間復雜度為O(n)。
KNN方法雖然從原理上也依賴於極限定理，但在類別決策時，只與極少量的相鄰樣本有關。由於KNN方法主要靠周圍有限的鄰近的樣本，而不是靠判別類域的方法來確定所屬類別的，因此對於類域的交叉或重疊較多的待分樣本集來說，KNN方法較其他方法更為適合。
K 近鄰演算法使用的模型實際上對應於對特徵空間的劃分。K 值的選擇，距離度量和分類決策規則是該演算法的三個基本要素： K 值的選擇會對演算法的結果產生重大影響。K值較小意味著只有與輸入實例較近的訓練實例才會對預測結果起作用，但容易發生過擬合；如果 K 值較大，優點是可以減少學習的估計誤差，但缺點是學習的近似誤差增大，這時與輸入實例較遠的訓練實例也會對預測起作用，是預測發生錯誤。在實際應用中，K 值一般選擇一個較小的數值，通常採用交叉驗證的方法來選擇最優的 K 值。隨著訓練實例數目趨向於無窮和 K=1 時，誤差率不會超過貝葉斯誤差率的2倍，如果K也趨向於無窮，則誤差率趨向於貝葉斯誤差率。 該演算法中的分類決策規則往往是多數表決，即由輸入實例的 K 個最臨近的訓練實例中的多數類決定輸入實例的類別 距離度量一般採用 Lp 距離，當p=2時，即為歐氏距離，在度量之前，應該將每個屬性的值規范化，這樣有助於防止具有較大初始值域的屬性比具有較小初始值域的屬性的權重過大。 KNN演算法不僅可以用於分類，還可以用於回歸。通過找出一個樣本的k個最近鄰居，將這些鄰居的屬性的平均值賦給該樣本，就可以得到該樣本的屬性。更有用的方法是將不同距離的鄰居對該樣本產生的影響給予不同的權值(weight)，如權值與距離成反比。該演算法在分類時有個主要的不足是，當樣本不平衡時，如一個類的樣本容量很大，而其他類樣本容量很小時，有可能導致當輸入一個新樣本時，該樣本的K個鄰居中大容量類的樣本佔多數。 該演算法只計算「最近的」鄰居樣本，某一類的樣本數量很大，那麼或者這類樣本並不接近目標樣本，或者這類樣本很靠近目標樣本。無論怎樣，數量並不能影響運行結果。可以採用權值的方法（和該樣本距離小的鄰居權值大）來改進。
該方法的另一個不足之處是計算量較大，因為對每一個待分類的文本都要計算它到全體已知樣本的距離，才能求得它的K個最近鄰點。目前常用的解決方法是事先對已知樣本點進行剪輯，事先去除對分類作用不大的樣本。該演算法比較適用於樣本容量比較大的類域的自動分類，而那些樣本容量較小的類域採用這種演算法比較容易產生誤分。
實現 K 近鄰演算法時，主要考慮的問題是如何對訓練數據進行快速 K 近鄰搜索，這在特徵空間維數大及訓練數據容量大時非常必要。

㈩ 回歸演算法有哪些

一張圖為你解釋清楚回歸演算法