python殘差

㈠ 如何用 python 把 ARMA 模型和 GARCH 模型結合起來

個人覺得有兩種辦法：
1. 把確定參數後的garch模型的X-X_predicted的殘差項拿出來，放到arma模型下作為這邊的X，這種做的缺陷在於除非你的garch模型是有效的，否則徒增噪音；
2. arma和garch模型應該不是很難，去MATLAB下看看源代碼，自己寫出來底層的code就徹底解決了你的需求。

㈡ Python最小二乘法擬合只能return一個方程嗎

最小二乘法是一種數學優化技術，它通過最小化誤差的平方和尋找數據的最佳函數匹配。優化是找到最小值或等式的數值解的問題。而線性回歸就是要求樣本回歸函數盡可能好地擬合目標函數值，也就是說，這條直線應該盡可能的處於樣本數據的中心位置。因此，選擇最佳擬合曲線的標准可以確定為：使總的擬合誤差（即總殘差）達到最小。如果用p表示函數中需要確定的參數，那麼目標就是找到一組p,使得下面的函數S的值最小：

㈢ 學習人工智慧要懂什麼Python就行還是深度學習或機器學習都要掌握呢

人工智慧的浪潮正在席捲全球，諸多詞彙時刻縈繞在我們耳邊：人工智慧（Artificial Intelligence）、機器學習（Machine Learning）、深度學習（Deep Learning）。不少人對這些高頻詞彙的含義及其背後的關系總是似懂非懂、一知半解。

為了幫助大家更好地理解人工智慧，這篇文章用最簡單的語言解釋了這些詞彙的含義，理清它們之間的關系，希望對剛入門的同行有所幫助。

圖三 三者關系示意圖

目前，業界有一種錯誤的較為普遍的意識，即「深度學習最終可能會淘汰掉其他所有機器學習演算法」。這種意識的產生主要是因為，當下深度學習在計算機視覺、自然語言處理領域的應用遠超過傳統的機器學習方法，並且媒體對深度學習進行了大肆誇大的報道。

深度學習，作為目前最熱的機器學習方法，但並不意味著是機器學習的終點。起碼目前存在以下問題：

1. 深度學習模型需要大量的訓練數據，才能展現出神奇的效果，但現實生活中往往會遇到小樣本問題，此時深度學習方法無法入手，傳統的機器學習方法就可以處理；

2. 有些領域，採用傳統的簡單的機器學習方法，可以很好地解決了，沒必要非得用復雜的深度學習方法；

3. 深度學習的思想，來源於人腦的啟發，但絕不是人腦的模擬，舉個例子，給一個三四歲的小孩看一輛自行車之後，再見到哪怕外觀完全不同的自行車，小孩也十有八九能做出那是一輛自行車的判斷，也就是說，人類的學習過程往往不需要大規模的訓練數據，而現在的深度學習方法顯然不是對人腦的模擬。

深度學習大佬 Yoshua Bengio 在 Quora 上回答一個類似的問題時，有一段話講得特別好，這里引用一下，以回答上述問題：

Science is NOT a battle, it is a collaboration. We all build on each other's ideas. Science is an act of love, not war. Love for the beauty in the world that surrounds us and love to share and build something together. That makes science a highly satisfying activity, emotionally speaking!

這段話的大致意思是，科學不是戰爭而是合作，任何學科的發展從來都不是一條路走到黑，而是同行之間互相學習、互相借鑒、博採眾長、相得益彰，站在巨人的肩膀上不斷前行。機器學習的研究也是一樣，你死我活那是邪教，開放包容才是正道。

結合機器學習2000年以來的發展，再來看Bengio的這段話，深有感觸。進入21世紀，縱觀機器學習發展歷程，研究熱點可以簡單總結為2000-2006年的流形學習、2006年-2011年的稀疏學習、2012年至今的深度學習。未來哪種機器學習演算法會成為熱點呢？深度學習三大巨頭之一吳恩達曾表示，「在繼深度學習之後，遷移學習將引領下一波機器學習技術」。但最終機器學習的下一個熱點是什麼，誰又能說得准呢。

㈣ 如何提高分析能力

1.分析的基礎。現象（信息）。也就是說LZ首先需要培養自己的觀察能力、捕捉問題實質的能力和篩選分辨信息的能力。
2.分析的過程，邏輯。有良好的邏輯能力是分析的必要條件，缺乏邏輯能力是很難進行分析的。
在分析問題當中，重要性較高的能力就是觀察力、判斷力、邏輯能力。這三者隨便一樣，要寫出具體的培養鍛煉方法，沒有幾十萬字恐怕很難寫完——所以我希望提供給LZ相關思路，LZ可以去尋找此類書籍，並挑選適合自己的，進行訓練。

㈤ 有一張人臉的側臉圖像，如何用python及相關的庫來計算人臉轉過的角度。

這個很難辦到，不過可以通過判斷關鍵點的特點進行判斷，但是准確率不高
前言
很多人都認為人臉識別是一項非常難以實現的工作，看到名字就害怕，然後心懷忐忑到網上一搜，看到網上N頁的教程立馬就放棄了。這些人里包括曾經的我自己。其實如果如果你不是非要深究其中的原理，只是要實現這一工作的話，人臉識別也沒那麼難。今天我們就來看看如何在40行代碼以內簡單地實現人臉識別。
一點區分
對於大部分人來說，區分人臉檢測和人臉識別完全不是問題。但是網上有很多教程有無無意地把人臉檢測說成是人臉識別，誤導群眾，造成一些人認為二者是相同的。其實，人臉檢測解決的問題是確定一張圖上有木有人臉，而人臉識別解決的問題是這個臉是誰的。可以說人臉檢測是是人識別的前期工作。今天我們要做的是人臉識別。
所用工具
Anaconda 2——Python 2
Dlib
scikit-image
Dlib
對於今天要用到的主要工具，還是有必要多說幾句的。Dlib是基於現代C++的一個跨平台通用的框架，作者非常勤奮，一直在保持更新。Dlib內容涵蓋機器學習、圖像處理、數值演算法、數據壓縮等等，涉獵甚廣。更重要的是，Dlib的文檔非常完善，例子非常豐富。就像很多庫一樣，Dlib也提供了Python的介面，安裝非常簡單，用pip只需要一句即可：
pip install dlib
上面需要用到的scikit-image同樣只是需要這么一句：
pip install scikit-image
註：如果用pip install dlib安裝失敗的話，那安裝起來就比較麻煩了。錯誤提示很詳細，按照錯誤提示一步步走就行了。

人臉識別
之所以用Dlib來實現人臉識別，是因為它已經替我們做好了絕大部分的工作，我們只需要去調用就行了。Dlib裡面有人臉檢測器，有訓練好的人臉關鍵點檢測器，也有訓練好的人臉識別模型。今天我們主要目的是實現，而不是深究原理。感興趣的同學可以到官網查看源碼以及實現的參考文獻。今天的例子既然代碼不超過40行，其實是沒啥難度的。有難度的東西都在源碼和論文里。
首先先通過文件樹看一下今天需要用到的東西：

准備了六個候選人的圖片放在candidate-faces文件夾中，然後需要識別的人臉圖片test.jpg。我們的工作就是要檢測到test.jpg中的人臉，然後判斷她到底是候選人中的誰。另外的girl-face-rec.py是我們的python腳本。shape_predictor_68_face_landmarks.dat是已經訓練好的人臉關鍵點檢測器。dlib_face_recognition_resnet_model_v1.dat是訓練好的ResNet人臉識別模型。ResNet是何凱明在微軟的時候提出的深度殘差網路，獲得了 ImageNet 2015 冠軍，通過讓網路對殘差進行學習，在深度和精度上做到了比
CNN 更加強大。
1. 前期准備
shape_predictor_68_face_landmarks.dat和dlib_face_recognition_resnet_model_v1.dat都可以在這里找到。
然後准備幾個人的人臉圖片作為候選人臉，最好是正臉。放到candidate-faces文件夾中。
本文這里准備的是六張圖片，如下：

她們分別是

然後准備四張需要識別的人臉圖像，其實一張就夠了，這里只是要看看不同的情況：

可以看到前兩張和候選文件中的本人看起來還是差別不小的，第三張是候選人中的原圖，第四張圖片微微側臉，而且右側有陰影。
2.識別流程
數據准備完畢，接下來就是代碼了。識別的大致流程是這樣的：
3.代碼
代碼不做過多解釋，因為已經注釋的非常完善了。以下是girl-face-rec.py
# -*- coding: UTF-8 -*-
import sys,os,dlib,glob,numpy
from skimage import io
if len(sys.argv) != 5:
print "請檢查參數是否正確"
exit()
# 1.人臉關鍵點檢測器
predictor_path = sys.argv[1]
# 2.人臉識別模型
face_rec_model_path = sys.argv[2]
# 3.候選人臉文件夾
faces_folder_path = sys.argv[3]
# 4.需識別的人臉
img_path = sys.argv[4]
# 1.載入正臉檢測器
detector = dlib.get_frontal_face_detector()
# 2.載入人臉關鍵點檢測器
sp = dlib.shape_predictor(predictor_path)
# 3. 載入人臉識別模型
facerec = dlib.face_recognition_model_v1(face_rec_model_path)
# win = dlib.image_window()
# 候選人臉描述子list
descriptors = []
# 對文件夾下的每一個人臉進行:
# 1.人臉檢測
# 2.關鍵點檢測
# 3.描述子提取
for f in glob.glob(os.path.join(faces_folder_path, "*.jpg")):
print("Processing file: {}".format(f))
img = io.imread(f)
#win.clear_overlay()
#win.set_image(img)
# 1.人臉檢測
dets = detector(img, 1)
print("Number of faces detected: {}".format(len(dets)))
for k, d in enumerate(dets):
# 2.關鍵點檢測
shape = sp(img, d)
# 畫出人臉區域和和關鍵點
# win.clear_overlay()
# win.add_overlay(d)
# win.add_overlay(shape)
# 3.描述子提取，128D向量
face_descriptor = facerec.compute_face_descriptor(img, shape)
# 轉換為numpy array
v = numpy.array(face_descriptor)
descriptors.append(v)
# 對需識別人臉進行同樣處理
# 提取描述子，不再注釋
img = io.imread(img_path)
dets = detector(img, 1)
dist = []
for k, d in enumerate(dets):
shape = sp(img, d)
face_descriptor = facerec.compute_face_descriptor(img, shape)
d_test = numpy.array(face_descriptor)
# 計算歐式距離
for i in descriptors:
dist_ = numpy.linalg.norm(i-d_test)
dist.append(dist_)
# 候選人名單
candidate = ['Unknown1','Unknown2','Shishi','Unknown4','Bingbing','Feifei']
# 候選人和距離組成一個dict
c_d = dict(zip(candidate,dist))
cd_sorted = sorted(c_d.iteritems(), key=lambda d:d[1])
print "\n The person is: ",cd_sorted[0][0]
dlib.hit_enter_to_continue()

4.運行結果
我們在.py所在的文件夾下打開命令行，運行如下命令
python girl-face-rec.py 1.dat 2.dat ./candidate-faecs test1.jpg
由於shape_predictor_68_face_landmarks.dat和dlib_face_recognition_resnet_model_v1.dat名字實在太長，所以我把它們重命名為1.dat和2.dat。
運行結果如下：
The person is Bingbing。
記憶力不好的同學可以翻上去看看test1.jpg是誰的圖片。有興趣的話可以把四張測試圖片都運行下試試。
這里需要說明的是，前三張圖輸出結果都是非常理想的。但是第四張測試圖片的輸出結果是候選人4。對比一下兩張圖片可以很容易發現混淆的原因。
機器畢竟不是人，機器的智能還需要人來提升。
有興趣的同學可以繼續深入研究如何提升識別的准確率。比如每個人的候選圖片用多張，然後對比和每個人距離的平均值之類的。全憑自己了。

㈥ 如何用Python和機器學習炒股賺錢

相信很多人都想過讓人工智慧來幫你賺錢，但到底該如何做呢？瑞士日內瓦的一位金融數據顧問 Gaëtan Rickter 近日發表文章介紹了他利用 Python 和機器學習來幫助炒股的經驗，其最終成果的收益率跑贏了長期處於牛市的標准普爾 500 指數。雖然這篇文章並沒有將他的方法完全徹底公開，但已公開的內容或許能給我們帶來如何用人工智慧炒股的啟迪。

我終於跑贏了標准普爾 500 指數 10 個百分點！聽起來可能不是很多，但是當我們處理的是大量流動性很高的資本時，對沖基金的利潤就相當可觀。更激進的做法還能得到更高的回報。

這一切都始於我閱讀了 Gur Huberman 的一篇題為《Contagious Speculation and a Cure for Cancer: A Non-Event that Made Stock Prices Soar》的論文。該研究描述了一件發生在 1998 年的涉及到一家上市公司 EntreMed（當時股票代碼是 ENMD）的事件：

「星期天《紐約時報》上發表的一篇關於癌症治療新葯開發潛力的文章導致 EntreMed 的股價從周五收盤時的 12.063 飆升至 85，在周一收盤時接近 52。在接下來的三周，它的收盤價都在 30 以上。這股投資熱情也讓其它生物科技股得到了溢價。但是，這個癌症研究方面的可能突破在至少五個月前就已經被 Nature 期刊和各種流行的報紙報道過了，其中甚至包括《泰晤士報》！因此，僅僅是熱情的公眾關注就能引發股價的持續上漲，即便實際上並沒有出現真正的新信息。」

在研究者給出的許多有見地的觀察中，其中有一個總結很突出：

「（股價）運動可能會集中於有一些共同之處的股票上，但這些共同之處不一定要是經濟基礎。」

我就想，能不能基於通常所用的指標之外的其它指標來劃分股票。我開始在資料庫裡面挖掘，幾周之後我發現了一個，其包含了一個分數，描述了股票和元素周期表中的元素之間的「已知和隱藏關系」的強度。

我有計算基因組學的背景，這讓我想起了基因和它們的細胞信號網路之間的關系是如何地不為人所知。但是，當我們分析數據時，我們又會開始看到我們之前可能無法預測的新關系和相關性。

如果你使用機器學習，就可能在具有已知和隱藏關系的上市公司的寄生、共生和共情關系之上搶佔先機，這是很有趣而且可以盈利的。最後，一個人的盈利能力似乎完全關乎他在生成這些類別的數據時想出特徵標簽（即概念（concept））的強大組合的能力。

我在這類模型上的下一次迭代應該會包含一個用於自動生成特徵組合或獨特列表的單獨演算法。也許會基於近乎實時的事件，這可能會影響那些具有隻有配備了無監督學習演算法的人類才能預測的隱藏關系的股票組。

㈦ 殘差自回歸模型如何做預測 以下數據如何做auto-regressive預測

ARIMA模型的提出使人們對非平穩序列擬合精度大大提高，但和傳統的確定性因素分解方法相比較，ARIMA模型仍然有一些缺憾，它使用養分方法提取確定性信息，差分方法的優點是對確定信息的提取比較充分，缺點是很難對模型進行直觀解釋。所以當序列具有非常顯著的確定性趨勢或者季節效應時，人們會懷念確定性因素分解方法對各種確定性效應的解釋，但又因為它對殘差信息的浪費而不敢輕易使用。
為了解決這個問題，人們構造了殘差自回歸（auto-regressive）模型。

模型結構

1.殘差自回歸模型的構造思想是首先通過確定性因素分解方法提取序列中主要的確定性信息。
包括趨勢效應擬合與季節效應擬合。
2.考慮到因素分解方法對確定性信息的提取可能不充分，因而需要進一步檢驗殘差序列的自相關性。
3.如果檢驗結果顯示殘差序列自相關性不顯著，說明回歸模型對信息的提取比較充分，可以停止分析。
4.如果檢驗結果顯示殘差序列自相關性顯著，說明回歸模型對信息的提取不充分，可以考慮對殘差序列擬合自回歸模型。
這樣的模型叫做殘差自回歸模型。
實踐中兩種方式（一）（二）：
（一）
（1）自變數為時間t的冪函數
（2）自變數為歷史觀察值
（二）
（1）給定季節指數
（2）建立季節自回歸模型

殘差自回歸模型舉例

使用殘差自回歸模型分析1952-1988年中國農業實際國民收入指數序列。
該序列有顯著的線性遞增趨勢，但沒有季節效應，所以考慮建立（一 ）類模型。

#擬合關於時間t的線性回歸模型d<-read.table("D:/R-TT/book4/4R/data/file17.csv",sep=",",header = T)
x<-ts(d$index,start = 1952)
t<-c(1:37)
x.fit1<-lm(x~t)
summary(x.fit1)
Call:
lm(formula = x ~ t)

Resials:
Min 1Q Median 3Q Max
-28.71 -20.48 -10.81 26.42 46.17 Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 66.1491 8.1197 8.147 1.35e-09 ***
t 4.5158 0.3726 12.121 4.40e-14 ***---Signif. codes: 0 『***』 0.001 『**』 0.01 『*』 0.05 『.』 0.1 『 』 1Resial standard error: 24.2 on 35 degrees of freedom
Multiple R-squared: 0.8076, Adjusted R-squared: 0.8021 F-statistic: 146.9 on 1 and 35 DF, p-value: 4.404e-

擬合關於延遲變數的自回歸模型

xlag<-x[2:37]
x2<-x[1:36]
x.fit2<-lm(x2~xlag)
summary(x.fit2)
Call:
lm(formula = x2 ~ xlag)

Resials: Min 1Q Median 3Q Max -15.764 -5.066 -0.703 5.539 20.424

Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 7.39226 4.00444 1.846 0.0736 .
xlag 0.91932 0.02464 37.309 <2e-16 ***
---Signif. codes: 0 『***』 0.001 『**』 0.01 『*』 0.05 『.』 0.1 『 』 1

Resial standard error: 7.936 on 34 degrees of freedom
Multiple R-squared: 0.9762, Adjusted R-squared: 0.9755
F-statistic: 1392 on 1 and 34 DF, p-value: < 2.2e-

兩個趨勢擬合模型的擬合效果圖

fit1<-ts(x.fit1$fitted.value,start = 1952)fit2<-ts(x.fit2$fitted.value,start = 1952)plot(x,type = "p",pch=8)lines(fit1,col=2)lines(fit2,col=4)123456

PACF
自相關系數拖尾，偏自相關系數2階截尾。所以對殘差序列擬合AR(2)模型。

#擬合AR(2)模型r.fit<-arima(x.fit1$resial,order=c(2,0,0),include.mean = F)
r.fitCall:arima(x = x.fit1$resial, order = c(2, 0, 0), include.mean = F)Coefficients:
ar1 ar2 1.4995 -0.6028s.e. 0.1274 0.1356sigma^2 estimated as 50.6: log likelihood = -126.59, aic = 259.17123456789101112
> #殘差自相關模型的顯著性檢驗> for(i in 1:2) print(Box.test(r.fit$resial,lag=6*i))

Box-Pierce testdata: r.fit$resialX-squared = 3.1979, df = 6, p-value = 0.7836


Box-Pierce testdata: r.fit$resialX-squared = 10.661, df = 12, p-value = 0.55821234567891011121314

通過了檢驗

㈧ python 殘差判斷是不是白

python加到PATH環境變數里了嗎？ 可以先試一下在cmd窗口裡執行「python」命令，看能不能打開python解釋器。

㈨ python polyfit函數怎麼使用

用polyfit(X,Y,1)得到的擬合函數只能得到a,b，但不能得到線性相關系數R^2。如想要得到其線性相關系數，可以用regress(y,X)，其使用格式
[b,bint,r,rint,stats]
=
regress(y,X);
b——擬合系數
bint——b的置信區間
r——殘差值
rint——r的置信區間
stats——檢驗統計量，第一個就是相關系數
例如：
x=[。。。];y=[。。。]
X=[x
ones(n,1)];
%x的行數（列數）
[b,bint,r,rint,stats]
=
regress(y,X);