python残差

㈠ 如何用 python 把 ARMA 模型和 GARCH 模型结合起来

个人觉得有两种办法：
1. 把确定参数后的garch模型的X-X_predicted的残差项拿出来，放到arma模型下作为这边的X，这种做的缺陷在于除非你的garch模型是有效的，否则徒增噪音；
2. arma和garch模型应该不是很难，去MATLAB下看看源代码，自己写出来底层的code就彻底解决了你的需求。

㈡ Python最小二乘法拟合只能return一个方程吗

最小二乘法是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。优化是找到最小值或等式的数值解的问题。而线性回归就是要求样本回归函数尽可能好地拟合目标函数值，也就是说，这条直线应该尽可能的处于样本数据的中心位置。因此，选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。如果用p表示函数中需要确定的参数，那么目标就是找到一组p,使得下面的函数S的值最小：

㈢ 学习人工智能要懂什么Python就行还是深度学习或机器学习都要掌握呢

人工智能的浪潮正在席卷全球，诸多词汇时刻萦绕在我们耳边：人工智能（Artificial Intelligence）、机器学习（Machine Learning）、深度学习（Deep Learning）。不少人对这些高频词汇的含义及其背后的关系总是似懂非懂、一知半解。

为了帮助大家更好地理解人工智能，这篇文章用最简单的语言解释了这些词汇的含义，理清它们之间的关系，希望对刚入门的同行有所帮助。

图三 三者关系示意图

目前，业界有一种错误的较为普遍的意识，即“深度学习最终可能会淘汰掉其他所有机器学习算法”。这种意识的产生主要是因为，当下深度学习在计算机视觉、自然语言处理领域的应用远超过传统的机器学习方法，并且媒体对深度学习进行了大肆夸大的报道。

深度学习，作为目前最热的机器学习方法，但并不意味着是机器学习的终点。起码目前存在以下问题：

1. 深度学习模型需要大量的训练数据，才能展现出神奇的效果，但现实生活中往往会遇到小样本问题，此时深度学习方法无法入手，传统的机器学习方法就可以处理；

2. 有些领域，采用传统的简单的机器学习方法，可以很好地解决了，没必要非得用复杂的深度学习方法；

3. 深度学习的思想，来源于人脑的启发，但绝不是人脑的模拟，举个例子，给一个三四岁的小孩看一辆自行车之后，再见到哪怕外观完全不同的自行车，小孩也十有八九能做出那是一辆自行车的判断，也就是说，人类的学习过程往往不需要大规模的训练数据，而现在的深度学习方法显然不是对人脑的模拟。

深度学习大佬 Yoshua Bengio 在 Quora 上回答一个类似的问题时，有一段话讲得特别好，这里引用一下，以回答上述问题：

Science is NOT a battle, it is a collaboration. We all build on each other's ideas. Science is an act of love, not war. Love for the beauty in the world that surrounds us and love to share and build something together. That makes science a highly satisfying activity, emotionally speaking!

这段话的大致意思是，科学不是战争而是合作，任何学科的发展从来都不是一条路走到黑，而是同行之间互相学习、互相借鉴、博采众长、相得益彰，站在巨人的肩膀上不断前行。机器学习的研究也是一样，你死我活那是邪教，开放包容才是正道。

结合机器学习2000年以来的发展，再来看Bengio的这段话，深有感触。进入21世纪，纵观机器学习发展历程，研究热点可以简单总结为2000-2006年的流形学习、2006年-2011年的稀疏学习、2012年至今的深度学习。未来哪种机器学习算法会成为热点呢？深度学习三大巨头之一吴恩达曾表示，“在继深度学习之后，迁移学习将引领下一波机器学习技术”。但最终机器学习的下一个热点是什么，谁又能说得准呢。

㈣ 如何提高分析能力

1.分析的基础。现象（信息）。也就是说LZ首先需要培养自己的观察能力、捕捉问题实质的能力和筛选分辨信息的能力。
2.分析的过程，逻辑。有良好的逻辑能力是分析的必要条件，缺乏逻辑能力是很难进行分析的。
在分析问题当中，重要性较高的能力就是观察力、判断力、逻辑能力。这三者随便一样，要写出具体的培养锻炼方法，没有几十万字恐怕很难写完——所以我希望提供给LZ相关思路，LZ可以去寻找此类书籍，并挑选适合自己的，进行训练。

㈤ 有一张人脸的侧脸图像，如何用python及相关的库来计算人脸转过的角度。

这个很难办到，不过可以通过判断关键点的特点进行判断，但是准确率不高
前言
很多人都认为人脸识别是一项非常难以实现的工作，看到名字就害怕，然后心怀忐忑到网上一搜，看到网上N页的教程立马就放弃了。这些人里包括曾经的我自己。其实如果如果你不是非要深究其中的原理，只是要实现这一工作的话，人脸识别也没那么难。今天我们就来看看如何在40行代码以内简单地实现人脸识别。
一点区分
对于大部分人来说，区分人脸检测和人脸识别完全不是问题。但是网上有很多教程有无无意地把人脸检测说成是人脸识别，误导群众，造成一些人认为二者是相同的。其实，人脸检测解决的问题是确定一张图上有木有人脸，而人脸识别解决的问题是这个脸是谁的。可以说人脸检测是是人识别的前期工作。今天我们要做的是人脸识别。
所用工具
Anaconda 2——Python 2
Dlib
scikit-image
Dlib
对于今天要用到的主要工具，还是有必要多说几句的。Dlib是基于现代C++的一个跨平台通用的框架，作者非常勤奋，一直在保持更新。Dlib内容涵盖机器学习、图像处理、数值算法、数据压缩等等，涉猎甚广。更重要的是，Dlib的文档非常完善，例子非常丰富。就像很多库一样，Dlib也提供了Python的接口，安装非常简单，用pip只需要一句即可：
pip install dlib
上面需要用到的scikit-image同样只是需要这么一句：
pip install scikit-image
注：如果用pip install dlib安装失败的话，那安装起来就比较麻烦了。错误提示很详细，按照错误提示一步步走就行了。

人脸识别
之所以用Dlib来实现人脸识别，是因为它已经替我们做好了绝大部分的工作，我们只需要去调用就行了。Dlib里面有人脸检测器，有训练好的人脸关键点检测器，也有训练好的人脸识别模型。今天我们主要目的是实现，而不是深究原理。感兴趣的同学可以到官网查看源码以及实现的参考文献。今天的例子既然代码不超过40行，其实是没啥难度的。有难度的东西都在源码和论文里。
首先先通过文件树看一下今天需要用到的东西：

准备了六个候选人的图片放在candidate-faces文件夹中，然后需要识别的人脸图片test.jpg。我们的工作就是要检测到test.jpg中的人脸，然后判断她到底是候选人中的谁。另外的girl-face-rec.py是我们的python脚本。shape_predictor_68_face_landmarks.dat是已经训练好的人脸关键点检测器。dlib_face_recognition_resnet_model_v1.dat是训练好的ResNet人脸识别模型。ResNet是何凯明在微软的时候提出的深度残差网络，获得了 ImageNet 2015 冠军，通过让网络对残差进行学习，在深度和精度上做到了比
CNN 更加强大。
1. 前期准备
shape_predictor_68_face_landmarks.dat和dlib_face_recognition_resnet_model_v1.dat都可以在这里找到。
然后准备几个人的人脸图片作为候选人脸，最好是正脸。放到candidate-faces文件夹中。
本文这里准备的是六张图片，如下：

她们分别是

然后准备四张需要识别的人脸图像，其实一张就够了，这里只是要看看不同的情况：

可以看到前两张和候选文件中的本人看起来还是差别不小的，第三张是候选人中的原图，第四张图片微微侧脸，而且右侧有阴影。
2.识别流程
数据准备完毕，接下来就是代码了。识别的大致流程是这样的：
3.代码
代码不做过多解释，因为已经注释的非常完善了。以下是girl-face-rec.py
# -*- coding: UTF-8 -*-
import sys,os,dlib,glob,numpy
from skimage import io
if len(sys.argv) != 5:
print "请检查参数是否正确"
exit()
# 1.人脸关键点检测器
predictor_path = sys.argv[1]
# 2.人脸识别模型
face_rec_model_path = sys.argv[2]
# 3.候选人脸文件夹
faces_folder_path = sys.argv[3]
# 4.需识别的人脸
img_path = sys.argv[4]
# 1.加载正脸检测器
detector = dlib.get_frontal_face_detector()
# 2.加载人脸关键点检测器
sp = dlib.shape_predictor(predictor_path)
# 3. 加载人脸识别模型
facerec = dlib.face_recognition_model_v1(face_rec_model_path)
# win = dlib.image_window()
# 候选人脸描述子list
descriptors = []
# 对文件夹下的每一个人脸进行:
# 1.人脸检测
# 2.关键点检测
# 3.描述子提取
for f in glob.glob(os.path.join(faces_folder_path, "*.jpg")):
print("Processing file: {}".format(f))
img = io.imread(f)
#win.clear_overlay()
#win.set_image(img)
# 1.人脸检测
dets = detector(img, 1)
print("Number of faces detected: {}".format(len(dets)))
for k, d in enumerate(dets):
# 2.关键点检测
shape = sp(img, d)
# 画出人脸区域和和关键点
# win.clear_overlay()
# win.add_overlay(d)
# win.add_overlay(shape)
# 3.描述子提取，128D向量
face_descriptor = facerec.compute_face_descriptor(img, shape)
# 转换为numpy array
v = numpy.array(face_descriptor)
descriptors.append(v)
# 对需识别人脸进行同样处理
# 提取描述子，不再注释
img = io.imread(img_path)
dets = detector(img, 1)
dist = []
for k, d in enumerate(dets):
shape = sp(img, d)
face_descriptor = facerec.compute_face_descriptor(img, shape)
d_test = numpy.array(face_descriptor)
# 计算欧式距离
for i in descriptors:
dist_ = numpy.linalg.norm(i-d_test)
dist.append(dist_)
# 候选人名单
candidate = ['Unknown1','Unknown2','Shishi','Unknown4','Bingbing','Feifei']
# 候选人和距离组成一个dict
c_d = dict(zip(candidate,dist))
cd_sorted = sorted(c_d.iteritems(), key=lambda d:d[1])
print "\n The person is: ",cd_sorted[0][0]
dlib.hit_enter_to_continue()

4.运行结果
我们在.py所在的文件夹下打开命令行，运行如下命令
python girl-face-rec.py 1.dat 2.dat ./candidate-faecs test1.jpg
由于shape_predictor_68_face_landmarks.dat和dlib_face_recognition_resnet_model_v1.dat名字实在太长，所以我把它们重命名为1.dat和2.dat。
运行结果如下：
The person is Bingbing。
记忆力不好的同学可以翻上去看看test1.jpg是谁的图片。有兴趣的话可以把四张测试图片都运行下试试。
这里需要说明的是，前三张图输出结果都是非常理想的。但是第四张测试图片的输出结果是候选人4。对比一下两张图片可以很容易发现混淆的原因。
机器毕竟不是人，机器的智能还需要人来提升。
有兴趣的同学可以继续深入研究如何提升识别的准确率。比如每个人的候选图片用多张，然后对比和每个人距离的平均值之类的。全凭自己了。

㈥ 如何用Python和机器学习炒股赚钱

相信很多人都想过让人工智能来帮你赚钱，但到底该如何做呢？瑞士日内瓦的一位金融数据顾问 Gaëtan Rickter 近日发表文章介绍了他利用 Python 和机器学习来帮助炒股的经验，其最终成果的收益率跑赢了长期处于牛市的标准普尔 500 指数。虽然这篇文章并没有将他的方法完全彻底公开，但已公开的内容或许能给我们带来如何用人工智能炒股的启迪。

我终于跑赢了标准普尔 500 指数 10 个百分点！听起来可能不是很多，但是当我们处理的是大量流动性很高的资本时，对冲基金的利润就相当可观。更激进的做法还能得到更高的回报。

这一切都始于我阅读了 Gur Huberman 的一篇题为《Contagious Speculation and a Cure for Cancer: A Non-Event that Made Stock Prices Soar》的论文。该研究描述了一件发生在 1998 年的涉及到一家上市公司 EntreMed（当时股票代码是 ENMD）的事件：

“星期天《纽约时报》上发表的一篇关于癌症治疗新药开发潜力的文章导致 EntreMed 的股价从周五收盘时的 12.063 飙升至 85，在周一收盘时接近 52。在接下来的三周，它的收盘价都在 30 以上。这股投资热情也让其它生物科技股得到了溢价。但是，这个癌症研究方面的可能突破在至少五个月前就已经被 Nature 期刊和各种流行的报纸报道过了，其中甚至包括《泰晤士报》！因此，仅仅是热情的公众关注就能引发股价的持续上涨，即便实际上并没有出现真正的新信息。”

在研究者给出的许多有见地的观察中，其中有一个总结很突出：

“（股价）运动可能会集中于有一些共同之处的股票上，但这些共同之处不一定要是经济基础。”

我就想，能不能基于通常所用的指标之外的其它指标来划分股票。我开始在数据库里面挖掘，几周之后我发现了一个，其包含了一个分数，描述了股票和元素周期表中的元素之间的“已知和隐藏关系”的强度。

我有计算基因组学的背景，这让我想起了基因和它们的细胞信号网络之间的关系是如何地不为人所知。但是，当我们分析数据时，我们又会开始看到我们之前可能无法预测的新关系和相关性。

如果你使用机器学习，就可能在具有已知和隐藏关系的上市公司的寄生、共生和共情关系之上抢占先机，这是很有趣而且可以盈利的。最后，一个人的盈利能力似乎完全关乎他在生成这些类别的数据时想出特征标签（即概念（concept））的强大组合的能力。

我在这类模型上的下一次迭代应该会包含一个用于自动生成特征组合或独特列表的单独算法。也许会基于近乎实时的事件，这可能会影响那些具有只有配备了无监督学习算法的人类才能预测的隐藏关系的股票组。

㈦ 残差自回归模型如何做预测 以下数据如何做auto-regressive预测

ARIMA模型的提出使人们对非平稳序列拟合精度大大提高，但和传统的确定性因素分解方法相比较，ARIMA模型仍然有一些缺憾，它使用养分方法提取确定性信息，差分方法的优点是对确定信息的提取比较充分，缺点是很难对模型进行直观解释。所以当序列具有非常显着的确定性趋势或者季节效应时，人们会怀念确定性因素分解方法对各种确定性效应的解释，但又因为它对残差信息的浪费而不敢轻易使用。
为了解决这个问题，人们构造了残差自回归（auto-regressive）模型。

模型结构

1.残差自回归模型的构造思想是首先通过确定性因素分解方法提取序列中主要的确定性信息。
包括趋势效应拟合与季节效应拟合。
2.考虑到因素分解方法对确定性信息的提取可能不充分，因而需要进一步检验残差序列的自相关性。
3.如果检验结果显示残差序列自相关性不显着，说明回归模型对信息的提取比较充分，可以停止分析。
4.如果检验结果显示残差序列自相关性显着，说明回归模型对信息的提取不充分，可以考虑对残差序列拟合自回归模型。
这样的模型叫做残差自回归模型。
实践中两种方式（一）（二）：
（一）
（1）自变量为时间t的幂函数
（2）自变量为历史观察值
（二）
（1）给定季节指数
（2）建立季节自回归模型

残差自回归模型举例

使用残差自回归模型分析1952-1988年中国农业实际国民收入指数序列。
该序列有显着的线性递增趋势，但没有季节效应，所以考虑建立（一 ）类模型。

#拟合关于时间t的线性回归模型d<-read.table("D:/R-TT/book4/4R/data/file17.csv",sep=",",header = T)
x<-ts(d$index,start = 1952)
t<-c(1:37)
x.fit1<-lm(x~t)
summary(x.fit1)
Call:
lm(formula = x ~ t)

Resials:
Min 1Q Median 3Q Max
-28.71 -20.48 -10.81 26.42 46.17 Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 66.1491 8.1197 8.147 1.35e-09 ***
t 4.5158 0.3726 12.121 4.40e-14 ***---Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1Resial standard error: 24.2 on 35 degrees of freedom
Multiple R-squared: 0.8076, Adjusted R-squared: 0.8021 F-statistic: 146.9 on 1 and 35 DF, p-value: 4.404e-

拟合关于延迟变量的自回归模型

xlag<-x[2:37]
x2<-x[1:36]
x.fit2<-lm(x2~xlag)
summary(x.fit2)
Call:
lm(formula = x2 ~ xlag)

Resials: Min 1Q Median 3Q Max -15.764 -5.066 -0.703 5.539 20.424

Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 7.39226 4.00444 1.846 0.0736 .
xlag 0.91932 0.02464 37.309 <2e-16 ***
---Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Resial standard error: 7.936 on 34 degrees of freedom
Multiple R-squared: 0.9762, Adjusted R-squared: 0.9755
F-statistic: 1392 on 1 and 34 DF, p-value: < 2.2e-

两个趋势拟合模型的拟合效果图

fit1<-ts(x.fit1$fitted.value,start = 1952)fit2<-ts(x.fit2$fitted.value,start = 1952)plot(x,type = "p",pch=8)lines(fit1,col=2)lines(fit2,col=4)123456

PACF
自相关系数拖尾，偏自相关系数2阶截尾。所以对残差序列拟合AR(2)模型。

#拟合AR(2)模型r.fit<-arima(x.fit1$resial,order=c(2,0,0),include.mean = F)
r.fitCall:arima(x = x.fit1$resial, order = c(2, 0, 0), include.mean = F)Coefficients:
ar1 ar2 1.4995 -0.6028s.e. 0.1274 0.1356sigma^2 estimated as 50.6: log likelihood = -126.59, aic = 259.17123456789101112
> #残差自相关模型的显着性检验> for(i in 1:2) print(Box.test(r.fit$resial,lag=6*i))

Box-Pierce testdata: r.fit$resialX-squared = 3.1979, df = 6, p-value = 0.7836


Box-Pierce testdata: r.fit$resialX-squared = 10.661, df = 12, p-value = 0.55821234567891011121314

通过了检验

㈧ python 残差判断是不是白

python加到PATH环境变量里了吗？ 可以先试一下在cmd窗口里执行“python”命令，看能不能打开python解释器。

㈨ python polyfit函数怎么使用

用polyfit(X,Y,1)得到的拟合函数只能得到a,b，但不能得到线性相关系数R^2。如想要得到其线性相关系数，可以用regress(y,X)，其使用格式
[b,bint,r,rint,stats]
=
regress(y,X);
b——拟合系数
bint——b的置信区间
r——残差值
rint——r的置信区间
stats——检验统计量，第一个就是相关系数
例如：
x=[。。。];y=[。。。]
X=[x
ones(n,1)];
%x的行数（列数）
[b,bint,r,rint,stats]
=
regress(y,X);