python时间序列预测

A. python时间序列(2)

时期（period）表示的是时间区间，比如数日、数月、数季、数年等。Period类所 表示的就是这种数据类型，其构造函数需要用到一个字符串或整数，以及表11-4中 的频率:

这里，这个Period对象表示的是从2007年1月1日到2007年12月31日之间的整段时间。

只需对Period对象加上或减去一个整数即可达到根据其频率进行位移的效果：

如果两个Period对象拥有相同的频率，则它们的差就是它们之间的单位数量：

period_range函数可用于创建规则的时期范围：

PeriodIndex类保存了一组Period，它可以在任何pandas数据结构中被用作轴索引：

如果你有一个字符串数组，你也可以使用PeriodIndex类：

Period和PeriodIndex对象都可以通过其asfreq方法被转换成别的频率。假设我们有 一个年度时期，希望将其转换为当年年初或年末的一个月度时期。该任务非常简 单：

你可以将Period('2007','A-DEC')看做一个被划分为多个月度时期的时间段中的游 标。图11-1对此进行了说明。
对于一个不以12月结束的财政年度，月度子时期的归属情况就不一样了：

在将高频率转换为低频率时，超时期（superperiod）是由子时期（subperiod）所 属的位置决定的。例如，在A-JUN频率中，月份“2007年8月”实际上是属于周期“2008年”的：

完整的PeriodIndex或TimeSeries的频率转换方式也是如此：

这里，根据年度时期的第一个月，每年的时期被取代为每月的时期。
如果我们想要 每年的最后一个工作日，我们可以使用“B”频率，并指明想要该时期的末尾：

未完待续。。。

B. python中的噪声是什么意思

白噪声是时间序列预测中的一个重要概念。如果一个时间序列是白噪声，它是一个随机数序列，不能预测。如果预测误差不是白噪声，它暗示了预测模型仍有改进空间。

什么是白噪声时间序列？

时间序列可能是白噪声。时间序列如果变量是独立的且恒等分布的均值为0，那么它是白噪声。这意味着所有变量具有相同的方差 (sigma^2)，并且每个值与该系列中的所有其他值具有零相关。

如果序列中的变量被高斯分布绘制，则该系列称为高斯白噪声。

为什么这么重要？

白噪声是时间序列分析和预测中的一个重要的概念。

重要的两个主要原因为：

1.可预测性：如果你的时间序列是白噪声，那么根据定义它是随机的。你无法对它合理的建模并进行预测。

2.模型诊断：时间序列上一系列误差的预测模型最好是白噪声。

模型诊断是时间序列预测的重要领域。

时间序列数据在潜在的因素产生的信号上被预测，它包含一些白噪声成分。

例如：

y(t)= signal(t)+ noise(t)

通过时间序列预测模型进行预测，可以对其进行收集和分析。在理想情况下，预测误差应该是白噪声。

当预测误差为白噪声时，意味着时间序列中的所有信号已全部被模型利用进行预测。剩下的就是无法建模的随机波动。

模型预测的信号不是白噪声则表明可以进一步对预测模型改进。

你的时间序列白噪音吗?

你的时间序列如果符合下面条件则不是白噪声:

• 你的序列均值为零吗?

• 方差随时间变化吗?

• 值与延迟值相关吗?

你可以用一些工具来检查你的时间序列是否为白噪音:

• 创建一个折线图。检查总体特征，如变化的平均值，方差或延迟变量之间的明显关系。

• 计算汇总统计。对照序列中有意义的连续块的均值和方差，检查整个序列的均值和方差(如年、月、日)。

• 创建一个自相关的图。检查延迟变量之间的总体相关性。

白噪声时间序列的例子

在本节中,我们将使用Python创建一个高斯白噪声序列并做一些检查。它有助于在实践中创建和评估白噪声时间序列。它将提供参考框架和示例图并且使用和比较自己的时间序列项目的统计测试，以检查它们是否为白噪声

首先，我们可以使用随机模块的gauss()函数创建一个1,000个随机高斯变量的列表。

我们将从高斯分布提取变量：平均值(mu)0.0和标准偏差(sigma)1.0。

一旦创建,为方便起见，我们可以在Pandas序列中打包这个列表。

• from randomimport gaussfrom randomimport seedfrom pandasimport Seriesfrom pandas.tools.plottingimport autocorrelation_plot


• # seed random number generatorseed(1)# create white noise series


• series= [gauss(0.0,1.0)for iin range(1000)]series= Series(series)



接下来，我们可以计算和打印一些汇总统计数据，包含序列的平均值和标准偏差。

• # summary statsprint(series.describe())



鉴于我们在绘制随机数时定义了平均值和标准偏差，所以应该不会有意外。

• count 1000.000000mean -0.013222std 1.003685min -2.96121425% -0.68419250% -0.01093475% 0.703915max 2.737260



我们可以看到平均值接近0.0，标准偏差接近1.0。考虑到样本较小预测会有些误差。

如果我们有更多的数据，将序列分成两半计算和比较每一半的汇总统计可能会更有趣。我们认为每个子系列的平均值和标准差都会相似。

现在我们可以创建一些序列的线条图。

• # line plot


• series.plot()pyplot.show()



我们可以看到，这个序列似乎是随机的。



为了完整性，下面提供了完整的代码清单。

• from randomimport gaussfrom randomimport seedfrom pandasimport Seriesfrom pandas.tools.plottingimport autocorrelation_plotfrom matplotlibimport pyplot


• # seed random number generatorseed(1)# create white noise series


• series= [gauss(0.0,1.0)for iin range(1000)]series= Series(series)# summary statsprint(series.describe())# line plot


• series.plot()pyplot.show()# histogram plot


• series.hist()pyplot.show()# _plot(series)pyplot.show()

原文：网页链接

C. python 时间序列分析 收敛性问题

Python与R相比速度要快。Python可以直接处理上G的数据；R不行，R分析数据时需要先通过数据库把大数据转化为小数据（通过groupby）才能交给R做分析，因此R不可能直接分析行为详单，只能分析统计结果。所以有人说：Python=R+SQL/Hive，并不是没有道理的。

D. python 时间序列模型中forecast和predict的区别

举例说明，2017.01.01-.017.12.31的周期为12的月度数据中，用ARIMA拟合得到模型model。
model.get_prediction(start='2017.09.01'）则得到用拟合模型计算出来的样本内2017.09.01-2017.12.31的预测值；
model.get_forcast(step=5)则得到样本外推5期即2018.01.01-2018.05.31五个月的预测值；
注：
model.get_prediction也可做外推值的预测，设定好具体终止周期即可。

E. 用Python预测“周期性时间序列”的正确姿势

公司平台上有不同的api，供内部或外部调用，这些api承担着不同的功能，如查询账号、发版、抢红包等等。日志会记录下每分钟某api被访问了多少次，即一个api每天会有1440条记录（1440分钟），将每天的数据连起来观察，有点类似于股票走势的意思。我想通过前N天的历史数据预测出第N+1天的流量访问情况，预测值即作为合理参考，供新一天与真实值做实时对比。当真实流量跟预测值有较大出入，则认为有异常访问，触发报警。

我放了一份样例数据在data文件夹下，
看一下数据大小和结构

画图看一下序列的走势:（一些画图等探索类的方法放在了test_stationarity.py 文件中，包含时间序列图，移动平均图，有兴趣的可以自己尝试下）。

看这糟心的图，那些骤降为0的点这就是我遇到的第一个坑，我当初一拿到这份数据就开始做了。后来折腾了好久才发现，那些骤降为0的点是由于数据缺失，ETL的同学自动补零造成的，沟通晚了(TДT)。

把坑填上，用前后值的均值把缺失值补上，再看一眼：

发现这份数据有这样几个特点，在模型设计和数据预处理的时候要考虑到：

前六天的数据做训练，第七天做测试集。

消除数据的毛刺，可以用移动平均法，我这里没有采用，因为我试过发现对于我的数据来说，移动平均处理完后并不能使数据平滑，我这里采用的方法很简单，但效果还不错：把每个点与上一点的变化值作为一个新的序列，对这里边的异常值，也就是变化比较离谱的值剃掉，用前后数据的均值填充，注意可能会连续出现变化较大的点：

平滑后的训练数据：

采用statsmodels工具包：

对分解出来的趋势部分单独用arima模型做训练：

预测出趋势数据后，加上周期数据即作为最终的预测结果，但更重要的是，我们要得到的不是具体的值，而是一个合理区间，当真实数据超过了这个区间，则触发报警，误差高低区间的设定来自刚刚分解出来的残差resial数据：

预测并完成最后的加法处理，得到第七天的预测值即高低置信区间：

对第七天作出预测，评估的指标为均方根误差rmse，画图对比和真实值的差距：

可以看到，均方根误差462.8，相对于原始数据几千的量级，还是可以的。测试数据中的两个突变的点，也超过了置信区间，能准确报出来。

前文提到不同的api形态差异巨大，本文只展示了一个，我在该项目中还接触了其他形态的序列，有的有明显的上升或下降趋势；有的开始比较平缓，后面开始增长... ... ,但是都属于典型的周期性时间序列，它的核心思想很简单：做好分解，做好预测结果的还原，和置信区间的设置，具体操作可根据具体业务逻辑做调整，祝大家建模愉快:-D。

F. 如何在Python中用LSTM网络进行时间序列预测

时间序列模型

时间序列预测分析就是利用过去一段时间内某事件时间的特征来预测未来一段时间内该事件的特征。这是一类相对比较复杂的预测建模问题，和回归分析模型的预测不同，时间序列模型是依赖于事件发生的先后顺序的，同样大小的值改变顺序后输入模型产生的结果是不同的。
举个栗子：根据过去两年某股票的每天的股价数据推测之后一周的股价变化；根据过去2年某店铺每周想消费人数预测下周来店消费的人数等等

RNN 和 LSTM 模型

时间序列模型最常用最强大的的工具就是递归神经网络（recurrent neural network, RNN）。相比与普通神经网络的各计算结果之间相互独立的特点，RNN的每一次隐含层的计算结果都与当前输入以及上一次的隐含层结果相关。通过这种方法，RNN的计算结果便具备了记忆之前几次结果的特点。

典型的RNN网路结构如下：

4. 模型训练和结果预测
将上述数据集按4:1的比例随机拆分为训练集和验证集，这是为了防止过度拟合。训练模型。然后将数据的X列作为参数导入模型便可得到预测值，与实际的Y值相比便可得到该模型的优劣。

实现代码

时间间隔序列格式化成所需的训练集格式

import pandas as pdimport numpy as npdef create_interval_dataset(dataset, look_back):

""" :param dataset: input array of time intervals :param look_back: each training set feature length :return: convert an array of values into a dataset matrix. """

dataX, dataY = [], [] for i in range(len(dataset) - look_back):

dataX.append(dataset[i:i+look_back])

dataY.append(dataset[i+look_back]) return np.asarray(dataX), np.asarray(dataY)

df = pd.read_csv("path-to-your-time-interval-file")

dataset_init = np.asarray(df) # if only 1 columndataX, dataY = create_interval_dataset(dataset, lookback=3) # look back if the training set sequence length

这里的输入数据来源是csv文件，如果输入数据是来自数据库的话可以参考这里

LSTM网络结构搭建

import pandas as pdimport numpy as npimport randomfrom keras.models import Sequential, model_from_jsonfrom keras.layers import Dense, LSTM, Dropoutclass NeuralNetwork():

def __init__(self, **kwargs):

""" :param **kwargs: output_dim=4: output dimension of LSTM layer; activation_lstm='tanh': activation function for LSTM layers; activation_dense='relu': activation function for Dense layer; activation_last='sigmoid': activation function for last layer; drop_out=0.2: fraction of input units to drop; np_epoch=10, the number of epoches to train the model. epoch is one forward pass and one backward pass of all the training examples; batch_size=32: number of samples per gradient update. The higher the batch size, the more memory space you'll need; loss='mean_square_error': loss function; optimizer='rmsprop' """

self.output_dim = kwargs.get('output_dim', 8) self.activation_lstm = kwargs.get('activation_lstm', 'relu') self.activation_dense = kwargs.get('activation_dense', 'relu') self.activation_last = kwargs.get('activation_last', 'softmax') # softmax for multiple output

self.dense_layer = kwargs.get('dense_layer', 2) # at least 2 layers

self.lstm_layer = kwargs.get('lstm_layer', 2) self.drop_out = kwargs.get('drop_out', 0.2) self.nb_epoch = kwargs.get('nb_epoch', 10) self.batch_size = kwargs.get('batch_size', 100) self.loss = kwargs.get('loss', 'categorical_crossentropy') self.optimizer = kwargs.get('optimizer', 'rmsprop') def NN_model(self, trainX, trainY, testX, testY):

""" :param trainX: training data set :param trainY: expect value of training data :param testX: test data set :param testY: epect value of test data :return: model after training """

print "Training model is LSTM network!"

input_dim = trainX[1].shape[1]

output_dim = trainY.shape[1] # one-hot label

# print predefined parameters of current model:

model = Sequential() # applying a LSTM layer with x dim output and y dim input. Use dropout parameter to avoid overfitting

model.add(LSTM(output_dim=self.output_dim,

input_dim=input_dim,

activation=self.activation_lstm,

dropout_U=self.drop_out,

return_sequences=True)) for i in range(self.lstm_layer-2):

model.add(LSTM(output_dim=self.output_dim,

input_dim=self.output_dim,

activation=self.activation_lstm,

dropout_U=self.drop_out,

return_sequences=True)) # argument return_sequences should be false in last lstm layer to avoid input dimension incompatibility with dense layer

model.add(LSTM(output_dim=self.output_dim,

input_dim=self.output_dim,

activation=self.activation_lstm,

dropout_U=self.drop_out)) for i in range(self.dense_layer-1):

model.add(Dense(output_dim=self.output_dim,

activation=self.activation_last))

model.add(Dense(output_dim=output_dim,

input_dim=self.output_dim,

activation=self.activation_last)) # configure the learning process

model.compile(loss=self.loss, optimizer=self.optimizer, metrics=['accuracy']) # train the model with fixed number of epoches

model.fit(x=trainX, y=trainY, nb_epoch=self.nb_epoch, batch_size=self.batch_size, validation_data=(testX, testY)) # store model to json file

model_json = model.to_json() with open(model_path, "w") as json_file:

json_file.write(model_json) # store model weights to hdf5 file

if model_weight_path: if os.path.exists(model_weight_path):

os.remove(model_weight_path)

model.save_weights(model_weight_path) # eg: model_weight.h5

return model

这里写的只涉及LSTM网络的结构搭建，至于如何把数据处理规范化成网络所需的结构以及把模型预测结果与实际值比较统计的可视化，就需要根据实际情况做调整了。

G. python数据分析时间序列如何提取一个月的数据

Pandas中，最基本的时间序列类型就是以时间戳为索引的Series对象。

时间戳使用Timestamp（Series派生的子类）对象表示，该对象与datetime具有高度的兼容性，可以直接通过to_datetime()函数将datetime转换为TimeStamp对象。

import pandas as pd # 导入pandas模块，并起个别名pd from datetime import datetime import numpy as np pd.to_datetime('20200828') # 将datetime转换为Timestamp对象
Timestamp('2020-08-28 00:00:00')
当传入的是多个datetime组成的列表，则Pandas会将其强制转换为DatetimeIndex类对象。

# 传入多个datetime字符串 date_index = pd.to_datetime(['20200820', '20200828', '20200908']) date_index
DatetimeIndex(['2020-08-20', '2020-08-28', '2020-09-08'],
dtype='datetime64[ns]', freq=None)
如何取出第一个时间戳

date_index[0] # 取出第一个时间戳
Timestamp('2020-08-20 00:00:00')
2.在Pandas中，最基本的时间序列类型就是以时间戳为索引的Series对象。

# 创建时间序列类型的Series对象 date_ser = pd.Series([11, 22, 33], index=date_index) date_ser
2020-08-20 11
2020-08-28 22
2020-09-08 33
dtype: int64
也可将包含多个datetime对象的列表传给index参数，同样能创建具有时间戳索引的Series对象。

# 指定索引为多个datetime的列表 date_list = [datetime(2020, 1, 1), datetime(2020, 1, 15), datetime(2020, 2, 20), datetime(2020, 4, 1), datetime(2020,

H. PyFlux库函数是什么

PyFlux是Python编程语言的开源时间序列库。PyFlux是Python中为处理时间序列问题而创建的开源库。该库有一系列极好的时间序列模型，包括但不限于 ARIMA、 GARCH 和 VAR 模型。简而言之，PyFlux提供了一个时间序列建模的概率方法。

PyFlux允许使用时间序列建模，并且已经实现了像GARCH这样的现代时间序列模型。

时间序列研究是统计学和计量经济学的一个子领域，目标可以描述时间序列如何表现（以潜在的因素或兴趣的特征来表示），也可以借此预测未来的行为。

(8)python时间序列预测扩展阅读：

Python拥有一个强大的标准库。Python语言的核心只包含数字、字符串、列表、字典、文件等常见类型和函数，而由Python标准库提供了系统管理、网络通信、文本处理、数据库接口、图形系统、XML处理等额外的功能。Python标准库命名接口清晰、文档良好，很容易学习和使用。

Python标准库的主要功能有：

文本处理，包含文本格式化、正则表达式匹配、文本差异计算与合并、Unicode支持，二进制数据处理等功能

文件处理，包含文件操作、创建临时文件、文件压缩与归档、操作配置文件等功能

操作系统功能，包含线程与进程支持、IO复用、日期与时间处理、调用系统函数、写日记(logging)等功能

网络通信，包含网络套接字，SSL加密通信、异步网络通信等功能

网络协议，支持HTTP，FTP，SMTP，POP，IMAP，NNTP，XMLRPC等多种网络协议，并提供了编写网络服务器的框架

W3C格式支持，包含HTML，SGML，XML的处理

其它功能，包括国际化支持、数学运算、HASH、Tkinter等

I. python中时间序列数据的一些处理方式

datetime.timedelta对象代表两个时间之间的时间差，两个date或datetime对象相减就可以返回一个timedelta对象。
利用以下数据进行说明：

如果我们发现时间相关内容的变量为int,float,str等类型，不方便后面的分析，就需要使用该函数转化为常用的时间变量格式：pandas.to_datetime

转换得到的时间单位如下：

如果时间序列格式不统一，pd.to_datetime()的处理方式：

当然，正确的转换是这样的：

第一步：to_datetime()
第二步：astype(datetime64[D]),astype(datetime64[M])

本例中：

order_dt_diff必须是Timedelta(Ɔ days 00:00:00')格式，可能是序列使用了diff()
或者pct_change()。

前者往往要通过'/np.timedelta'去掉单位days。后者其实没有单位。

假如我们要统计某共享单车一天内不同时间点的用户使用数据，例如

还有其他维度的提取，年、月、日、周，参见：
Datetime properties

注意 ：.dt的对象必须为pandas.Series,而不可以是Series中的单个元素