python時間序列分析

Ⅰ 如何在python中用LSTM網路進行時間序列預測

時間序列模型

時間序列預測分析就是利用過去一段時間內某事件時間的特徵來預測未來一段時間內該事件的特徵。這是一類相對比較復雜的預測建模問題，和回歸分析模型的預測不同，時間序列模型是依賴於事件發生的先後順序的，同樣大小的值改變順序後輸入模型產生的結果是不同的。
舉個栗子：根據過去兩年某股票的每天的股價數據推測之後一周的股價變化；根據過去2年某店鋪每周想消費人數預測下周來店消費的人數等等

RNN 和 LSTM 模型

時間序列模型最常用最強大的的工具就是遞歸神經網路（recurrent neural network, RNN）。相比與普通神經網路的各計算結果之間相互獨立的特點，RNN的每一次隱含層的計算結果都與當前輸入以及上一次的隱含層結果相關。通過這種方法，RNN的計算結果便具備了記憶之前幾次結果的特點。

典型的RNN網路結構如下：

4. 模型訓練和結果預測
將上述數據集按4:1的比例隨機拆分為訓練集和驗證集，這是為了防止過度擬合。訓練模型。然後將數據的X列作為參數導入模型便可得到預測值，與實際的Y值相比便可得到該模型的優劣。

實現代碼

時間間隔序列格式化成所需的訓練集格式

import pandas as pdimport numpy as npdef create_interval_dataset(dataset, look_back):

""" :param dataset: input array of time intervals :param look_back: each training set feature length :return: convert an array of values into a dataset matrix. """

dataX, dataY = [], [] for i in range(len(dataset) - look_back):

dataX.append(dataset[i:i+look_back])

dataY.append(dataset[i+look_back]) return np.asarray(dataX), np.asarray(dataY)

df = pd.read_csv("path-to-your-time-interval-file")

dataset_init = np.asarray(df) # if only 1 columndataX, dataY = create_interval_dataset(dataset, lookback=3) # look back if the training set sequence length

這里的輸入數據來源是csv文件，如果輸入數據是來自資料庫的話可以參考這里

LSTM網路結構搭建

import pandas as pdimport numpy as npimport randomfrom keras.models import Sequential, model_from_jsonfrom keras.layers import Dense, LSTM, Dropoutclass NeuralNetwork():

def __init__(self, **kwargs):

""" :param **kwargs: output_dim=4: output dimension of LSTM layer; activation_lstm='tanh': activation function for LSTM layers; activation_dense='relu': activation function for Dense layer; activation_last='sigmoid': activation function for last layer; drop_out=0.2: fraction of input units to drop; np_epoch=10, the number of epoches to train the model. epoch is one forward pass and one backward pass of all the training examples; batch_size=32: number of samples per gradient update. The higher the batch size, the more memory space you'll need; loss='mean_square_error': loss function; optimizer='rmsprop' """

self.output_dim = kwargs.get('output_dim', 8) self.activation_lstm = kwargs.get('activation_lstm', 'relu') self.activation_dense = kwargs.get('activation_dense', 'relu') self.activation_last = kwargs.get('activation_last', 'softmax') # softmax for multiple output

self.dense_layer = kwargs.get('dense_layer', 2) # at least 2 layers

self.lstm_layer = kwargs.get('lstm_layer', 2) self.drop_out = kwargs.get('drop_out', 0.2) self.nb_epoch = kwargs.get('nb_epoch', 10) self.batch_size = kwargs.get('batch_size', 100) self.loss = kwargs.get('loss', 'categorical_crossentropy') self.optimizer = kwargs.get('optimizer', 'rmsprop') def NN_model(self, trainX, trainY, testX, testY):

""" :param trainX: training data set :param trainY: expect value of training data :param testX: test data set :param testY: epect value of test data :return: model after training """

print "Training model is LSTM network!"

input_dim = trainX[1].shape[1]

output_dim = trainY.shape[1] # one-hot label

# print predefined parameters of current model:

model = Sequential() # applying a LSTM layer with x dim output and y dim input. Use dropout parameter to avoid overfitting

model.add(LSTM(output_dim=self.output_dim,

input_dim=input_dim,

activation=self.activation_lstm,

dropout_U=self.drop_out,

return_sequences=True)) for i in range(self.lstm_layer-2):

model.add(LSTM(output_dim=self.output_dim,

input_dim=self.output_dim,

activation=self.activation_lstm,

dropout_U=self.drop_out,

return_sequences=True)) # argument return_sequences should be false in last lstm layer to avoid input dimension incompatibility with dense layer

model.add(LSTM(output_dim=self.output_dim,

input_dim=self.output_dim,

activation=self.activation_lstm,

dropout_U=self.drop_out)) for i in range(self.dense_layer-1):

model.add(Dense(output_dim=self.output_dim,

activation=self.activation_last))

model.add(Dense(output_dim=output_dim,

input_dim=self.output_dim,

activation=self.activation_last)) # configure the learning process

model.compile(loss=self.loss, optimizer=self.optimizer, metrics=['accuracy']) # train the model with fixed number of epoches

model.fit(x=trainX, y=trainY, nb_epoch=self.nb_epoch, batch_size=self.batch_size, validation_data=(testX, testY)) # store model to json file

model_json = model.to_json() with open(model_path, "w") as json_file:

json_file.write(model_json) # store model weights to hdf5 file

if model_weight_path: if os.path.exists(model_weight_path):

os.remove(model_weight_path)

model.save_weights(model_weight_path) # eg: model_weight.h5

return model

這里寫的只涉及LSTM網路的結構搭建，至於如何把數據處理規范化成網路所需的結構以及把模型預測結果與實際值比較統計的可視化，就需要根據實際情況做調整了。

Ⅱ python數據分析時間序列如何提取一個月的數據

Pandas中，最基本的時間序列類型就是以時間戳為索引的Series對象。

時間戳使用Timestamp（Series派生的子類）對象表示，該對象與datetime具有高度的兼容性，可以直接通過to_datetime()函數將datetime轉換為TimeStamp對象。

import pandas as pd # 導入pandas模塊，並起個別名pd from datetime import datetime import numpy as np pd.to_datetime('20200828') # 將datetime轉換為Timestamp對象
Timestamp('2020-08-28 00:00:00')
當傳入的是多個datetime組成的列表，則Pandas會將其強制轉換為DatetimeIndex類對象。

# 傳入多個datetime字元串 date_index = pd.to_datetime(['20200820', '20200828', '20200908']) date_index
DatetimeIndex(['2020-08-20', '2020-08-28', '2020-09-08'],
dtype='datetime64[ns]', freq=None)
如何取出第一個時間戳

date_index[0] # 取出第一個時間戳
Timestamp('2020-08-20 00:00:00')
2.在Pandas中，最基本的時間序列類型就是以時間戳為索引的Series對象。

# 創建時間序列類型的Series對象 date_ser = pd.Series([11, 22, 33], index=date_index) date_ser
2020-08-20 11
2020-08-28 22
2020-09-08 33
dtype: int64
也可將包含多個datetime對象的列表傳給index參數，同樣能創建具有時間戳索引的Series對象。

# 指定索引為多個datetime的列表 date_list = [datetime(2020, 1, 1), datetime(2020, 1, 15), datetime(2020, 2, 20), datetime(2020, 4, 1), datetime(2020,

Ⅲ python時間序列模型預測為什麼時一條直線

python時間序列模型預測塌含時一條直線是因為是線性模型的原因。線性模型也稱作趨勢模型，它表示一個時間序列可以用一條直線來表示。它的基本等式：以一個公司的銷售總額為例，一開始的初始是5000，每隔一個時間步長增加2500。指數平滑法是時間序列分析方法中的一種。它是一種用於預測未來發展趨勢的建模演算法。它有三種不同形式：一次指數平滑法、二次指備纖數平滑法、及三次指數平滑法。三種指數平滑法都要更新上一時間步長的計算結果，並使用當仿衫仿前時間步長的數據中包含的新信息。通過混合新信息和舊信息來實現。

Ⅳ python中時間序列數據的一些處理方式

datetime.timedelta對象代表兩個時間之間的時間差，兩個date或datetime對象相減就可以返回一個timedelta對象。
利用以下數據進行說明：

如果我們發現時間相關內容的變數為int,float,str等類型，不方便後面的分析，就需要使用該函數轉化為常用的時間變數格式：pandas.to_datetime

轉換得到的時間單位如下：

如果時間序列格式不統一，pd.to_datetime()的處理方式：

當然，正確的轉換是這樣的：

第一步：to_datetime()
第二步：astype(datetime64[D]),astype(datetime64[M])

本例中：

order_dt_diff必須是Timedelta(Ɔ days 00:00:00')格式，可能是序列使用了diff()
或者pct_change()。

前者往往要通過'/np.timedelta'去掉單位days。後者其實沒有單位。

假如我們要統計某共享單車一天內不同時間點的用戶使用數據，例如

還有其他維度的提取，年、月、日、周，參見：
Datetime properties

注意 ：.dt的對象必須為pandas.Series,而不可以是Series中的單個元素

Ⅳ 如何利用python進行數據分析

利用python進行數據分析

鏈接: https://pan..com/s/15VdW4dcuPuIUEPrY3RehtQ

?pwd=3nfn 提取碼: 3nfn

本書也可以作為利用Python實現數據密集型應用的科學計算實踐指南。本書適合剛剛接觸Python的分析人員以及剛剛接觸科學計算的Python程序員。

Ⅵ python 時間序列模型中forecast和predict的區別

舉例說明，2017.01.01-.017.12.31的周期為12的月度數據中，用ARIMA擬合得到模型model。
model.get_prediction(start='2017.09.01'）則得到用擬合模型計算出來的樣本內2017.09.01-2017.12.31的預測值；
model.get_forcast(step=5)則得到樣本外推5期即2018.01.01-2018.05.31五個月的預測值；
註：
model.get_prediction也可做外推值的預測，設定好具體終止周期即可。

Ⅶ python 時間序列分析 收斂性問題

Python與R相比速度要快。Python可以直接處理上G的數據；R不行，R分析數據時需要先通過資料庫把大數據轉化為小數據（通過groupby）才能交給R做分析，因此R不可能直接分析行為詳單，只能分析統計結果。所以有人說：Python=R+SQL/Hive，並不是沒有道理的。

Ⅷ python數據分析用什麼軟體

Python是數據處理常用工具，可以處理數量級從幾K至幾T不等的數據，具有較高的開發效率和可維護性，還具有較強的通用性和跨平台性，這里就為大家分享幾個不錯的數據分析工具。Python數據分析需要安裝的第三方擴展庫有：Numpy、Pandas、SciPy、Matplotpb、Scikit-Learn、Keras、Gensim、Scrapy等，以下是第三方擴展庫的簡要介紹：（推薦學習：Python視頻教程）
1. Pandas
Pandas是Python強大、靈活的數據分析和探索工具，包含Series、DataFrame等高級數據結構和工具，安裝Pandas可使Python中處理數據非常快速和簡單。
Pandas是Python的一個數據分析包，Pandas最初被用作金融數據分析工具而開發出來，因此Pandas為時間序列分析提供了很好的支持。
Pandas是為了解決數據分析任務而創建的，Pandas納入了大量的庫和一些標準的數據模型，提供了高效的操作大型數據集所需要的工具。Pandas提供了大量是我們快速便捷的處理數據的函數和方法。Pandas包含了高級數據結構，以及讓數據分析變得快速、簡單的工具。它建立在Numpy之上，使得Numpy應用變得簡單。
帶有坐標軸的數據結構，支持自動或明確的數據對齊。這能防止由於數據結構沒有對齊，以及處理不同來源、採用不同索引的數據而產生的常見錯誤。
使用Pandas更容易處理丟失數據。合並流行資料庫（如：基於SQL的資料庫）Pandas是進行數據清晰/整理的最好工具。
2. Numpy
Python沒有提供數組功能，Numpy可以提供數組支持以及相應的高效處理函數，是Python數據分析的基礎，也是SciPy、Pandas等數據處理和科學計算庫最基本的函數功能庫，且其數據類型對Python數據分析十分有用。
Numpy提供了兩種基本的對象：ndarray和ufunc。ndarray是存儲單一數據類型的多維數組，而ufunc是能夠對數組進行處理的函數。Numpy的功能：
N維數組，一種快速、高效使用內存的多維數組，他提供矢量化數學運算。可以不需要使用循環，就能對整個數組內的數據進行標准數學運算。非常便於傳送數據到用低級語言編寫(CC++)的外部庫,也便於外部庫以Numpy數組形式返回數據。
Numpy不提供高級數據分析功能，但可以更加深刻的理解Numpy數組和面向數組的計算。
3. Matplotpb
Matplotpb是強大的數據可視化工具和作圖庫，是主要用於繪制數據圖表的Python庫，提供了繪制各類可視化圖形的命令字型檔、簡單的介面，可以方便用戶輕松掌握圖形的格式，繪制各類可視化圖形。
Matplotpb是Python的一個可視化模塊，他能方便的只做線條圖、餅圖、柱狀圖以及其他專業圖形。 使用Matplotpb，可以定製所做圖表的任一方面。他支持所有操作系統下不同的GUI後端，並且可以將圖形輸出為常見的矢量圖和圖形測試，如PDF SVG JPG PNG BMP GIF.通過數據繪圖，我們可以將枯燥的數字轉化成人們容易接收的圖表。 Matplotpb是基於Numpy的一套Python包，這個包提供了吩咐的數據繪圖工具，主要用於繪制一些統計圖形。 Matplotpb有一套允許定製各種屬性的默認設置，可以控制Matplotpb中的每一個默認屬性：圖像大小、每英寸點數、線寬、色彩和樣式、子圖、坐標軸、網個屬性、文字和文字屬性。
4. SciPy
SciPy是一組專門解決科學計算中各種標准問題域的包的集合，包含的功能有最優化、線性代數、積分、插值、擬合、特殊函數、快速傅里葉變換、信號處理和圖像處理、常微分方程求解和其他科學與工程中常用的計算等，這些對數據分析和挖掘十分有用。
Scipy是一款方便、易於使用、專門為科學和工程設計的Python包，它包括統計、優化、整合、線性代數模塊、傅里葉變換、信號和圖像處理、常微分方程求解器等。Scipy依賴於Numpy，並提供許多對用戶友好的和有效的數值常式，如數值積分和優化。
Python有著像Matlab一樣強大的數值計算工具包Numpy；有著繪圖工具包Matplotpb;有著科學計算工具包Scipy。 Python能直接處理數據，而Pandas幾乎可以像SQL那樣對數據進行控制。Matplotpb能夠對數據和記過進行可視化，快速理解數據。Scikit-Learn提供了機器學習演算法的支持，Theano提供了升讀學習框架（還可以使用CPU加速）。
5. Keras
Keras是深度學習庫，人工神經網路和深度學習模型，基於Theano之上，依賴於Numpy和Scipy，利用它可以搭建普通的神經網路和各種深度學習模型，如語言處理、圖像識別、自編碼器、循環神經網路、遞歸審計網路、卷積神經網路等。
6. Scikit-Learn
Scikit-Learn是Python常用的機器學習工具包，提供了完善的機器學習工具箱，支持數據預處理、分類、回歸、聚類、預測和模型分析等強大機器學習庫，其依賴於Numpy、Scipy和Matplotpb等。
Scikit-Learn是基於Python機器學習的模塊，基於BSD開源許可證。 Scikit-Learn的安裝需要Numpy S Matplotpb等模塊，Scikit-Learn的主要功能分為六個部分，分類、回歸、聚類、數據降維、模型選擇、數據預處理。
Scikit-Learn自帶一些經典的數據集，比如用於分類的iris和digits數據集，還有用於回歸分析的boston house prices數據集。該數據集是一種字典結構，數據存儲在.data成員中，輸出標簽存儲在.target成員中。Scikit-Learn建立在Scipy之上，提供了一套常用的機器學習演算法，通過一個統一的介面來使用，Scikit-Learn有助於在數據集上實現流行的演算法。 Scikit-Learn還有一些庫，比如：用於自然語言處理的Nltk、用於網站數據抓取的Scrappy、用於網路挖掘的Pattern、用於深度學習的Theano等。
7. Scrapy
Scrapy是專門為爬蟲而生的工具，具有URL讀取、HTML解析、存儲數據等功能，可以使用Twisted非同步網路庫來處理網路通訊，架構清晰，且包含了各種中間件介面，可以靈活的完成各種需求。
8. Gensim
Gensim是用來做文本主題模型的庫，常用於處理語言方面的任務，支持TF-IDF、LSA、LDA和Word2Vec在內的多種主題模型演算法，支持流式訓練，並提供了諸如相似度計算、信息檢索等一些常用任務的API介面。
更多Python相關技術文章，請訪問Python教程欄目進行學習！以上就是小編分享的關於python數據分析用什麼軟體的詳細內容希望對大家有所幫助，更多有關python教程請關注環球青藤其它相關文章！

Ⅸ python如何對柵格數據進行時間序列分析

1、首先python對柵桐培格數據進行時間序列分析需要基於Python中gdal模塊。
2、其次對大量多時相局喚唯柵格圖像，鏈州批量繪制像元時間序列折線圖的方法。
3、最後進行時間序列分析之後進行整體圖像的概率密度分析。

Ⅹ Python Pandas一個DataFrame中有多個時間序列如何處理

雖然不知道是想解決怎樣的具體問題，但按照您的思路來看，有可能是通過多重條件判斷來檢索出數據。如果是的話，可以看一下我的方法：
我來模擬一個問題，就是我想找出2016-10-02號離職的人當中，哪些人的入職日期是在2015-01-01和2015-02-01這個范圍內的。而方法是
df.query('out_date=="2016-10-02" & "2015-01-01" <= in_date <= "2015-02-01"')
-----------------------------分割線-----------------------------
糾正個問題，就是dataframe['2017-06-12']這種用法是不對的，這種只會返回列名是2017-06-12的這個列，而非找出有2017-06-12的記錄。如果是想通過索引值來檢索數據的話前提把日期設為索引，然後通過dataframe.loc['2017-06-12']這種方式來檢索數據。