Python中LSTM回歸神經(jīng)網(wǎng)絡(luò)的時(shí)間序列預(yù)測

這個(gè)問題是國際航空乘客預(yù)測問題， 數(shù)據(jù)是1949年1月到1960年12月國際航空公司每個(gè)月的乘客數(shù)量（單位：千人），共有12年144個(gè)月的數(shù)據(jù)。

數(shù)據(jù)趨勢：

訓(xùn)練程序：

import numpy as np 
import pandas as pd 
import matplotlib.pyplot as plt 
import torch 
from torch import nn
from torch.autograd import Variable


#LSTM（Long Short-Term Memory）是長短期記憶網(wǎng)絡(luò)
data_csv = pd.read_csv('C:/Users/my/Desktop/LSTM/data.csv',usecols=[1])
#pandas.read_csv可以讀取CSV（逗號(hào)分割）文件、文本類型的文件text、log類型到DataFrame
#原有兩列，時(shí)間和乘客數(shù)量，usecols=1：只取了乘客數(shù)量一列

plt.plot(data_csv)
plt.show()
#數(shù)據(jù)預(yù)處理
data_csv = data_csv.dropna() #去掉na數(shù)據(jù)
dataset = data_csv.values      #字典(Dictionary) values()：返回字典中的所有值。
dataset = dataset.astype('float32')   #astype(type):實(shí)現(xiàn)變量類型轉(zhuǎn)換  
max_value = np.max(dataset)
min_value = np.min(dataset)
scalar = max_value-min_value
dataset = list(map(lambda x: x/scalar, dataset)) #將數(shù)據(jù)標(biāo)準(zhǔn)化到0~1之間
#lambda:定義一個(gè)匿名函數(shù)，區(qū)別于def
#map(f(x),Itera):map()接收函數(shù)f和一個(gè)list,把函數(shù)f依次作用在list的每個(gè)元素上,得到一個(gè)新的object并返回



'''
接著我們進(jìn)行數(shù)據(jù)集的創(chuàng)建，我們想通過前面幾個(gè)月的流量來預(yù)測當(dāng)月的流量，
比如我們希望通過前兩個(gè)月的流量來預(yù)測當(dāng)月的流量，我們可以將前兩個(gè)月的流量
當(dāng)做輸入，當(dāng)月的流量當(dāng)做輸出。同時(shí)我們需要將我們的數(shù)據(jù)集分為訓(xùn)練集和測試
集，通過測試集的效果來測試模型的性能，這里我們簡單的將前面幾年的數(shù)據(jù)作為
訓(xùn)練集，后面兩年的數(shù)據(jù)作為測試集。
'''python
def create_dataset(dataset,look_back=2):#look_back 以前的時(shí)間步數(shù)用作輸入變量來預(yù)測下一個(gè)時(shí)間段
    dataX, dataY=[], []
    for i in range(len(dataset) - look_back):
        a = dataset[i:(i+look_back)]  #i和i+1賦值
        dataX.append(a)
        dataY.append(dataset[i+look_back])  #i+2賦值
    return np.array(dataX), np.array(dataY)  #np.array構(gòu)建數(shù)組

data_X, data_Y = create_dataset(dataset)
#data_X: 2*142     data_Y: 1*142

#劃分訓(xùn)練集和測試集，70%作為訓(xùn)練集
train_size = int(len(data_X) * 0.7)
test_size = len(data_X)-train_size
 
train_X = data_X[:train_size]
train_Y = data_Y[:train_size]
 
test_X = data_X[train_size:]
test_Y = data_Y[train_size:]
 
train_X = train_X.reshape(-1,1,2) #reshape中，-1使元素變?yōu)橐恍?，然后輸出?列，每列2個(gè)子元素
train_Y = train_Y.reshape(-1,1,1) #輸出為1列，每列1個(gè)子元素
test_X = test_X.reshape(-1,1,2)
 
 
train_x = torch.from_numpy(train_X) #torch.from_numpy(): numpy中的ndarray轉(zhuǎn)化成pytorch中的tensor(張量)
train_y = torch.from_numpy(train_Y)
test_x = torch.from_numpy(test_X)


#定義模型 輸入維度input_size是2，因?yàn)槭褂?個(gè)月的流量作為輸入，隱藏層維度hidden_size可任意指定，這里為4
class lstm_reg(nn.Module):
    def __init__(self,input_size,hidden_size, output_size=1,num_layers=2):
        super(lstm_reg,self).__init__()
        #super() 函數(shù)是用于調(diào)用父類(超類)的一個(gè)方法，直接用類名調(diào)用父類
        self.rnn = nn.LSTM(input_size,hidden_size,num_layers) #LSTM 網(wǎng)絡(luò)
        self.reg = nn.Linear(hidden_size,output_size) #Linear 函數(shù)繼承于nn.Module
    def forward(self,x):   #定義model類的forward函數(shù)
        x, _ = self.rnn(x)
        s,b,h = x.shape   #矩陣從外到里的維數(shù)
                   #view()函數(shù)的功能和reshape類似，用來轉(zhuǎn)換size大小
        x = x.view(s*b, h) #輸出變?yōu)椋╯*b）*h的二維
        x = self.reg(x)
        x = x.view(s,b,-1) #卷積的輸出從外到里的維數(shù)為s,b,一列
        return x

net = lstm_reg(2,4) #input_size=2，hidden_size=4
 
criterion = nn.MSELoss()  #損失函數(shù)均方差
optimizer = torch.optim.Adam(net.parameters(),lr=1e-2)
#構(gòu)造一個(gè)優(yōu)化器對象 Optimizer,用來保存當(dāng)前的狀態(tài)，并能夠根據(jù)計(jì)算得到的梯度來更新參數(shù)
#Adam 算法:params (iterable)：可用于迭代優(yōu)化的參數(shù)或者定義參數(shù)組的 dicts   lr:學(xué)習(xí)率


for e in range(10000):
    var_x = Variable(train_x) #轉(zhuǎn)為Variable（變量）
    var_y = Variable(train_y)
 
    out = net(var_x)
    loss = criterion(out, var_y)
 
    optimizer.zero_grad() #把梯度置零，也就是把loss關(guān)于weight的導(dǎo)數(shù)變成0.
    loss.backward()  #計(jì)算得到loss后就要回傳損失，這是在訓(xùn)練的時(shí)候才會(huì)有的操作，測試時(shí)候只有forward過程
    optimizer.step() #回傳損失過程中會(huì)計(jì)算梯度，然后optimizer.step()根據(jù)這些梯度更新參數(shù)
    if (e+1)%100 == 0:
        print('Epoch: {}, Loss:{:.5f}'.format(e+1, loss.data[0]))
        
torch.save(net.state_dict(), 'net_params.pkl') #保存訓(xùn)練文件net_params.pkl
#state_dict 是一個(gè)簡單的python的字典對象,將每一層與它的對應(yīng)參數(shù)建立映射關(guān)系

測試程序：

import numpy as np 
import pandas as pd 
import matplotlib.pyplot as plt 
import torch 
from torch import nn
from torch.autograd import Variable
 
 
 
data_csv = pd.read_csv('C:/Users/my/Desktop/LSTM/data.csv',usecols=[1])
 
# plt.plot(data_csv)
# plt.show()
#數(shù)據(jù)預(yù)處理

data_csv = data_csv.dropna() #去掉na數(shù)據(jù)
dataset = data_csv.values #字典(Dictionary) values()：返回字典中的所有值。
dataset = dataset.astype('float32') # astype(type):實(shí)現(xiàn)變量類型轉(zhuǎn)換  
max_value = np.max(dataset)
min_value = np.min(dataset)
scalar = max_value-min_value
dataset = list(map(lambda x: x/scalar, dataset)) #將數(shù)據(jù)標(biāo)準(zhǔn)化到0~1之間

def create_dataset(dataset,look_back=2):
    dataX, dataY=[], []
    for i in range(len(dataset)-look_back):
        a=dataset[i:(i+look_back)]
        dataX.append(a)
        dataY.append(dataset[i+look_back])
    return np.array(dataX), np.array(dataY)
 
data_X, data_Y = create_dataset(dataset)


class lstm_reg(nn.Module):
    def __init__(self,input_size,hidden_size, output_size=1,num_layers=2):
        super(lstm_reg,self).__init__()
 
        self.rnn = nn.LSTM(input_size,hidden_size,num_layers)
        self.reg = nn.Linear(hidden_size,output_size)
 
    def forward(self,x):
        x, _ = self.rnn(x)
        s,b,h = x.shape
        x = x.view(s*b, h)
        x = self.reg(x)
        x = x.view(s,b,-1)
        return x
 
 
net = lstm_reg(2,4)

net.load_state_dict(torch.load('net_params.pkl')) 

data_X = data_X.reshape(-1, 1, 2) #reshape中，-1使元素變?yōu)橐恍校缓筝敵鰹?列，每列2個(gè)子元素
data_X = torch.from_numpy(data_X) #torch.from_numpy(): numpy中的ndarray轉(zhuǎn)化成pytorch中的tensor（張量）
var_data = Variable(data_X) #轉(zhuǎn)為Variable（變量）
pred_test = net(var_data)  #產(chǎn)生預(yù)測結(jié)果
pred_test = pred_test.view(-1).data.numpy() #view(-1)輸出為一行

plt.plot(pred_test, 'r', label='prediction')
plt.plot(dataset, 'b', label='real')
plt.legend(loc='best') #loc顯示圖像  'best'表示自適應(yīng)方式
plt.show()

預(yù)測結(jié)果：

審核編輯：湯梓紅