基于LSTM递归网的Pybrain时间序列预测

Question

我有一个问题，是关于pybrain做时间序列回归的。我计划使用pybrain中的LSTM层来训练和预测一个时间序列。

我在下面的链接中找到了一个示例代码

Request for example: Recurrent neural network for predicting next value in a sequence

在上面的例子中，网络经过训练后能够预测序列。但问题是，网络通过将所有的顺序数据一次输入到输入层来接收它们。例如，如果训练数据每个有10个特征，则10个特征将同时馈入10个输入节点。

据我所知，这不再是一个时间序列预测，对吗？既然每个功能输入网络的时间没有区别？如果我在这方面错了，请纠正我。

因此，我试图实现的是一个只有一个输入节点和一个输出节点的递归网络。输入节点是所有时间序列数据将在不同时间步顺序馈送的地方。网络将被训练在输出节点再现输入。

你能建议或指导我建立我提到的网络吗？ 提前非常感谢。

Answer 1

我已经测试过LSTM用Theano预测一些时间序列。我发现对于一些光滑的曲线，它可以被正确地预测。但是对于一些曲折的曲线。很难预测。具体条款如下： Predict Time Sequence with LSTM

预测结果如下：
_{（来源：fuzihao.org）}

Answer 2

我认为在这一页的底部会有一个更好（更简单/更清晰）的例子：

http://pybrain.org/docs/tutorial/netmodcon.html

基本上，一旦按所示设置，它将自动跟踪输入的过去历史（直到和除非您点击重置）。从文档中：

http://pybrain.org/docs/api/structure/networks.html?highlight=recurrentnetwork#pybrain.structure.networks.RecurrentNetwork

在调用.reset（）之前，网络会跟踪所有以前的输入，因此允许使用定期连接和回溯的层

所以是的，不需要每次都向网络重新呈现所有过去的输入。

Answer 3

您可以使用一个输入节点和一个输出节点来训练LSTM网络，以便进行时间序列预测，如下所示：

首先，作为一个好的实践，让我们使用Python3的打印功能：

from __future__ import print_function

然后，制作一个简单的时间序列：

data = [1] * 3 + [2] * 3
data *= 3
print(data)

[1、1、1、2、2、2、1、1、1、2、2、2、1、1、2、2、2]

现在将这个时间序列放入一个受监控的数据集中，其中每个样本的目标是下一个样本：

from pybrain.datasets import SequentialDataSet
from itertools import cycle

ds = SequentialDataSet(1, 1)
for sample, next_sample in zip(data, cycle(data[1:])):
    ds.addSample(sample, next_sample)

使用1个输入节点、5个LSTM单元和1个输出节点构建一个简单的LSTM网络：

from pybrain.tools.shortcuts import buildNetwork
from pybrain.structure.modules import LSTMLayer

net = buildNetwork(1, 5, 1, 
                   hiddenclass=LSTMLayer, outputbias=False, recurrent=True)

培训网络：

from pybrain.supervised import RPropMinusTrainer
from sys import stdout

trainer = RPropMinusTrainer(net, dataset=ds)
train_errors = [] # save errors for plotting later
EPOCHS_PER_CYCLE = 5
CYCLES = 100
EPOCHS = EPOCHS_PER_CYCLE * CYCLES
for i in xrange(CYCLES):
    trainer.trainEpochs(EPOCHS_PER_CYCLE)
    train_errors.append(trainer.testOnData())
    epoch = (i+1) * EPOCHS_PER_CYCLE
    print("\r epoch {}/{}".format(epoch, EPOCHS), end="")
    stdout.flush()

print()
print("final error =", train_errors[-1])

绘制错误图（注意，在这个简单的玩具示例中，我们在同一个数据集上进行测试和训练，这当然不是真正的项目所要做的！）以下内容：

import matplotlib.pyplot as plt

plt.plot(range(0, EPOCHS, EPOCHS_PER_CYCLE), train_errors)
plt.xlabel('epoch')
plt.ylabel('error')
plt.show()

现在请网络预测下一个样本：

for sample, target in ds.getSequenceIterator(0):
    print("               sample = %4.1f" % sample)
    print("predicted next sample = %4.1f" % net.activate(sample))
    print("   actual next sample = %4.1f" % target)
    print()

（以上代码基于^{}和PyBrain documentation中的示例）