Прогнозирование временных рядов Pybrain с использованием рекуррентных сетей LSTM

Вы можете обучить сеть LSTM с одним входным узлом и одним выходным узлом для прогнозирования временных рядов следующим образом:

во-первых, как хорошая практика, давайте использовать функцию печати Python3:

from __future__ import print_function

затем сделайте простой временной ряд:

data = [1] * 3 + [2] * 3
data *= 3
print(data)

[1, 1, 1, 2, 2, 2, 1, 1, 1, 2, 2, 2, 1, 1, 1, 2, 2, 2]

Теперь поместите эти временные ряды в контролируемый набор данных, где целью для каждого образца является следующий пример:

from pybrain.datasets import SequentialDataSet
from itertools import cycle

ds = SequentialDataSet(1, 1)
for sample, next_sample in zip(data, cycle(data[1:])):
    ds.addSample(sample, next_sample)

создайте простую сеть LSTM с 1 входным узлом, 5 ячейками LSTM и 1 выходным узлом:

from pybrain.tools.shortcuts import buildNetwork
from pybrain.structure.modules import LSTMLayer

net = buildNetwork(1, 5, 1, 
                   hiddenclass=LSTMLayer, outputbias=False, recurrent=True)

обучение сети:

from pybrain.supervised import RPropMinusTrainer
from sys import stdout

trainer = RPropMinusTrainer(net, dataset=ds)
train_errors = [] # save errors for plotting later
EPOCHS_PER_CYCLE = 5
CYCLES = 100
EPOCHS = EPOCHS_PER_CYCLE * CYCLES
for i in xrange(CYCLES):
    trainer.trainEpochs(EPOCHS_PER_CYCLE)
    train_errors.append(trainer.testOnData())
    epoch = (i+1) * EPOCHS_PER_CYCLE
    print("\r epoch {}/{}".format(epoch, EPOCHS), end="")
    stdout.flush()

print()
print("final error =", train_errors[-1])

построить ошибки (обратите внимание, что в этом простом примере игрушки мы тестируем и тренируемся на одном и том же наборе данных, что, конечно, не то, что вы сделали бы для реального проекта!):

import matplotlib.pyplot as plt

plt.plot(range(0, EPOCHS, EPOCHS_PER_CYCLE), train_errors)
plt.xlabel('epoch')
plt.ylabel('error')
plt.show()

теперь попросите сеть предсказать следующий образец:

for sample, target in ds.getSequenceIterator(0):
    print("               sample = %4.1f" % sample)
    print("predicted next sample = %4.1f" % net.activate(sample))
    print("   actual next sample = %4.1f" % target)
    print()

(код выше основан на example_rnn.py и примеры из документация PyBrain)