Не удается обучить нейронную сеть решению XOR mapping

Я пытаюсь реализовать простой классификатор для проблемы XOR в Keras. Вот код:

from keras.models import Sequential
from keras.layers.core import Dense, Dropout, Activation
from keras.optimizers import SGD
import numpy

X = numpy.array([[1., 1.], [0., 0.], [1., 0.], [0., 1.], [1., 1.], [0., 0.]])
y = numpy.array([[0.], [0.], [1.], [1.], [0.], [0.]])
model = Sequential()
model.add(Dense(2, input_dim=2, init='uniform', activation='sigmoid'))
model.add(Dense(3, init='uniform', activation='sigmoid'))
model.add(Dense(1, init='uniform', activation='softmax'))
sgd = SGD(lr=0.001, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='mean_squared_error', optimizer=sgd)

model.fit(X, y, nb_epoch=20)
print()
score = model.evaluate(X, y)
print()
print(score)
print(model.predict(numpy.array([[1, 0]])))
print(model.predict(numpy.array([[0, 0]])))

Я попытался изменить количество эпох, скорость обучения и другие параметры. Но ошибка остается постоянной от первой до последней эпохи.

Epoch 13/20
6/6 [==============================] - 0s - loss: 0.6667 
Epoch 14/20
6/6 [==============================] - 0s - loss: 0.6667
Epoch 15/20
6/6 [==============================] - 0s - loss: 0.6667
Epoch 16/20
6/6 [==============================] - 0s - loss: 0.6667
Epoch 17/20
6/6 [==============================] - 0s - loss: 0.6667
Epoch 18/20
6/6 [==============================] - 0s - loss: 0.6667
Epoch 19/20
6/6 [==============================] - 0s - loss: 0.6667
Epoch 20/20
6/6 [==============================] - 0s - loss: 0.6667

6/6 [==============================] - 0s

0.666666686535
[[ 1.]]
[[ 1.]]

Как вы тренируете эту сеть в Керасе?

кроме того, есть ли лучшая библиотека для реализации нейронных сетей? Я попробовал PyBrain, но он был оставлен, попробовал scikit-neuralnetwork, но документация действительно загадочная, поэтому не могла понять, как ее обучить. И я серьезно сомневаюсь, что Керас вообще работает.

6
keras neural-network python

3 ответов

в вашем примере у вас есть плотный слой с 1 единицей с активацией softmax. Значение такой единицы всегда будет 1.0, поэтому никакая информация не может течь с ваших входов на ваши выходы, и сеть ничего не будет делать. Softmax действительно полезен только тогда, когда вам нужно сгенерировать прогноз вероятности среди n классов, где n больше 2.

другие ответы предлагают изменения в коде, чтобы заставить его работать. Просто удаление activation='softmax' может быть достаточно.

водоснабжении, как правило, работают.

5

попробуйте последний персептрон в сети без функции активации. У меня была такая же проблема, и она начинает учиться, когда вы удаляете функцию активации.

кроме того, вы можете попытаться разделить выходной слой на 2 нейрона. И иметь выход [0,1] для 0 и [1,0] для одного.

однако удаление функции активации должно сделать трюк.

0

этот код работает для меня:

import numpy as np
from keras.models import Sequential
from keras.layers.core import Activation, Dense
from keras.optimizers import SGD

X = np.array([[1, 1], [0, 0], [1, 0], [0, 1], [1, 1], [0, 0]], dtype='uint8')
y = np.array([[0], [0], [1], [1], [0], [0]], dtype='uint8')


model = Sequential()
model.add(Dense(2, input_dim=2))
model.add(Activation('sigmoid'))
model.add(Dense(1))
model.add(Activation('sigmoid'))

sgd = SGD(lr=0.1, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='mean_squared_error', optimizer=sgd, class_mode="binary")

history = model.fit(X, y, nb_epoch=10000, batch_size=4, show_accuracy=True)

print
score = model.evaluate(X,y)
print
print score
print model.predict(np.array([[1, 0]]))
print model.predict(np.array([[0, 0]]))

# X vs y comparison
print
predictions = model.predict(X)
predictions = predictions.T
predictions = [1 if prediction >= 0.5 else 0 for prediction in predictions[0]]
print predictions
print [int(n) for n in y]

к сожалению, я новичок в машинном обучении, и я не знаю, почему мой код работает, а ваш нет.

я использовал этот код.

0