Тонкая настройка Keras VGG16

есть пример тонкой настройки VGG16 на keras blog, но я не могу воспроизвести его.

точнее, вот код, используемый для init VGG16 без верхнего слоя и замораживания всех блоков, кроме самого верхнего:

WEIGHTS_PATH_NO_TOP = 'https://github.com/fchollet/deep-learning-models/releases/download/v0.1/vgg16_weights_tf_dim_ordering_tf_kernels_notop.h5'
weights_path = get_file('vgg16_weights.h5', WEIGHTS_PATH_NO_TOP)

model = Sequential()
model.add(InputLayer(input_shape=(150, 150, 3)))
model.add(Conv2D(64, (3, 3), activation='relu', padding='same'))
model.add(Conv2D(64, (3, 3), activation='relu', padding='same'))
model.add(MaxPooling2D((2, 2), strides=(2, 2)))

model.add(Conv2D(128, (3, 3), activation='relu', padding='same'))
model.add(Conv2D(128, (3, 3), activation='relu', padding='same'))
model.add(MaxPooling2D((2, 2), strides=(2, 2)))

model.add(Conv2D(256, (3, 3), activation='relu', padding='same'))
model.add(Conv2D(256, (3, 3), activation='relu', padding='same'))
model.add(Conv2D(256, (3, 3), activation='relu', padding='same'))
model.add(MaxPooling2D((2, 2), strides=(2, 2)))

model.add(Conv2D(512, (3, 3), activation='relu', padding='same'))
model.add(Conv2D(512, (3, 3), activation='relu', padding='same'))
model.add(Conv2D(512, (3, 3), activation='relu', padding='same'))
model.add(MaxPooling2D((2, 2), strides=(2, 2)))

model.add(Conv2D(512, (3, 3), activation='relu', padding='same', name='block5_conv1'))
model.add(Conv2D(512, (3, 3), activation='relu', padding='same', name='block5_conv2'))
model.add(Conv2D(512, (3, 3), activation='relu', padding='same', name='block5_conv3'))
model.add(MaxPooling2D((2, 2), strides=(2, 2), name='block5_maxpool'))

model.load_weights(weights_path)

for layer in model.layers:
    layer.trainable = False

for layer in model.layers[-4:]:
    layer.trainable = True
    print("Layer '%s' is trainable" % layer.name)  

далее, создание топ-модели с одним скрытым слоем:

top_model = Sequential()
top_model.add(Flatten(input_shape=model.output_shape[1:]))
top_model.add(Dense(256, activation='relu'))
top_model.add(Dropout(0.5))
top_model.add(Dense(1, activation='sigmoid'))
top_model.load_weights('top_model.h5')

обратите внимание, что ранее он был обучен функциям узкого места, как описано в сообщении в блоге. Затем добавьте эту топ-модель в базовую модель и скомпилировать:

model.add(top_model)
model.compile(loss='binary_crossentropy',
              optimizer=SGD(lr=1e-4, momentum=0.9),
              metrics=['accuracy'])

и в конце концов, подходят на кошек / собак данных:

batch_size = 16

train_datagen = ImageDataGenerator(rescale=1./255,
                                   shear_range=0.2,
                                   zoom_range=0.2,
                                   horizontal_flip=True)

test_datagen = ImageDataGenerator(rescale=1./255)

train_gen = train_datagen.flow_from_directory(
    TRAIN_DIR,
    target_size=(150, 150),
    batch_size=batch_size,
    class_mode='binary')

valid_gen = test_datagen.flow_from_directory(
    VALID_DIR,
    target_size=(150, 150),
    batch_size=batch_size,
    class_mode='binary')

model.fit_generator(
    train_gen,
    steps_per_epoch=nb_train_samples // batch_size,
    epochs=nb_epoch,
    validation_data=valid_gen,
    validation_steps=nb_valid_samples // batch_size)

но вот ошибка, которую я получаю при попытке соответствовать:

ValueError: ошибка при проверке цели модели: ожидаемый block5_maxpool должен иметь 4 > dimensions, но получил массив с формой (16, 1)

поэтому кажется, что что-то не так с последним слоем пула в базовой модели. Или, возможно, я сделал что-то не так, пытаясь подключить базу модель с верхней.

у кого-нибудь есть похожие проблемы? Или, может быть, есть лучший способ построить такие "сцепленные" модели? Я использую keras==2.0.0 С theano бэкэнд.

Примечание: я использовал примеры из gist и applications.VGG16 утилита, но имеет проблемы, пытаясь объединить модели, я не слишком хорошо знаком с keras функциональный API. Поэтому это решение, которое я предлагаю здесь, является наиболее "успешным", т. е. оно терпит неудачу только на этапе подгонки.

обновление #1

ОК, Вот небольшое объяснение о том, что я пытаюсь сделать. Прежде всего, я генерирую узкие места из VGG16 следующим образом:

def save_bottleneck_features():
    datagen = ImageDataGenerator(rescale=1./255)
    model = applications.VGG16(include_top=False, weights='imagenet')

    generator = datagen.flow_from_directory(
        TRAIN_DIR,
        target_size=(150, 150),
        batch_size=batch_size,
        class_mode=None,
        shuffle=False)    
    print("Predicting train samples..")
    bottleneck_features_train = model.predict_generator(generator, nb_train_samples)
    np.save(open('bottleneck_features_train.npy', 'w'), bottleneck_features_train)

    generator = datagen.flow_from_directory(
        VALID_DIR,
        target_size=(150, 150),
        batch_size=batch_size,
        class_mode=None,
        shuffle=False)
    print("Predicting valid samples..")
    bottleneck_features_valid = model.predict_generator(generator, nb_valid_samples)
    np.save(open('bottleneck_features_valid.npy', 'w'), bottleneck_features_valid)

затем я создаю топ-модель и тренирую ее на этих функциях следующим образом:

def train_top_model():
    train_data = np.load(open('bottleneck_features_train.npy'))
    train_labels = np.array([0]*(nb_train_samples / 2) + 
                            [1]*(nb_train_samples / 2))
    valid_data = np.load(open('bottleneck_features_valid.npy'))
    valid_labels = np.array([0]*(nb_valid_samples / 2) +
                            [1]*(nb_valid_samples / 2))
    model = Sequential()
    model.add(Flatten(input_shape=train_data.shape[1:]))  
    model.add(Dense(256, activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(1, activation='sigmoid'))
    model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['accuracy'])
    model.fit(train_data, train_labels,
              nb_epoch=nb_epoch,
              batch_size=batch_size,
              validation_data=(valid_data, valid_labels),
              verbose=1)
    model.save_weights('top_model.h5')   

Итак, в основном, есть две обученные модели,base_model С ImageNet Весов и top_model С Весами, генерируемыми из узких мест. И мне интересно как объединить их? Возможно ли это, или я делаю что-то не так? Потому что, как я вижу, ответ от @thomas-pinetz предполагает, что top model не обучается отдельно и сразу же добавляется к модели. Не уверен, что я ясно, вот цитата из блога:

для выполнения тонкой настройки все слои должны начинаться с правильно обученных Весов: например, вы не должны шлепать случайно инициализированную полностью подключенную сеть поверх предварительно обученная сверточная база. Это связано с тем, что большие обновления градиента, вызванные случайно инициализированными весами, разрушат изученные веса в сверточной базе. В нашем случае именно поэтому мы сначала тренируем классификатор верхнего уровня, и только затем начинаем тонкую настройку сверточных весов рядом с ним.